PaliGemma 2官网 – Google发布的增强视觉模型

PaliGemma 2是Google发布的新一代视觉模型，主要在OCR、图像分割和问题回答等方面进行了显著增强。该模型能够更准确地识别图像中的文字，更精细地分割图像中的对象，并更智能地回答与图像内容相关的问题。

PaliGemma 2的特点:

1. 增强的OCR功能，提升文字识别准确率
2. 改进的图像分割能力，精确分离图像对象
3. 提升的问题回答性能，智能理解图像内容

PaliGemma 2的功能:

1. 用于OCR任务，如识别图像中的文字
2. 用于图像分割，如从图像中分离出特定对象
3. 用于问题回答，如根据图像内容回答相关问题

相关导航

LISA开源项目 – 语言与视觉模型结合的分割助手

LISA是一个将语言大模型（LLM）与其他视觉模型（如SAM）结合的分割助手，旨在根据复杂和隐含的查询文本输出分割掩码。

Segment Anything Model 2 (SAM 2)开源项目 – 图像和视频对象分割的开源AI模型

SAM 2 是 Meta AI 团队开发的开源 AI 模型，专注于图像和视频中的对象分割任务。它是全球首个支持视频实时抠像的 AI 大模型，能够在零样本前提下实现精准的对象分割。Meta 还提供了基于网络的演示体验，并共享了用于构建 SAM 2 的数据集 SA-V，许可为 CC BY 4.0。SAM 2 的设计基于简单的 Transformer 架构，支持实时视频处理，并提供了一个模型在环的数据引擎，通过用户交互改进模型和数据。

PolyMind开源项目 – 多模态LLM驱动的Web界面

PolyMind是一个多模态、函数调用驱动的LLM Web界面，专为与Mixtral 8x7B + TabbyAPI集成而设计，提供了广泛的功能。它支持使用DuckDuckGo进行互联网搜索和网页抓取，使用comfyui生成图像，通过sharegpt4v进行图像输入（通过llama.cpp的服务器），具备OCR和Yolo功能，支持使用nmap进行端口扫描，集成了Wolfram Alpha和Python解释器，并提供了用于PDF和杂文文本文件的语义搜索的RAG。90%的网页部分（HTML、JS、CSS和Flask）完全由Mixtral编写。

AI Chat官网 – 智能聊天助手，随时为您服务

AI Chat 是一个基于 GPT-4 的高级聊天平台，提供个人助手、辅导和陪伴等多种功能，能够回答您的问题、支持语言学习、解决编程难题等。

eSearch开源项目 – 一款多功能的截屏和搜索工具

eSearch是一个开源的工具，结合了截屏、OCR、搜索、翻译、贴图、以图搜图和录屏等多种功能，旨在提高用户的工作效率和信息获取能力。

mCTSegmentation开源项目 – 深度学习微CT图像分割

mCTSegmentation是一个专门用于人类骨软骨组织中微计算机断层扫描（micro-CT）图像的分割项目，特别关注于骨软骨组织的骨膜分割。该项目由奥卢大学的研究人员开发，采用深度学习技术进行分割任务，并且是开源的，代码可在GitHub上获取。

Computer Vision with DirectAI官网 – 无代码构建强大的计算机视觉模型

DirectAI使用户能够快速构建强大的计算机视觉模型，无需编码或训练数据。它利用大型语言模型和零样本学习，根据用户的描述生成适合的模型。

DINOv2开源项目 – Meta开源的自监督视觉模型

DINOv2是Meta AI开发的最先进计算机视觉模型，具有自监督学习功能，无需大量标注数据即可训练。它能够直接从图像中学习特征，适用于图像分类、分割、检索和深度估计等多种任务。DINOv2的预训练版本已上线，与CLIP和OpenCLIP等模型竞争，并在众多任务中表现出色。

Awesome-Document-Understanding开源项目 – 文档理解研究资源库

AI文档理解相关文献资源列表，专注于文档人工智能（Document Artificial Intelligence）领域。该项目收集了大量关于文档理解的研究文献和资源，涵盖了文档人工智能的多个子领域，如OCR、文本分析、图像处理等。持续更新，保持与最新研究进展同步，提供了丰富的参考资料和工具链接，适合研究人员、开发者和学生使用。

segment_anything_tensorrt开源项目 – 用Tensorrt加速SAM模型推理

该项目通过Tensorrt技术加速SAM模型的推理过程，旨在提升图像分割的效率和性能，确保其在多种硬件平台上的兼容性，适用于各类深度学习应用。

ezML官网 – 快速集成计算机视觉功能

ezML是一个基于云的平台，旨在帮助开发者快速集成计算机视觉功能，无需训练数据和机器学习代码，只需三步即可完成。通过构建管道、配置层和轻松集成到应用程序中，用户可以在短短30秒内实现自定义的计算机视觉功能。

WeCLIP开源项目 – 用于弱监督语义分割的强大模型

WeCLIP是一个强大的语义分割模型，基于冻结的CLIP结构，致力于弱监督学习，通过有效的特征提取提升图像分割的性能，适用于各种计算机视觉任务。

Sapiens官网 – 人类视觉基础模型，权重开放

Sapiens是一系列专门针对人类的视觉基础模型，所有权重开放，提供各种尺寸的分割、深度和主题模型，旨在推动计算机视觉领域的发展。

captcha-break开源项目 – 基于图像处理和OCR的验证码破解工具

captcha-break是一个基于opencv2、tesseract-ocr和机器学习算法的验证码破解工具。它通过图像处理和光学字符识别技术，结合机器学习算法提高准确性，旨在破解各种类型的验证码挑战。该项目是开源的，并在GitHub上提供，鼓励社区贡献。

LLaVA-NeXT官网 – 多模态视觉语言模型

LLaVA-NeXT 是一个先进的多模态模型，基于 LLaVA-1.5 进行改进，于 2023 年 10 月发布基础版本，并于 2024 年 1 月推出 LLaVA-NeXT。该项目旨在提升图像处理和语言理解能力，特别是在视觉推理、OCR（光学字符识别）和多模态指令遵循方面。LLaVA-NeXT 通过增加输入图像分辨率（最高达 672x672、336x1344、1344x336）以及改进视觉指令调整数据集，显著增强了模型性能。它还支持更大的语言模型，如 Mistral-7B 和 Nous-Hermes-2-Yi-34B，进一步提升了其能力。LLaVA-NeXT 的训练成本低，仅需约 32 个 GPU 运行一天，使用不到 100 万视觉指令调整样本，总训练数据为 131.8 万样本，计算成本分别为 7B 模型 8x20 GPU 小时、13B 模型 16x24 GPU 小时、34B 模型 32x30 GPU 小时。这使其训练效率高于许多竞争对手，成本低至其他模型的 100-1000 倍。LLaVA-NeXT 的开放源代码特性使其广受研究者欢迎，代码、数据和模型均可公开访问，得到了 A16Z 开源 AI 资助计划的支持。

暂无评论

暂无评论...