PaliGemma 2 Release官网 – Google的多模态视觉语言模型集合

LLaVA-NeXT 是一个先进的多模态模型，基于 LLaVA-1.5 进行改进，于 2023 年 10 月发布基础版本，并于 2024 年 1 月推出 LLaVA-NeXT。该项目旨在提升图像处理和语言理解能力，特别是在视觉推理、OCR（光学字符识别）和多模态指令遵循方面。LLaVA-NeXT 通过增加输入图像分辨率（最高达 672x672、336x1344、1344x336）以及改进视觉指令调整数据集，显著增强了模型性能。它还支持更大的语言模型，如 Mistral-7B 和 Nous-Hermes-2-Yi-34B，进一步提升了其能力。LLaVA-NeXT 的训练成本低，仅需约 32 个 GPU 运行一天，使用不到 100 万视觉指令调整样本，总训练数据为 131.8 万样本，计算成本分别为 7B 模型 8x20 GPU 小时、13B 模型 16x24 GPU 小时、34B 模型 32x30 GPU 小时。这使其训练效率高于许多竞争对手，成本低至其他模型的 100-1000 倍。LLaVA-NeXT 的开放源代码特性使其广受研究者欢迎，代码、数据和模型均可公开访问，得到了 A16Z 开源 AI 资助计划的支持。

TokenOCR是一款面向文档理解的文本图像基础模型，旨在让机器更好地‘读懂’图文内容。它通过首个token级别的图像文本数据集TokenIT，包含2000万图像和18亿token-mask对，提出首个token级别的文本图像基础模型，支持多种下游任务。基于TokenOCR构建的TokenVL模型，在文档视觉问答任务中表现卓越。

ComfyUI-Janus-Pro 是一组为 ComfyUI 设计的自定义节点，集成了由 DeepSeek AI 开发的 Janus-Pro 框架，这是一个统一的多模态理解和生成模型。它为 ComfyUI 带来了强大的多模态理解能力，使 AI 创作过程更加智能和高效。主要功能包括图像理解、生成描述和光学字符识别（OCR），支持 Janus-Pro-1B 和 Janus-Pro-7B 模型，适用于多种图像处理任务。

Papermerge DMS 是一个免费的开源文档管理系统，具备光学字符识别（OCR）功能，能够自动提取、分析和索引文档中的文本内容。用户只需在服务器或云平台上安装该系统，即可上传扫描文件、数字档案、PDF、TIFF、JPEG等格式的文档。

MIMIC-CXR-VQA是一个复杂、多样且大规模的医学领域视觉问答（VQA）数据集，基于MIMIC-CXR数据库，旨在推动医学图像理解和问答系统的研究与应用。数据集包含多种类型的问题和答案，适用于模型的训练和评估，支持多种视觉问答任务。

Gogosseract，一个通过 Wazero 实现的无 CGo Tesseract OCR 的 Go Lib。它提供高效的光学字符识别功能，支持多种语言，易于集成到各种 Go 应用程序中。

Mistral OCR 是一个由 Mistral AI 开发的多模态文档处理工具，专注于光学字符识别（OCR）和文档理解。它特别适用于处理复杂格式的文档，如 PDF、幻灯片、数学表达式和 LaTeX 学术文档。其核心功能是通过先进的技术提取文本并以结构清晰的 Markdown 文件输出，解决了传统 OCR 在处理混合内容（如图表、公式和高级布局）时的不足。单节点每分钟可处理 2000 页文档，中文识别准确率达 97%，支持数千种字体、语言和字符系统（如古文字）。

Extract是一款前沿的光学字符识别（OCR）工具，旨在彻底改变企业管理和处理文档的方式。通过利用先进的人工智能驱动的计算机视觉和自然语言理解，Extract提供无与伦比的准确性和定制化服务，帮助企业将合同、发票和报告转化为可操作的洞察，简化工作流程，提升采购表现。

Baichuan-Omni-1.5是一个支持文本、图像、视频和音频输入以及文本和音频输出的开源全模态基础模型。它在视觉语言、语音能力和医学图像理解方面表现出色，适用于多种多模态任务。

GPT4视觉用例集锦是一个集合了多种视觉任务的项目，基于最新的GPT-4模型，提供丰富的示例和用例，旨在帮助用户更好地利用视觉技术。该项目采用易于使用的API接口，支持图像分类、对象检测、图像生成和视觉问答等功能，适用于广泛的应用场景。

MobileVLM是美团和浙江大学等推出的开源多模态视觉语言模型，专为移动设备设计。它结合了基于Transformer的语言模型MobileLLaMA和基于CLIP思想预训练的多模态视觉模型，通过轻量级下采样投影器（LDP）实现语言和视觉的交互与融合。MobileVLM在多个视觉语言任务上表现优异，推理速度快，适合在移动设备上运行。

WorldRWKV是一个基于纯RWKV7架构的模型，旨在实现任意模态的训练和推理，使模型能够轻松理解多种输入形式。它支持多种模态的输入（如视觉、语音）并输出文本，提供端到端的跨模态推理能力，性能卓越，例如在视觉问答任务中准确率高达78.30%。

Send AI是一个强大的文档处理平台，提供全面的工具来高效解析、分类、提取、验证和导出数据，特别适用于处理大量文书的行业，如保险和物流，旨在减少人工劳动和显著降低错误率。

VILA 是一个开源视觉语言模型 (VLM) 系列，旨在优化效率和准确性，适用于边缘、数据中心和云计算环境。它采用交错图像-文本预训练方法，支持多图像处理，并具有强大的上下文学习能力，能够快速学习新概念。VILA 在视频理解、多图像推理等任务中表现出色，广泛应用于研究和工业领域。

Yomitoku是一个专为日语设计的AI驱动文档图像分析软件包，具备强大的文字识别和布局分析能力，支持多种输出格式。