BLIP开源项目 – 强大的图像-文本理解模型

阿里巴巴云推出的专为聊天应用设计的强大的视觉语言模型，结合了图像和文本输入，能够生成准确的文本和边界框输出，增强了图像描述、问答、定位和文本-图像理解等任务的能力。

PaliGemma 2 Release 是由 Google 提供的多模态视觉语言模型集合，包含 3B、10B 和 28B 不同参数规模的模型。该项目基于 Gemma 2 语言模型和 SigLIP 视觉编码器，支持多种分辨率的图像输入，适用于图像描述、视觉问答（VQA）、光学字符识别（OCR）、表格结构识别和医学图像理解等任务。模型通过 Transformers 库进行微调，适合在广泛的视觉语言任务上实现领先性能。

Florence-VL是微软开源的多模态模型，具备强大的图像理解能力，能够从不同角度深入理解图片内容并给出准确回复。其核心在于升级的视觉编码器和深度-广度融合(DBFusion)机制，支持多层次、多方面的视觉特征捕获和融合，超越了传统的CLIP式视觉Transformer模型。

Pixtral-12B-2409 是 Mistral AI 开发的多模态模型，拥有12亿参数的解码器和4亿参数的视觉编码器，能够同时处理文本和图像。它支持128k长上下文，具备图像理解能力如OCR和视觉问答，支持中/英/日/韩等24种语言，满足全球化需求。该模型在多模态任务中表现优异，尤其在文档问答（DocVQA）和视觉问答（VQAv2）上领先，且可以在单张RTX 4090上运行，许可证为Apache 2.0。

一个由北京航空航天大学大数据高精尖中心研究张日崇团队对问答系统的总结，涵盖了基于知识库、文本、表格和视觉的问答系统的技术进展和热点论文。

InternVL 是由 OpenGVLab 团队开发的开源多模态大模型，旨在提供接近 GPT-4V 和 Gemini Pro 等商业模型性能的替代方案。它支持多种模态任务，包括图像理解、文本生成、跨模态检索等，并且在多个基准测试中表现出色。InternVL 系列模型参数覆盖从 1B 到 78B，适用于各种规模和复杂度的任务。

GPT4视觉用例集锦是一个集合了多种视觉任务的项目，基于最新的GPT-4模型，提供丰富的示例和用例，旨在帮助用户更好地利用视觉技术。该项目采用易于使用的API接口，支持图像分类、对象检测、图像生成和视觉问答等功能，适用于广泛的应用场景。

ImageBind是Meta发布的重磅项目，旨在通过一个高维空间编码所有模态，包括图像、文本、音频、深度、热量和IMU信号，从而实现跨模态的联动和应用。该项目支持模态之间的相似度计算和关系向量计算，极大地推动了多模态人工智能的研究与应用。

MDocAgent是Adobe推出的多智能体跨模态框架，专注于复杂文档理解与问答。它通过五个协同工作的智能体（通用/关键信息提取/文本/图像/总结智能体）整合文本和图像信息，结合文档预处理、多模态检索、关键信息提取等步骤，在5个基准测试中性能超越现有方法12.1%。支持端到端的文档解析、跨模态检索、多智能体推理和自动化评估流程。

LAVIS是一个一站式的语言-视觉智能库，支持多种语言-视觉任务，集成多种预训练模型，提供简单易用的API，以及自定义模型的训练和评估，具备高效的推理速度和性能。

CogVLM是一款结合视觉和语言的大型AI模型，专为多模态任务设计，能够分析图片内容并生成精准的文本描述、回答问题，甚至进行复杂的推理。它在多模态理解上表现优异，支持OCR识别、场景分析、细节描述等功能。CogVLM通过高效整合图像和文本处理能力，为开发者提供构建复杂AI系统的可靠工具，适用于智能问答、图片内容创作、智能搜索等多种应用场景。

M3DOCRAG是一个免OCR、多模态、跨页检索的文档问答统一框架，旨在解决文档视觉问答（DocVQA）中的跨页和多模态信息处理问题。该框架包括文档嵌入、页面检索和问答三个阶段，支持封闭域和开放域文档问答。它使用ColPali进行文档嵌入，结合多模态语言模型（如Qwen2-VL）进行视觉问答，并通过Faiss进行高效的页面检索。

Oscar（Object-Semantics Aligned Pretraining）是一款能够根据图像内容生成精准文本描述的AI模型。它通过学习图像和文本之间的语义关系，能够理解图片中的对象、场景以及它们之间的关系，从而生成详细且符合语境的文字描述。Oscar不仅能进行图像描述，还可以用于视觉问答和跨模态检索，是跨领域图像与文本理解的有力工具。

Vary-toy 是一个由旷视、国科大、华中大的研究人员共同开发的小型视觉语言模型，参数量为1.8B，能够在消费级显卡（如1080Ti）上训练和运行。它支持多种视觉语言任务，包括处理图片中的文字、图表、公式，以及对象检测、图像描述、视觉问答等，同时支持中英文。通过改进的视觉词汇表增强视觉感知能力，Vary-toy在多个数据集上的表现与7B级模型相当甚至更好，且计算开销更低。

TokenOCR是一款面向文档理解的文本图像基础模型，旨在让机器更好地‘读懂’图文内容。它通过首个token级别的图像文本数据集TokenIT，包含2000万图像和18亿token-mask对，提出首个token级别的文本图像基础模型，支持多种下游任务。基于TokenOCR构建的TokenVL模型，在文档视觉问答任务中表现卓越。