WorldRWKV开源项目 – 多模态理解与推理模型

Florence-VL是微软开源的多模态模型，具备强大的图像理解能力，能够从不同角度深入理解图片内容并给出准确回复。其核心在于升级的视觉编码器和深度-广度融合(DBFusion)机制，支持多层次、多方面的视觉特征捕获和融合，超越了传统的CLIP式视觉Transformer模型。

Vary-toy 是一个由旷视、国科大、华中大的研究人员共同开发的小型视觉语言模型，参数量为1.8B，能够在消费级显卡（如1080Ti）上训练和运行。它支持多种视觉语言任务，包括处理图片中的文字、图表、公式，以及对象检测、图像描述、视觉问答等，同时支持中英文。通过改进的视觉词汇表增强视觉感知能力，Vary-toy在多个数据集上的表现与7B级模型相当甚至更好，且计算开销更低。

Oscar（Object-Semantics Aligned Pretraining）是一款能够根据图像内容生成精准文本描述的AI模型。它通过学习图像和文本之间的语义关系，能够理解图片中的对象、场景以及它们之间的关系，从而生成详细且符合语境的文字描述。Oscar不仅能进行图像描述，还可以用于视觉问答和跨模态检索，是跨领域图像与文本理解的有力工具。

M3DOCRAG是一个免OCR、多模态、跨页检索的文档问答统一框架，旨在解决文档视觉问答（DocVQA）中的跨页和多模态信息处理问题。该框架包括文档嵌入、页面检索和问答三个阶段，支持封闭域和开放域文档问答。它使用ColPali进行文档嵌入，结合多模态语言模型（如Qwen2-VL）进行视觉问答，并通过Faiss进行高效的页面检索。

LAVIS是一个一站式的语言-视觉智能库，支持多种语言-视觉任务，集成多种预训练模型，提供简单易用的API，以及自定义模型的训练和评估，具备高效的推理速度和性能。

GPT4视觉用例集锦是一个集合了多种视觉任务的项目，基于最新的GPT-4模型，提供丰富的示例和用例，旨在帮助用户更好地利用视觉技术。该项目采用易于使用的API接口，支持图像分类、对象检测、图像生成和视觉问答等功能，适用于广泛的应用场景。

TokenOCR是一款面向文档理解的文本图像基础模型，旨在让机器更好地‘读懂’图文内容。它通过首个token级别的图像文本数据集TokenIT，包含2000万图像和18亿token-mask对，提出首个token级别的文本图像基础模型，支持多种下游任务。基于TokenOCR构建的TokenVL模型，在文档视觉问答任务中表现卓越。

Pixtral-12B-2409 是 Mistral AI 开发的多模态模型，拥有12亿参数的解码器和4亿参数的视觉编码器，能够同时处理文本和图像。它支持128k长上下文，具备图像理解能力如OCR和视觉问答，支持中/英/日/韩等24种语言，满足全球化需求。该模型在多模态任务中表现优异，尤其在文档问答（DocVQA）和视觉问答（VQAv2）上领先，且可以在单张RTX 4090上运行，许可证为Apache 2.0。

阿里巴巴云推出的专为聊天应用设计的强大的视觉语言模型，结合了图像和文本输入，能够生成准确的文本和边界框输出，增强了图像描述、问答、定位和文本-图像理解等任务的能力。

PaliGemma 2 Release 是由 Google 提供的多模态视觉语言模型集合，包含 3B、10B 和 28B 不同参数规模的模型。该项目基于 Gemma 2 语言模型和 SigLIP 视觉编码器，支持多种分辨率的图像输入，适用于图像描述、视觉问答（VQA）、光学字符识别（OCR）、表格结构识别和医学图像理解等任务。模型通过 Transformers 库进行微调，适合在广泛的视觉语言任务上实现领先性能。

Kimi k1.5 是由 Moonshot AI 开发的多模态大型语言模型，通过强化学习技术训练，在数学、编码和视觉任务方面表现出色。其上下文窗口可达 128k tokens，适合处理复杂的推理问题。该模型在多项基准测试中达到最先进水平，如 AIME、MATH 500 和 Codeforces。

MobileVLM是美团和浙江大学等推出的开源多模态视觉语言模型，专为移动设备设计。它结合了基于Transformer的语言模型MobileLLaMA和基于CLIP思想预训练的多模态视觉模型，通过轻量级下采样投影器（LDP）实现语言和视觉的交互与融合。MobileVLM在多个视觉语言任务上表现优异，推理速度快，适合在移动设备上运行。

BLIP (Bootstrapped Language-Image Pretraining) 是一款强大的图像-文本理解模型，能够根据图片内容自动生成高质量的描述文本。它结合视觉和语言模型，支持图像理解、文本生成、跨模态检索等功能，适用于图片字幕生成、视觉问答、智能搜索等场景。

CogVLM是一款结合视觉和语言的大型AI模型，专为多模态任务设计，能够分析图片内容并生成精准的文本描述、回答问题，甚至进行复杂的推理。它在多模态理解上表现优异，支持OCR识别、场景分析、细节描述等功能。CogVLM通过高效整合图像和文本处理能力，为开发者提供构建复杂AI系统的可靠工具，适用于智能问答、图片内容创作、智能搜索等多种应用场景。

一个由北京航空航天大学大数据高精尖中心研究张日崇团队对问答系统的总结，涵盖了基于知识库、文本、表格和视觉的问答系统的技术进展和热点论文。