M3DOCRAG开源项目 – 多模态跨页文档问答框架

M3DOCRAG是一个免OCR、多模态、跨页检索的文档问答统一框架，旨在解决文档视觉问答（DocVQA）中的跨页和多模态信息处理问题。该框架包括文档嵌入、页面检索和问答三个阶段，支持封闭域和开放域文档问答。它使用ColPali进行文档嵌入，结合多模态语言模型（如Qwen2-VL）进行视觉问答，并通过Faiss进行高效的页面检索。

M3DOCRAG的特点:

1. 多模态文档检索使用ColPali
2. 视觉问答使用Qwen2-VL
3. 支持多页PDF文档
4. 高效的FAISS索引用于快速检索
5. 优化多GPU环境
6. 交互式命令行界面

M3DOCRAG的功能:

1. 启动交互式shell
2. 初始化系统
3. 添加PDF文档
4. 构建搜索索引
5. 提出问题
6. 列出已加载文档
7. 退出系统

相关导航

GPT4视觉用例集锦开源项目 – 多种视觉任务的强大工具

GPT4视觉用例集锦是一个集合了多种视觉任务的项目，基于最新的GPT-4模型，提供丰富的示例和用例，旨在帮助用户更好地利用视觉技术。该项目采用易于使用的API接口，支持图像分类、对象检测、图像生成和视觉问答等功能，适用于广泛的应用场景。

BLIP开源项目 – 强大的图像-文本理解模型

BLIP (Bootstrapped Language-Image Pretraining) 是一款强大的图像-文本理解模型，能够根据图片内容自动生成高质量的描述文本。它结合视觉和语言模型，支持图像理解、文本生成、跨模态检索等功能，适用于图片字幕生成、视觉问答、智能搜索等场景。

WorldRWKV开源项目 – 多模态理解与推理模型

WorldRWKV是一个基于纯RWKV7架构的模型，旨在实现任意模态的训练和推理，使模型能够轻松理解多种输入形式。它支持多种模态的输入（如视觉、语音）并输出文本，提供端到端的跨模态推理能力，性能卓越，例如在视觉问答任务中准确率高达78.30%。

Oscar开源项目 – 图像与文本语义对齐的AI模型

Oscar（Object-Semantics Aligned Pretraining）是一款能够根据图像内容生成精准文本描述的AI模型。它通过学习图像和文本之间的语义关系，能够理解图片中的对象、场景以及它们之间的关系，从而生成详细且符合语境的文字描述。Oscar不仅能进行图像描述，还可以用于视觉问答和跨模态检索，是跨领域图像与文本理解的有力工具。

TokenOCR开源项目 – 文档理解的文本图像基础模型

TokenOCR是一款面向文档理解的文本图像基础模型，旨在让机器更好地‘读懂’图文内容。它通过首个token级别的图像文本数据集TokenIT，包含2000万图像和18亿token-mask对，提出首个token级别的文本图像基础模型，支持多种下游任务。基于TokenOCR构建的TokenVL模型，在文档视觉问答任务中表现卓越。

Pixtral-12B-2409模型 – 多模态图像文本处理模型

Pixtral-12B-2409 是 Mistral AI 开发的多模态模型，拥有12亿参数的解码器和4亿参数的视觉编码器，能够同时处理文本和图像。它支持128k长上下文，具备图像理解能力如OCR和视觉问答，支持中/英/日/韩等24种语言，满足全球化需求。该模型在多模态任务中表现优异，尤其在文档问答（DocVQA）和视觉问答（VQAv2）上领先，且可以在单张RTX 4090上运行，许可证为Apache 2.0。

MobileVLM开源项目 – 移动设备上的多模态视觉语言模型

MobileVLM是美团和浙江大学等推出的开源多模态视觉语言模型，专为移动设备设计。它结合了基于Transformer的语言模型MobileLLaMA和基于CLIP思想预训练的多模态视觉模型，通过轻量级下采样投影器（LDP）实现语言和视觉的交互与融合。MobileVLM在多个视觉语言任务上表现优异，推理速度快，适合在移动设备上运行。

CogVLM开源项目 – 多模态视觉语言AI模型

CogVLM是一款结合视觉和语言的大型AI模型，专为多模态任务设计，能够分析图片内容并生成精准的文本描述、回答问题，甚至进行复杂的推理。它在多模态理解上表现优异，支持OCR识别、场景分析、细节描述等功能。CogVLM通过高效整合图像和文本处理能力，为开发者提供构建复杂AI系统的可靠工具，适用于智能问答、图片内容创作、智能搜索等多种应用场景。

LAVIS开源项目 – 多模态生成模型，支持多种任务

LAVIS是一个一站式的语言-视觉智能库，支持多种语言-视觉任务，集成多种预训练模型，提供简单易用的API，以及自定义模型的训练和评估，具备高效的推理速度和性能。

MDocAgent开源项目 – 多模态文档问答框架

MDocAgent是Adobe推出的多智能体跨模态框架，专注于复杂文档理解与问答。它通过五个协同工作的智能体（通用/关键信息提取/文本/图像/总结智能体）整合文本和图像信息，结合文档预处理、多模态检索、关键信息提取等步骤，在5个基准测试中性能超越现有方法12.1%。支持端到端的文档解析、跨模态检索、多智能体推理和自动化评估流程。

Qwen-VL-强大的视觉语言模型

阿里巴巴云推出的专为聊天应用设计的强大的视觉语言模型，结合了图像和文本输入，能够生成准确的文本和边界框输出，增强了图像描述、问答、定位和文本-图像理解等任务的能力。

Apollo 11开源项目 – 模拟阿波罗11号月球登月任务

阿波罗11号任务模拟，包括1969年历史性月球着陆所使用的阿波罗导航计算机（AGC）软件的完整源代码。

Florence-VL开源项目 – 微软开源的多模态图像理解模型

Florence-VL是微软开源的多模态模型，具备强大的图像理解能力，能够从不同角度深入理解图片内容并给出准确回复。其核心在于升级的视觉编码器和深度-广度融合(DBFusion)机制，支持多层次、多方面的视觉特征捕获和融合，超越了传统的CLIP式视觉Transformer模型。

QA-Survey-CN开源项目 – 问答系统技术进展总结

一个由北京航空航天大学大数据高精尖中心研究张日崇团队对问答系统的总结，涵盖了基于知识库、文本、表格和视觉的问答系统的技术进展和热点论文。

PaliGemma 2 Release官网 – Google的多模态视觉语言模型集合

PaliGemma 2 Release 是由 Google 提供的多模态视觉语言模型集合，包含 3B、10B 和 28B 不同参数规模的模型。该项目基于 Gemma 2 语言模型和 SigLIP 视觉编码器，支持多种分辨率的图像输入，适用于图像描述、视觉问答（VQA）、光学字符识别（OCR）、表格结构识别和医学图像理解等任务。模型通过 Transformers 库进行微调，适合在广泛的视觉语言任务上实现领先性能。

暂无评论

暂无评论...