MDocAgent是Adobe推出的多智能体跨模态框架,专注于复杂文档理解与问答。它通过五个协同工作的智能体(通用/关键信息提取/文本/图像/总结智能体)整合文本和图像信息,结合文档预处理、多模态检索、关键信息提取等步骤,在5个基准测试中性能超越现有方法12.1%。支持端到端的文档解析、跨模态检索、多智能体推理和自动化评估流程。
M3DOCRAG是一个免OCR、多模态、跨页检索的文档问答统一框架,旨在解决文档视觉问答(DocVQA)中的跨页和多模态信息处理问题。该框架包括文档嵌入、页面检索和问答三个阶段,支持封闭域和开放域文档问答。它使用ColPali进行文档嵌入,结合多模态语言模型(如Qwen2-VL)进行视觉问答,并通过Faiss进行高效的页面检索。