图像和文本处理

M2RAG通过多模态检索增强和指令调优来提升多模态RAG模型的性能，特别是在处理图像和文本结合的多模态数据时，有效减少幻觉，生成更准确的回答。项目通过MM-RAIT训练方法，优化模型在执行检索、理解和回答等RAG流程中各个阶段的表现，显著提高了模型的准确性。经过训练后，MiniCPM-V和Qwen2-VL模型性能比普通RAG方法平均提高了27%和34%。