检索增强

孟子 GPT 大语言模型是由澜舟科技开发的一个大规模语言模型，支持多语言和多模态数据处理，广泛应用于文本理解和生成任务。该模型在国内评测中表现优异，如 C-EVAL 和 SUPERCLUE，并于 2023 年底通过网信办备案，已面向公众开放。其技术特点包括多模型架构支持、知识图谱增强、小样本学习能力以及图文双模态输入等。

M2RAG通过多模态检索增强和指令调优来提升多模态RAG模型的性能，特别是在处理图像和文本结合的多模态数据时，有效减少幻觉，生成更准确的回答。项目通过MM-RAIT训练方法，优化模型在执行检索、理解和回答等RAG流程中各个阶段的表现，显著提高了模型的准确性。经过训练后，MiniCPM-V和Qwen2-VL模型性能比普通RAG方法平均提高了27%和34%。