Awesome Multimodal Large Language Models开源项目 – 多模态大语言模型的综合调研

MM-LLM是一个增强现有大型语言模型的框架，支持多模态输入和输出，同时保持其推理和决策能力。该项目提供全面的模型架构和训练管道设计，并回顾了在主流基准上的表现，旨在推动多模态任务的发展。

以爱丽丝漫游“可微分”仙境为比喻，向读者介绍神经网络领域的入门书，涵盖自动微分优化函数、序列、图、文本和音频处理的设计技术。

这是一个用C语言编写的简单操作系统，旨在帮助人们学习操作系统的基本概念和实现。

OpenOmni 是一个开源的多模态大语言模型，旨在解决多模态数据稀缺和计算资源有限的问题。它能够实时生成带有情感的语音，支持语音、文本、图像和视频的多模态理解，并提供两种实时情感语音生成模式（CTC模式和AR模式），以平衡速度与质量。其灵活的框架设计使其能够快速应用于多种下游任务，如语音导航和多角色对话。

NExT-GPT 是一个支持多种输入和输出形式的多模态大语言模型，具有灵活的处理能力，可广泛应用于文本、语音、图像和视频等多种场景。

HunyuanVideo-I2V 是腾讯混元团队最新发布并开源的图像转视频生成框架，基于多模态大语言模型（MLLM），利用预训练的解码器结构模型作为文本编码器，增强对输入图像语义内容的理解能力，并将图像生成的语义标记与视频潜在标记相结合，以实现更全面的跨模态全注意力计算。该模型适用于多种类型的角色和场景，包括写实视频制作、动漫角色甚至 CGI 角色制作的生成，支持高清视频生成和定制化特效，并上线对口型与动作驱动等玩法。

MiniCPM-o 是一款轻量级多模态大语言模型，具有8B参数，能够在手机、iPad等终端设备上高效运行。它支持视觉、语音和多模态实时流媒体处理，性能达到GPT-4o水平。MiniCPM-o 具备领先的视觉能力、创新的语音交互功能，支持多语言和多模态实时流媒体处理，广泛应用于实时语音对话、OCR、视频理解、多语言支持等场景。

这是由加州大学洛杉矶分校自然语言处理团队整理的公平性研究论文集合，涵盖了自然语言处理中的公平性各个方面，提供了对偏见检测、缓解策略和伦理考量的深入研究。该项目定期更新，以包含该领域最新的研究成果，并按主题对论文进行分类，便于查找相关文献。

该项目汇总了与多模态大语言模型（LLM）相关的研究论文和资源，提供最新的研究趋势和进展，支持多种模态的学习方法，适用于学术研究和工程实践。

该项目是一个集成多种遥感数据源的多模态大语言模型，旨在提升视觉与语言的理解能力，支持遥感数据的分析与应用。

该项目是一个多模态大语言模型（MLLM）幻觉相关论文资源列表，汇集了关于MLLM中幻觉现象的研究论文，提供分类、标签和摘要，便于研究人员快速获取信息，并持续更新确保资源的时效性。

该项目是一份多模态大语言模型相关论文和资源的阅读清单，旨在汇集、分类和整理最新的研究成果，帮助研究人员和开发者了解多模态LLM的进展和最佳实践。

OpenEMMA 是一个基于 LLaVA 的多模态大语言模型的开源端到端自动驾驶框架。它能够整合文本和摄像头等多模态输入，精确预测未来行驶路径，并提供决策理由，支持自动驾驶系统的开发、测试和研究。

SpeechGPT是一个多模态大语言模型，具备跨模态对话能力，能够感知和生成语音与文本内容。它通过将连续的语音信号离散化，实现了语音与文本模态的统一处理。该项目还包括SpeechGPT-Gen，专注于链式信息语音生成。团队还开发了SpeechTokenizer等工具，进一步推动了语音语言模型的发展。

该项目深入探讨了John Ousterhout的《A Philosophy of Software Design》与Robert Martin的《Clean Code》之间的差异，通过两位大师的思想碰撞，揭示了软件设计中的关键问题，如方法长度、注释和测试驱动开发等，并提供了丰富的代码示例和实践建议。

该项目是一个多模态大语言模型在数学、STEM及编程领域的论文集合，旨在整合和分享最新的研究成果，推动相关领域的创新与发展。

该项目是一个精选论文列表，专注于为多模态大语言模型（MLLM）提供高效的Token合并、减少、重采样和丢弃方法。通过整合多篇相关论文，帮助开发者和研究人员理解和实现高效的Token管理策略，从而优化多模态大语言模型的Token处理效率。