MM-LLM-多模态大型语言模型的最新进展

MM-LLM是一个增强现有大型语言模型的框架，支持多模态输入和输出，同时保持其推理和决策能力。该项目提供全面的模型架构和训练管道设计，并回顾了在主流基准上的表现，旨在推动多模态任务的发展。
MM-LLM的特点:
1. 增强现成的LLM以支持多模态输入或输出
2. 保留LLM固有的推理和决策能力
3. 支持各种多模态任务
4. 提供全面的模型架构和训练管道设计
5. 回顾主流基准上的表现

MM-LLM的功能:
1. 用于多模态数据的处理和分析
2. 支持文本与图像等多种类型的输入
3. 在多模态任务中进行推理和决策
4. 促进对多模态大型语言模型的进一步研究
5. 实时跟踪多模态领域的最新发展

相关导航

Merlin开源项目 – 新型多模态大模型，提升视觉理解

Merlin是一种由和支持的新型MLLM，展示了增强的视觉理解、未来推理和多图像输入分析能力。研究人员提议将未来建模引入多模态LLM（MLLMs）中，以提高对基本原则和主体意图的理解。他们利用了现有学习范式启发的预见性预训练（FPT）和预见性指令调优（FIT）技术。

Awesome Multimodal Large Language Models开源项目 – 多模态大语言模型的综合调研

该项目是对多模态大语言模型的全面调查，涵盖最新进展、模型比较和评估以及多种应用场景，信息更新频繁，确保时效性。

GPT-4V(ision)-多模态模型，具备视觉理解能力

GPT-4V是一个扩展大型语言模型的项目，通过视觉理解等多感官技能，增强其通用智能，支持多模态输入和人机交互，具有强大的应用潜力。

Awesome-LLM-Constrained-Decoding开源项目 – 大型语言模型约束解码资源

有关大型语言模型（LLM）约束解码的精选论文列表，包含相关代码和资源，旨在实现更可靠、可控和高效的文本生成。

awesome-lifelong-learning-methods-for-llm开源项目 – 终身学习资源库，助力LLM发展

该项目是一个专注于大型语言模型（LLM）终身学习的资源库，收集了相关的精华综述、研究资源和论文，旨在促进LLM的持续学习能力和性能提升。

Reinforcement Learning: An Overview-系统性梳理强化学习的发展与未来

这篇综述系统性地梳理了强化学习从价值驱动到模型思维的范式转变，探讨了强化学习的未来发展方向以及与大语言模型的结合。

Awesome-LLM-3D开源项目 – 多模态大型语言模型3D应用资源

多模态大型语言模型3D应用相关资源列表，涵盖了3D理解、推理、生成和具身Agent等各种任务。该项目旨在为研究人员和开发者提供全面的工具和资源，以推动3D领域的研究与应用。

Ferret-一款出色的多模态大型语言模型

Ferret是来自苹果的新型多模态大型语言模型，擅长图像理解和语言处理，尤其在理解空间参考方面展现了显著的优势。

MnnLlmApp-基于MNN开源项目 – LLM的安卓离线应用

MnnLlmApp是一个基于MNN-LLM框架的Android手机应用，支持各类大型语言模型（LLM）在手机上离线运行，能够处理多模态任务，包括文本生成、图像生成和音频转文本等。该应用在安卓平台上具有优秀的CPU性能，预填充速度相较于其他框架大幅提升，支持多种模型，完全在设备本地运行，确保数据隐私和处理效率。

Cerbrec Graphbook官网 – 专注模型架构的图示平台

Cerbrec Graphbook 是一个图示平台，旨在让数据科学家专注于模型架构，而非基础设施和软件工程。用户可以从原子级别查看和编辑模型架构，提供透明的AI建模，避免黑箱问题。此外，Graphbook还支持实时检查数据类型和形状，简化模型调试过程，快速识别和修复错误。该平台还抽象了软件依赖关系和环境配置，使用户能够专注于模型架构和数据流。

HunyanVideo模型 – 最大的开源视频生成模型

HunyanVideo 是由腾讯开发的开源视频生成模型，拥有 13 亿参数，是目前最大的开源视频生成模型。它支持从文本描述生成视频，具有超现实画质、高语义一致性、流畅的运动画面和原生镜头转换等特点，适用于广告宣传、创意视频生成等商业场景。用户可以通过 GitHub 和 Hugging Face 访问模型权重、推理代码和算法，并通过腾讯元宝 APP 申请试用，API 也已开放测试。

Kimi k1.5官网 – 多模态大型语言模型

Kimi k1.5 是由 Moonshot AI 开发的多模态大型语言模型，通过强化学习技术训练，在数学、编码和视觉任务方面表现出色。其上下文窗口可达 128k tokens，适合处理复杂的推理问题。该模型在多项基准测试中达到最先进水平，如 AIME、MATH 500 和 Codeforces。

Transfusion-统一生成文本与图像的模型

Transfusion是一种可以生成文本和图像的训练模型的统一方法，结合了语言建模和扩散的优势。它通过结合下一个Token预测与扩散，在混合模态序列上训练单个Transformer，提供了优于传统方法的扩展性，支持高达7B参数和2T多模态标记。

PaLI-3-小巧快速的强大视觉语言模型

PaLI-3是一个相对更小、更快且更强大的视觉语言模型，其性能表现优于大小为其10倍的类似模型，专注于多模态任务的高效处理。

Baichuan-Omni-1.5开源项目 – 开源全模态基础模型

Baichuan-Omni-1.5是一个支持文本、图像、视频和音频输入以及文本和音频输出的开源全模态基础模型。它在视觉语言、语音能力和医学图像理解方面表现出色，适用于多种多模态任务。

ml-ferret开源项目 – 多模态大型语言模型，理解移动UI

Ferret-UI是一个能够理解移动UI的多模态大型语言模型（MLLM），支持根据用户指令执行各种开放任务，旨在增强对移动UI屏幕的理解。

华为云 Pangu 模型官网 – 多模态大型语言模型

华为云 Pangu 模型是由华为开发的一系列多模态大型语言模型，旨在通过人工智能技术服务于政府、金融、制造业、采矿、气象等多个行业。该模型支持文本生成、多轮对话、阅读理解、代码生成和插件调用等功能，具有强大的参数规模和行业适应性。

Awesome-Reasoning-MLLM开源 – MLLM/VLM推理资源库

该项目是一个专注于多模态大型语言模型（MLLM）和视觉语言模型（VLM）推理的综合资源库，汇集了最具影响力的论文、代码、数据集、基准测试和资源。旨在为研究人员和开发者提供一站式学习平台，涵盖Chain-of-Thought、OpenAI o1、DeepSeek-R1等前沿推理技术，包含20+顶级论文和实操项目资源。

Virgo开源项目 – 复现o1类多模态大型语言模型

初步探索复现o1类多模态大型语言模型，旨在通过结合视觉和文本数据，提升模型的推理和理解能力，推动人工智能在复杂任务中的应用

LLaVA-MORE开源项目 – 增强视觉指令微调工具

基于LLaMA 3.1的增强视觉指令微调工具，为多模态大型语言模型提供性能提升，公开发布8B参数模型的检查点。

mllm开源项目 – 移动设备上的多模态语言模型推理引擎

mllm是一个专为移动和边缘设备优化的轻量级多模态大型语言模型推理引擎，能够在无需依赖外部库的情况下，支持多种模型和硬件架构，提供快速推理能力。