Unified-IO 2-处理图像与语言的多模态模型

一个多模态机器学习资源的集合，包含各种模型、工具和研究材料，旨在帮助研究人员和开发者获取相关知识和实现。

该项目是一个集成多种遥感数据源的多模态大语言模型，旨在提升视觉与语言的理解能力，支持遥感数据的分析与应用。

UnIVAL是一个统一模型，旨在处理图像、视频、音频和文本等多模态任务。它通过任务平衡和多模态课程学习进行有效预训练，展现出在图像和视频文本任务中的优越性能。该模型还支持通过多模态任务训练的权重插值，展示了不同任务之间的协同作用，从而提升整体性能。

阿里巴巴云推出的专为聊天应用设计的强大的视觉语言模型，结合了图像和文本输入，能够生成准确的文本和边界框输出，增强了图像描述、问答、定位和文本-图像理解等任务的能力。

NExT-GPT 是一个支持多种输入和输出形式的多模态大语言模型，具有灵活的处理能力，可广泛应用于文本、语音、图像和视频等多种场景。

VCoder是一个多功能视觉编码器，旨在提升多模态大语言模型的感知能力，支持图像推理和生成任务，能够识别和计算图像中的物体，同时提供分割和深度图等感知模式，并利用COCO数据集进行训练和评估。

Ferret是来自苹果的新型多模态大型语言模型，擅长图像理解和语言处理，尤其在理解空间参考方面展现了显著的优势。

多模态持续学习资源库：汇集多模态持续学习方法的资源库，提供最新的研究进展和相关论文，助力人工智能领域的学习与发展

OAKINK2是一个关于复杂任务完成中双手与物体交互的综合数据集，旨在为手部动作的机器学习模型提供丰富的训练数据，促进机器人和人工智能领域对人类交互的模拟与评估。

VILA 是一个开源视觉语言模型 (VLM) 系列，旨在优化效率和准确性，适用于边缘、数据中心和云计算环境。它采用交错图像-文本预训练方法，支持多图像处理，并具有强大的上下文学习能力，能够快速学习新概念。VILA 在视频理解、多图像推理等任务中表现出色，广泛应用于研究和工业领域。

SlowFast-LLaVA是苹果开源的一个用于视频理解和推理的免训练多模态大型语言模型。该模型无需任何数据微调即可直接应用于视频理解任务，并且在多种视频问答任务和基准测试中表现优秀，可媲美或优于最先进的视频LLMs。它适用于多种多模态任务，如视频问答、视频生成、视频分类等，是视频理解和推理任务的强基线模型。

Pixtral-12B-2409 是 Mistral AI 开发的多模态模型，拥有12亿参数的解码器和4亿参数的视觉编码器，能够同时处理文本和图像。它支持128k长上下文，具备图像理解能力如OCR和视觉问答，支持中/英/日/韩等24种语言，满足全球化需求。该模型在多模态任务中表现优异，尤其在文档问答（DocVQA）和视觉问答（VQAv2）上领先，且可以在单张RTX 4090上运行，许可证为Apache 2.0。

LlamaV-o1是一个大型多模态模型，能够进行自发推理。在VCR-Bench基准测试中表现优异，超越了多个知名模型，如Gemini-1.5-flash和GPT-4o-mini。该模型结合了课程学习的结构化进展，使用Beam Search提升效率，特别适合复杂的多步视觉推理任务，具备高准确性和高效率。

Apollo是一个专为视频理解设计的一系列大型多模态模型，能处理视频语言任务，包括长视频理解、时间推理和多轮视频对话，具有高效扩展性和优异的性能表现。

NVIDIA NeMo是一个可扩展的云原生生成式AI框架，专为研究人员和PyTorch开发者设计，支持大语言模型（LLM）、多模态模型（MM）、自动语音识别（ASR）、文本转语音（TTS）和计算机视觉（CV）等领域。它旨在帮助用户高效地创建、定制和部署新一代AI模型，利用现有的代码和预训练模型检查点。NeMo基于Python配置，采用模块化抽象，支持在成千上万个GPU上进行大规模实验。

这是一个综合性列表，涵盖使用大型语言/多模态模型在机器人和强化学习领域的论文，包含论文、代码及相关网站。

LLaMA-VID 是一个用于理解长视频的多模态大模型，通过双令牌策略显著减少了长视频的过载，同时保留了关键信息。

Xorbits Inference（Xinference）是一个功能全面的分布式推理框架，支持大语言模型（LLM）、语音识别模型、多模态模型等各种模型的推理。它适用于研究者、开发者和数据科学家，支持一键部署自定义模型或内置开源模型，可在笔记本电脑、千节点集群及边缘设备上运行。

VisualThinker-R1-Zero是一个探索2B模型多模态“顿悟时刻”的项目，首次在2B非SFT模型上实现视觉推理的“顿悟时刻”。该项目显著增加了模型响应长度，大幅提升了推理能力，并观察到模型的自我反思行为，能够自动纠正错误。

MiniMind-V是MiniMind纯语言模型的视觉能力拓展，包含VLM大模型的极简结构、数据集清洗、预训练(Pretrain)、监督微调(SFT)等全过程代码。它是开源VLM模型的最小实现，也是入门视觉语言模型的简明教程。

PP-DocBee 是一个基于 Qwen2-VL-2B 模型的多模态大型语言模型，采用 'ViT+MLP+LLM' 架构，专注于理解和处理中文 PDF 文档。它结合 PaddleOCR 和 ERNIE-Bot 4.0 来纠正 OCR 识别错误并生成问答对，特别适用于处理包含文本、图像、公式、图表和表格的复杂布局中文文档。PP-DocBee 还支持图表和表格数据的合成与问答生成，提升了中文文档理解的实际应用能力。

PixelLLM 是一个基于大型多模态模型（LMM）的研究项目，专注于像素级的图像理解和定位任务。它能够为图像中特定位置提供详细描述，并准确定位这些位置。该项目由 Google Research 和 UC San Diego 的研究人员合作开发，旨在探索大型语言模型如何从视觉输入中获得空间理解和推理能力。PixelLLM 在 RefCOCO 和 Visual Genome 数据集上达到了最先进的性能，特别是在引用定位和密集对象字幕任务中表现出色。

NOIR 是一个将头部的脑电图信号解码为机器人技能库的系统，展示了20种家庭活动的操作。

GPT-4V是一个扩展大型语言模型的项目，通过视觉理解等多感官技能，增强其通用智能，支持多模态输入和人机交互，具有强大的应用潜力。