Virgo开源项目 – 复现o1类多模态大型语言模型

SmolVLM是全球最小的视觉语言模型，能够处理多模态任务，包括图片描述、文档问答和基本视觉推理等。它具有256M参数，表现优异，适合在低资源设备上运行。

Gemini是谷歌最大的AI模型，旨在通过加速人类进步和改善生活给人类和社会带来巨大利益。它在多个领先基准上表现出色，支持不同尺寸的优化：Ultra、Pro和Nano。Gemini从零开始构建为多模态，能够理解、操作和结合文本、代码、音频、图像和视频等不同类型的信息。

Lightning AI是一个使用PyTorch训练、部署和构建AI模型的平台，以其超快的性能而闻名。它由PyTorch Lightning的创作者开发，提供用户友好的界面来管理训练过程和监控模型性能，适用于计算机视觉、自然语言处理、推荐系统和强化学习等多个领域。

ATalkAI是一个多模型聚合平台，支持GPT、ERNIE Bot、通义千问、豆包等AI模型，能够进行在线对话和知识库问答，作为AI工具的使用足够方便。

Midjourney API由The Next Leg提供，是一个非官方的API，允许用户与流行的AI图像生成工具Midjourney进行交互。用户只需注册订阅计划，获取API密钥，即可开始向Midjourney API发送请求，进行各种图像生成和创意项目。

“Momen”是一个多功能的人工智能工具，旨在帮助企业创建和定制满足其特定需求的AI驱动应用和GPT模型。这个平台提供了一系列的功能和资源，以简化AI解决方案的开发。

Ferret-UI是一个能够理解移动UI的多模态大型语言模型（MLLM），支持根据用户指令执行各种开放任务，旨在增强对移动UI屏幕的理解。

MM-LLM是一个增强现有大型语言模型的框架，支持多模态输入和输出，同时保持其推理和决策能力。该项目提供全面的模型架构和训练管道设计，并回顾了在主流基准上的表现，旨在推动多模态任务的发展。

Ferret是来自苹果的新型多模态大型语言模型，擅长图像理解和语言处理，尤其在理解空间参考方面展现了显著的优势。

HunyanVideo 是由腾讯开发的开源视频生成模型，拥有 13 亿参数，是目前最大的开源视频生成模型。它支持从文本描述生成视频，具有超现实画质、高语义一致性、流畅的运动画面和原生镜头转换等特点，适用于广告宣传、创意视频生成等商业场景。用户可以通过 GitHub 和 Hugging Face 访问模型权重、推理代码和算法，并通过腾讯元宝 APP 申请试用，API 也已开放测试。

该项目是一个专注于多模态大型语言模型（MLLM）和视觉语言模型（VLM）推理的综合资源库，汇集了最具影响力的论文、代码、数据集、基准测试和资源。旨在为研究人员和开发者提供一站式学习平台，涵盖Chain-of-Thought、OpenAI o1、DeepSeek-R1等前沿推理技术，包含20+顶级论文和实操项目资源。

多模态大型语言模型3D应用相关资源列表，涵盖了3D理解、推理、生成和具身Agent等各种任务。该项目旨在为研究人员和开发者提供全面的工具和资源，以推动3D领域的研究与应用。

基于LLaMA 3.1的增强视觉指令微调工具，为多模态大型语言模型提供性能提升，公开发布8B参数模型的检查点。

Kimi k1.5 是由 Moonshot AI 开发的多模态大型语言模型，通过强化学习技术训练，在数学、编码和视觉任务方面表现出色。其上下文窗口可达 128k tokens，适合处理复杂的推理问题。该模型在多项基准测试中达到最先进水平，如 AIME、MATH 500 和 Codeforces。

华为云 Pangu 模型是由华为开发的一系列多模态大型语言模型，旨在通过人工智能技术服务于政府、金融、制造业、采矿、气象等多个行业。该模型支持文本生成、多轮对话、阅读理解、代码生成和插件调用等功能，具有强大的参数规模和行业适应性。

mllm是一个专为移动和边缘设备优化的轻量级多模态大型语言模型推理引擎，能够在无需依赖外部库的情况下，支持多种模型和硬件架构，提供快速推理能力。