Qwen2.5-VL开源项目 – 强大的多模态语言模型

结合了CLIP和Agent的能力，使用GPT-4直接对3D空间进行提问，能够定位和分割特定三维物体，进行空间推理。

Video-R1是一个为视频理解任务带来超强推理能力的多模态大模型。它首次在视频理解领域实现了准确率和推理长度的双重提升，使用7B参数模型，训练900步仅需10小时。通过强推理数据集的助力，Video-R1能够涌现出深度思考能力，为视频理解任务提供了强大的支持。

Gemini是谷歌最大的AI模型，旨在通过加速人类进步和改善生活给人类和社会带来巨大利益。它在多个领先基准上表现出色，支持不同尺寸的优化：Ultra、Pro和Nano。Gemini从零开始构建为多模态，能够理解、操作和结合文本、代码、音频、图像和视频等不同类型的信息。

VIMA是一款连接了机械臂的语言模型（LLM），能够接收多模态的指令，支持文字、图片、视频等输入形式。该系统能够逐步感知环境并采取实际动作，支持多模式提示，使任务描述简单灵活，统一多种任务，如视觉目标达到、视频演示模仿、学习新概念和满足安全限制。作为一个开源项目，VIMA提供了代码、预训练模型、数据集和物理模拟基准，无需付费或填写表格，便于用户使用和开发。

PandaChat.ai是一个基于人工智能的聊天工具，旨在帮助用户快速、轻松地找到和理解相关信息。用户可以上传各种类型的数据，如文档、图片、网站或PDF，并获得即时智能回应。通过PandaChat，用户可以安全地上传数据，快速获得问题的答案，无需手动搜索手册或大量文档。

MM-RLHF 是一个多模态大语言模型对齐项目，旨在通过高质量指令数据和先进算法，提升模型在图像、视频理解和安全任务中的表现。该项目提供了20k高质量指令数据，覆盖多种任务，并提出全新的MM-DPO算法，显著提升模型性能。此外，项目还包含80k对比对，为强化学习训练提供强大支持。

Ola是一个开源的全能多模态语言模型，旨在打破多模态理解的边界，支持文本、图像、视频和音频的全面理解。它采用渐进式模态对齐策略（PMA），通过三个阶段（文本-图像、语音、视频）逐步扩展模型能力，确保在不同模态间的性能平衡。Ola-7B版本在OpenCompass多模态排行榜上平均得分72.6，排名第一，是参数少于15B的模型中表现最佳的。此外，Ola支持实时流式解码功能，增强文本和语音交互的流畅性，适合需要高级交互体验的场景。

OmAgent是一个多模态智能体系统，专注于利用多模态大语言模型能力以及其他多模态算法来处理各种多模态任务。它提供轻量级智能体框架omagent_core，专为解决多模态任务设计，并支持超长复杂视频理解，将长视频理解转换为多模态RAG任务，解决视频长度限制问题。此外，OmAgent采用递归的通用任务处理逻辑，基于Divide and Conquer算法思想，并自主使用‘进度条’工具，允许智能体重看视频细节以获取信息。

FastGPT是一个企业级知识库系统，支持RAG+LLM的私有化部署方案，具有高准确率的文档解析和快速的问答响应时间。它采用混合检索引擎，结合BM25关键词和ColBERT语义搜索技术，提供高效的信息检索能力。此外，FastGPT还提供了操作流设计，允许用户可视化构建数据处理链路，并支持多模型兼容，可以灵活切换本地或云端的AI大模型。

VILA是一系列开源的视觉语言模型（VLM），旨在优化视频理解和多图像理解的效率和准确性。它通过预训练和多模态设计，支持长视频理解、多图像推理和高效的边缘部署。VILA在多个基准测试中表现优异，适用于自动驾驶、医疗影像分析等领域。

英伟达开源的智能文档信息提取及结构化工具，能高效处理大规模的PDF、Word、PPT以及图像等复杂的文档，并结构化输出。支持多种文档格式的解析，提取文本、表格、图表和图像等内容，适用于生成式应用的下游任务。

OWL（Optimized Workforce Learning）是一个基于 CAMEL-AI 框架构建的多智能体协作工具，旨在通过多代理交互完成复杂的现实任务，并在 GAIA 基准测试中排名第一。它支持多模态处理、浏览器操作、文件解析、代码执行等功能，并包含丰富的工具包，满足各类特定任务需求。

mllm-mmrotate是一个专注于空中目标检测的项目，通过多模态语言模型（MLLM）为无人机和其他空中设备提供精确的物体识别能力。项目引入规范化方法将检测输出转换为与MLLM兼容的文本输出，并提出新的评估方法以确保与传统检测器的公平比较。支持光学图像（如DOTA-v1.0、DIOR-R）和SAR图像（如SRSDD、RSAR），扩展了在不同数据类型上的应用潜力。

Eden AI是一个AI平台，提供独特的API，连接最佳AI引擎，支持多种AI技术，如生成AI、翻译、文本分析、图像分析、视频内容分析、OCR/文档解析和语音转录。旨在使所有产品开发者（包括开发者、无代码人员和AI爱好者）轻松使用AI。

Advanced Literate Machinery (ALM) 是阿里巴巴研究团队开发的一个高级文档智能系统，旨在赋予机器阅读、思考和创造的能力。项目当前专注于从图像和文档中提取信息，未来将探索让机器具备更高层次的智能。项目包含多个子模块，如OmniParser、Platypus、SceneVTG等，涵盖了文本识别、关键信息提取、表格识别、文档解析等多种功能。