moondream开源项目 – 轻量级视觉语言模型

Moondream是一款高效的开源视觉语言模型，结合了强大的图像理解能力和轻量级特征。它设计灵活且易于使用，能够在多种设备和平台上运行。项目提供两个模型变体：Moondream 2B（2亿参数，适用于通用图像理解任务）和Moondream 0.5B（500万参数，专为边缘设备优化）。

moondream的特点:

1. 强大的图像理解能力
2. 轻量级设计，适合多种设备
3. 支持通用图像理解任务，如描述生成、视觉问答和物体检测
4. 提供两个模型变体，适应不同需求
5. 易于使用，支持Python和Node.js客户端库

moondream的功能:

1. 通过Python客户端库进行图像描述生成
2. 使用Node.js客户端库进行图像处理
3. 通过Hugging Face Transformers集成进行GPU加速推理
4. 在边缘设备上部署轻量级模型
5. 进行视觉问答任务，如回答图像中的问题

相关导航

ChatGLM-6B开源项目 – 开源双语多模态对话语言模型

ChatGLM-6B是清华大学开发的一个开源双语对话语言模型，基于General Language Model (GLM)架构，具有62亿参数。它支持中英双语对话，并具备图像理解的多模态功能。模型经过约1T标识符的中英双语训练，辅以监督微调、反馈自助、人类反馈强化学习等技术，旨在提供高质量的对话生成和自然语言处理能力。结合模型量化技术，可在消费级显卡上本地部署（INT4量化级别下最低只需6GB显存），并针对中文问答和对话进行了优化。

NanoLLM开源项目 – 优化LLM本地推理的平台

NanoLLM 是一个专门为大语言模型(LLM)提供优化本地推理的平台，支持 HuggingFace 风格的 API，具备量化、视觉/语言模型、多模态Agent、语音处理、矢量数据库集成和检索增强生成(RAG)等功能。

VILA开源项目 – 高效多模态视觉语言模型

VILA 是一个开源视觉语言模型 (VLM) 系列，旨在优化效率和准确性，适用于边缘、数据中心和云计算环境。它采用交错图像-文本预训练方法，支持多图像处理，并具有强大的上下文学习能力，能够快速学习新概念。VILA 在视频理解、多图像推理等任务中表现出色，广泛应用于研究和工业领域。

Awesome-Spatial-Reasoning开源项目 – 空间智能研究资源大全

该项目为大语言模型（LLM）和视觉语言模型（VLM）的空间智能研究提供了一个全面的论文清单，涵盖了从2023年到2025年的最新研究成果。项目不仅包括视觉和文本两种空间推理方法，还提供了20多个空间推理数据集和基准，是空间推理领域的重要学术参考资源。

360VL开源项目 – 开源多模态模型

360VL是基于LLama3语言模型开发的开源大型多模态模型，采用全局感知多分支投影器架构，显著增强了模型的图像理解能力。该模型支持单卡和多卡GPU推理，适用于需要大规模多模态模型的研究和开发。

olmOCR官网 – 高效提取PDF结构化内容

olmOCR 是一个端到端的 PDF 文档解析工具，结合视觉语言模型（VLM）和文档锚定技术，能够高效提取 PDF 文档中的结构化内容，如章节、表格、列表和公式。它通过在大规模数据集上微调一个 7B 参数的 VLM 模型，显著提高了内容提取的准确性和处理效率。推理管道基于 SGLang 和 vLLM 框架，能够高效处理大规模数据，并通过优化硬件利用和推理效率降低成本。该项目特别针对 PDF 文档的多样性格式和视觉布局设计，能够保持自然阅读顺序，同时处理图形、手写文本和低质量扫描件。

LLaMA-VID开源项目 – 处理长时间视频的多模态大模型

LLaMA-VID 是一种开源的多模态大模型，专门设计用于处理长时间的视频内容，如电影。它通过使用视觉语言模型（Vision Language Models, VLMs）来结合计算机视觉和自然语言处理，从而理解和生成与视频内容相关的文本。LLaMA-VID 通过使用两个标记（Token）来表示每一帧图像或视频：一个上下文标记（Context Token）用于编码整个图像或视频中最相关或最重要的部分，另一个内容标记（Content Token）用于捕捉每一帧图像中具体存在或发生过的事物。这种方法有效地减少了长时间视频中过多无关紧要的信息，并保留了最核心的有意义信息。LLaMA-VID 能够处理单图片、短视频和长视频，并在多个视频榜单上实现了 SOTA（State of the Art）表现。

InternVL开源项目 – 开源多模态大模型，媲美商业模型

InternVL 是由 OpenGVLab 团队开发的开源多模态大模型，旨在提供接近 GPT-4V 和 Gemini Pro 等商业模型性能的替代方案。它支持多种模态任务，包括图像理解、文本生成、跨模态检索等，并且在多个基准测试中表现出色。InternVL 系列模型参数覆盖从 1B 到 78B，适用于各种规模和复杂度的任务。

Qwen2.5VL模型 – 阿里巴巴最新视觉语言模型

Qwen2.5VL 是阿里巴巴 Qwen 系列的最新旗舰视觉语言模型，专注于图像、文本和视频的多模态理解与识别。该模型在视觉代理、视频理解和文档解析等方面表现出色，支持层级定位、JSON 格式输出和秒级事件定位。Qwen2.5VL 能够处理超过 1 小时的视频，适用于安防、教育、商业和娱乐等多个领域。

Mini-Gemini开源项目 – 挖掘多模态视觉语言模型潜力

一个专注于挖掘多模态视觉语言模型潜力的开源项目，支持从2B到34B不同规模的密集和MoE大型语言模型，具备图像理解、推理和生成的能力。

GPT-4官网 – 多模态语言模型

GPT-4 是 OpenAI 开发的最新大型语言模型，能够处理图像和文本输入，生成文本输出。相较于前代 GPT-3.5，在安全性、事实准确性和内容生成方面有显著提升。它在各种专业和学术基准测试中表现出人类水平的表现，例如通过模拟律师考试成绩在顶尖 10% 左右。GPT-4 通过强化学习从人类反馈中进行调整，以提高事实准确性和遵循用户指令的能力。

VILA开源项目 – 高效视觉语言模型

VILA是一系列开源的视觉语言模型（VLM），旨在优化视频理解和多图像理解的效率和准确性。它通过预训练和多模态设计，支持长视频理解、多图像推理和高效的边缘部署。VILA在多个基准测试中表现优异，适用于自动驾驶、医疗影像分析等领域。