MobileVLM开源项目 – 移动设备上的多模态视觉语言模型

PaliGemma 2 Release 是由 Google 提供的多模态视觉语言模型集合，包含 3B、10B 和 28B 不同参数规模的模型。该项目基于 Gemma 2 语言模型和 SigLIP 视觉编码器，支持多种分辨率的图像输入，适用于图像描述、视觉问答（VQA）、光学字符识别（OCR）、表格结构识别和医学图像理解等任务。模型通过 Transformers 库进行微调，适合在广泛的视觉语言任务上实现领先性能。

Meta-Transformer是一个用于多模态学习的统一框架，能够处理各种模态如自然语言、2D图像、3D点云、音频、视频、时间序列和表格数据。它采用冻结的编码器进行多模态感知，并且可以在没有配对的多模态训练数据的情况下进行训练，同时可学习的数据预处理器能够处理每个输入模态，生成共享的嵌入表示。

NodeFormer是一个基于Transformer架构的可扩展图结构学习模型，专为节点分类任务设计。它能够处理大规模图数据，并适用于社交网络、推荐系统等多种场景。

LLaVA是一个轻量级的多模态大模型推理框架，结合了视觉和语言理解能力，基于LLaMA架构和视觉Transformer，支持图像+文本的高效处理。它能够理解和分析图像内容，适用于视觉问答、图片理解、AI助理等多种任务。

ComfyUI-Janus-Pro 是一组为 ComfyUI 设计的自定义节点，集成了由 DeepSeek AI 开发的 Janus-Pro 框架，这是一个统一的多模态理解和生成模型。它为 ComfyUI 带来了强大的多模态理解能力，使 AI 创作过程更加智能和高效。主要功能包括图像理解、生成描述和光学字符识别（OCR），支持 Janus-Pro-1B 和 Janus-Pro-7B 模型，适用于多种图像处理任务。

Florence-VL是微软开源的多模态模型，具备强大的图像理解能力，能够从不同角度深入理解图片内容并给出准确回复。其核心在于升级的视觉编码器和深度-广度融合(DBFusion)机制，支持多层次、多方面的视觉特征捕获和融合，超越了传统的CLIP式视觉Transformer模型。

Namo-R1是一款仅需CPU即可实时运行的500M参数视觉语言模型，能够轻松超越Moondream2和SmolVLM。它不仅支持多语言OCR和图像描述等复杂任务，还完全开源，提供训练脚本和数据，便于用户进行二次开发和部署。

Densely Captioned Images (DCI) 数据集旨在为图像提供详细的描述，以捕捉视觉细节，适用于计算机视觉领域的多种任务。

阿里巴巴云推出的专为聊天应用设计的强大的视觉语言模型，结合了图像和文本输入，能够生成准确的文本和边界框输出，增强了图像描述、问答、定位和文本-图像理解等任务的能力。

BLIP (Bootstrapped Language-Image Pretraining) 是一款强大的图像-文本理解模型，能够根据图片内容自动生成高质量的描述文本。它结合视觉和语言模型，支持图像理解、文本生成、跨模态检索等功能，适用于图片字幕生成、视觉问答、智能搜索等场景。

Pixtral-12B-2409 是 Mistral AI 开发的多模态模型，拥有12亿参数的解码器和4亿参数的视觉编码器，能够同时处理文本和图像。它支持128k长上下文，具备图像理解能力如OCR和视觉问答，支持中/英/日/韩等24种语言，满足全球化需求。该模型在多模态任务中表现优异，尤其在文档问答（DocVQA）和视觉问答（VQAv2）上领先，且可以在单张RTX 4090上运行，许可证为Apache 2.0。

M3DOCRAG是一个免OCR、多模态、跨页检索的文档问答统一框架，旨在解决文档视觉问答（DocVQA）中的跨页和多模态信息处理问题。该框架包括文档嵌入、页面检索和问答三个阶段，支持封闭域和开放域文档问答。它使用ColPali进行文档嵌入，结合多模态语言模型（如Qwen2-VL）进行视觉问答，并通过Faiss进行高效的页面检索。

WorldRWKV是一个基于纯RWKV7架构的模型，旨在实现任意模态的训练和推理，使模型能够轻松理解多种输入形式。它支持多种模态的输入（如视觉、语音）并输出文本，提供端到端的跨模态推理能力，性能卓越，例如在视觉问答任务中准确率高达78.30%。

NExT-GPT 是一个支持多种输入和输出形式的多模态大语言模型，具有灵活的处理能力，可广泛应用于文本、语音、图像和视频等多种场景。

GPT4视觉用例集锦是一个集合了多种视觉任务的项目，基于最新的GPT-4模型，提供丰富的示例和用例，旨在帮助用户更好地利用视觉技术。该项目采用易于使用的API接口，支持图像分类、对象检测、图像生成和视觉问答等功能，适用于广泛的应用场景。