多模态视觉语言模型

MobileVLM是美团和浙江大学等推出的开源多模态视觉语言模型，专为移动设备设计。它结合了基于Transformer的语言模型MobileLLaMA和基于CLIP思想预训练的多模态视觉模型，通过轻量级下采样投影器（LDP）实现语言和视觉的交互与融合。MobileVLM在多个视觉语言任务上表现优异，推理速度快，适合在移动设备上运行。

PaliGemma 2 Release 是由 Google 提供的多模态视觉语言模型集合，包含 3B、10B 和 28B 不同参数规模的模型。该项目基于 Gemma 2 语言模型和 SigLIP 视觉编码器，支持多种分辨率的图像输入，适用于图像描述、视觉问答（VQA）、光学字符识别（OCR）、表格结构识别和医学图像理解等任务。模型通过 Transformers 库进行微调，适合在广泛的视觉语言任务上实现领先性能。

LLaVA-NeXT 是一个先进的多模态模型，基于 LLaVA-1.5 进行改进，于 2023 年 10 月发布基础版本，并于 2024 年 1 月推出 LLaVA-NeXT。该项目旨在提升图像处理和语言理解能力，特别是在视觉推理、OCR（光学字符识别）和多模态指令遵循方面。LLaVA-NeXT 通过增加输入图像分辨率（最高达 672x672、336x1344、1344x336）以及改进视觉指令调整数据集，显著增强了模型性能。它还支持更大的语言模型，如 Mistral-7B 和 Nous-Hermes-2-Yi-34B，进一步提升了其能力。LLaVA-NeXT 的训练成本低，仅需约 32 个 GPU 运行一天，使用不到 100 万视觉指令调整样本，总训练数据为 131.8 万样本，计算成本分别为 7B 模型 8x20 GPU 小时、13B 模型 16x24 GPU 小时、34B 模型 32x30 GPU 小时。这使其训练效率高于许多竞争对手，成本低至其他模型的 100-1000 倍。LLaVA-NeXT 的开放源代码特性使其广受研究者欢迎，代码、数据和模型均可公开访问，得到了 A16Z 开源 AI 资助计划的支持。

DeepSeek-VL2是一个基于MoE架构和动态切图技术的先进视觉语言模型，旨在提升视觉能力并支持多种视觉任务。该模型在多模态理解方面取得了显著进展，特别是在视觉问题回答、光学字符识别、文档/表格/图表理解和视觉定位等任务上表现出色。

一个专注于挖掘多模态视觉语言模型潜力的开源项目，支持从2B到34B不同规模的密集和MoE大型语言模型，具备图像理解、推理和生成的能力。

一种用于视觉-语言预训练的多模态数据集，通过将图像和文本交错排列，提供丰富的基础知识，帮助模型更好地理解和生成多模态内容

E.T. Bench旨在实现开放事件级的视频语言理解，结合视频和语言数据，推动多模态学习的进展。

Gemini是谷歌最大的AI模型，旨在通过加速人类进步和改善生活给人类和社会带来巨大利益。它在多个领先基准上表现出色，支持不同尺寸的优化：Ultra、Pro和Nano。Gemini从零开始构建为多模态，能够理解、操作和结合文本、代码、音频、图像和视频等不同类型的信息。

Macaw-LLM是一项探索性的努力，它通过无缝地结合图像、视频、音频和文本数据，开创了多模态语言建模。

该项目提供遥感基础模型相关论文的资源列表，涵盖遥感视觉、视觉-语言、生成式、位置和音频等多个方向的模型，旨在为研究人员提供全面的参考和支持。

VLM-Visualizer是一个视觉-语言模型注意力可视化工具，旨在通过结合语言模型和视觉变换器的注意力权重，生成输入图像上的注意力图，以直观展示模型在生成特定令牌时关注图像的哪些部分。

Ferret是来自苹果的新型多模态大型语言模型，擅长图像理解和语言处理，尤其在理解空间参考方面展现了显著的优势。

该项目是对多模态大语言模型的全面调查，涵盖最新进展、模型比较和评估以及多种应用场景，信息更新频繁，确保时效性。

mm-cot是亚马逊开源的多模态链式思维（Multi-modal Chain of Thought）模型，旨在提升大语言模型在复杂任务中的表现。它支持多模态输入，包括文本和图像，并通过链式思维增强推理能力，特别针对复杂任务进行了优化的架构设计，方便研究人员和开发者进行二次开发。

Kirsch AI是一个为Midjourney和Stable Diffusion提供支持的AI驱动的提示和图像生成器，允许用户以新颖的方式与这些工具互动，结合AI属性和设置。用户需先创建一个免费账户，下载适用于Windows或MacOS的应用程序以获得更好的使用体验，未来还将推出Android和iOS版本。

ChatGenius是一个基于GPT的先进AI聊天应用，提供智能、无缝的对话体验，能够即时准确地回答用户的问题。

质衡: 通用基础模型在底层视觉上的基准测试，包含中文版【底层视觉问答】和【底层视觉描述】数据集，以及中文提示下的图片质量评价。

基于 baichuan-7B 进行多任务有监督微调的开源多模态大语言模型，建立在 Pleisto 的以数据为中心(Data-centric AI)的工作上。羽人在多轮对话、开放域问答、角色扮演、文本生成、文本理解、图片理解等多个任务上均拥有优异的表现。