Pixel Aligned Language Models (PixelLLM)官网 – 像素级图像理解与定位模型

LLaMA-VID 是一个用于理解长视频的多模态大模型，通过双令牌策略显著减少了长视频的过载，同时保留了关键信息。

MiniMind-V是MiniMind纯语言模型的视觉能力拓展，包含VLM大模型的极简结构、数据集清洗、预训练(Pretrain)、监督微调(SFT)等全过程代码。它是开源VLM模型的最小实现，也是入门视觉语言模型的简明教程。

GPT-4V是一个扩展大型语言模型的项目，通过视觉理解等多感官技能，增强其通用智能，支持多模态输入和人机交互，具有强大的应用潜力。

Pixtral-12B-2409 是 Mistral AI 开发的多模态模型，拥有12亿参数的解码器和4亿参数的视觉编码器，能够同时处理文本和图像。它支持128k长上下文，具备图像理解能力如OCR和视觉问答，支持中/英/日/韩等24种语言，满足全球化需求。该模型在多模态任务中表现优异，尤其在文档问答（DocVQA）和视觉问答（VQAv2）上领先，且可以在单张RTX 4090上运行，许可证为Apache 2.0。

LlamaV-o1是一个大型多模态模型，能够进行自发推理。在VCR-Bench基准测试中表现优异，超越了多个知名模型，如Gemini-1.5-flash和GPT-4o-mini。该模型结合了课程学习的结构化进展，使用Beam Search提升效率，特别适合复杂的多步视觉推理任务，具备高准确性和高效率。

VILA 是一个开源视觉语言模型 (VLM) 系列，旨在优化效率和准确性，适用于边缘、数据中心和云计算环境。它采用交错图像-文本预训练方法，支持多图像处理，并具有强大的上下文学习能力，能够快速学习新概念。VILA 在视频理解、多图像推理等任务中表现出色，广泛应用于研究和工业领域。

该项目提供了一套用于下载和加载脑部肿瘤MRI数据集的Python工具，包含2D切片、肿瘤掩码和肿瘤分类数据，适用于医学影像分析、机器学习模型训练与测试、脑部肿瘤检测算法的研究与开发、医学影像数据集的预处理以及教育和学术研究。

PP-DocBee 是一个基于 Qwen2-VL-2B 模型的多模态大型语言模型，采用 'ViT+MLP+LLM' 架构，专注于理解和处理中文 PDF 文档。它结合 PaddleOCR 和 ERNIE-Bot 4.0 来纠正 OCR 识别错误并生成问答对，特别适用于处理包含文本、图像、公式、图表和表格的复杂布局中文文档。PP-DocBee 还支持图表和表格数据的合成与问答生成，提升了中文文档理解的实际应用能力。

该项目是一个高效LLM和多模态基础模型相关的论文资源列表，涵盖了大型语言模型(LLM)、视觉Transformer(ViT)、扩散模型以及基于LLM的多模态模型。这些资源详细展示了这些模型在机器学习生命周期的各个阶段，从训练到部署的应用与实现。

这是一个综合性列表，涵盖使用大型语言/多模态模型在机器人和强化学习领域的论文，包含论文、代码及相关网站。

Skywork-R1V 是一个先进的AI模型，通过38B参数实现文本与视觉推理能力的融合。它采用轻量级视觉适配器和三阶段训练方法，支持复杂数学问题解决和医学影像分析等场景。该模型在多个基准测试中表现出色，如MATH-500和MathVista，性能可能与闭源大型模型相当。

该项目是一个精选的GPT-4o生成图片案例集合，展示了OpenAI最新多模态模型在图像创作领域的强大能力。 包含46个高质量案例，涵盖Q版3D、复古海报、吉卜力风格等多样化主题，每个案例均附详细提示词和效果图， 旨在为创作者提供灵感和实用参考。项目还整合了提示词工程技巧和推荐工具，支持中英双语。

Chinese LLaVA是一个支持中英文双语的开源多模态模型，能够进行视觉与文本的结合对话，具备高效的理解能力和灵活的应用场景，适合商用开发。

Apollo是一个专为视频理解设计的一系列大型多模态模型，能处理视频语言任务，包括长视频理解、时间推理和多轮视频对话，具有高效扩展性和优异的性能表现。

NVIDIA NeMo是一个可扩展的云原生生成式AI框架，专为研究人员和PyTorch开发者设计，支持大语言模型（LLM）、多模态模型（MM）、自动语音识别（ASR）、文本转语音（TTS）和计算机视觉（CV）等领域。它旨在帮助用户高效地创建、定制和部署新一代AI模型，利用现有的代码和预训练模型检查点。NeMo基于Python配置，采用模块化抽象，支持在成千上万个GPU上进行大规模实验。