MLX-VLM开源项目 – Mac上的视觉语言模型工具

MLX-VLM 是一个专为在 Mac 上进行视觉语言模型（VLM）推理和微调而设计的 Python 包。它利用 MLX 框架，针对苹果芯片进行了优化，支持多种 VLM 模型，如 Qwen2-VL、Idefics 和 LLaVA 等。项目提供了多模态输入和微调能力，支持图像、视频和文本的组合输入，并提供了 LoRA 和 QLoRA 微调方法。

MLX-VLM的特点:

1. 支持多种视觉语言模型，如 Qwen2-VL、Idefics 和 LLaVA
2. 针对苹果芯片进行优化，性能高效
3. 支持多模态输入（图像、视频、文本）
4. 提供 LoRA 和 QLoRA 微调功能
5. 支持多图像同时分析，适合复杂视觉推理任务
6. 支持视频分析，如字幕生成和摘要

MLX-VLM的功能:

1. 通过命令行生成模型输出
2. 使用 Gradio 启动聊天界面
3. 在 Python 脚本中调用模型进行推理
4. 进行多图像分析，支持复杂视觉任务
5. 进行视频分析，如描述视频内容
6. 使用 LoRA 和 QLoRA 对模型进行微调

相关导航

VLM-Captioning-Tools开源项目 – 自动为图片生成描述的工具

利用视觉语言模型（VLMs）为图片自动生成描述的工具，具备自动检测并解决重复序列标题失败的功能，支持多种脚本和模型。该工具旨在提升图像描述的质量与多样性，适用于多种应用场景，如社交媒体、内容创作等。

ByteFormer-直接在文件字节上进行训练和测试的模型

一个能够直接在文件字节上进行训练和测试的模型，无需在推理时对文件进行解码。

Awesome-VLM-AD-ITS开源项目 – 自动驾驶与智能交通系统的视觉语言模型研究

该项目专注于自动驾驶与智能交通系统中的视觉语言模型研究，涵盖了感知理解、导航规划、决策控制等多个领域，提供最新研究进展和相关论文，旨在推动该领域的发展和应用。

Qwen-VL-强大的视觉语言模型

阿里巴巴云推出的专为聊天应用设计的强大的视觉语言模型，结合了图像和文本输入，能够生成准确的文本和边界框输出，增强了图像描述、问答、定位和文本-图像理解等任务的能力。

MiniMind-V开源项目 – 极简视觉语言模型实现

MiniMind-V是MiniMind纯语言模型的视觉能力拓展，包含VLM大模型的极简结构、数据集清洗、预训练(Pretrain)、监督微调(SFT)等全过程代码。它是开源VLM模型的最小实现，也是入门视觉语言模型的简明教程。

VLM-R1开源项目 – 视觉语言领域的R1方法迁移

VLM-R1是一个开源项目，成功将DeepSeek的R1方法从纯文本领域迁移到视觉语言领域。该项目基于Qwen2.5-VL，对比了R1和传统的SFT方法，展示了其在多模态图像识别领域的突破性进展。VLM-R1在各种复杂场景下保持稳定的高性能，并展示了卓越的泛化能力，能够适应多种场景和任务而无需专门训练。项目在GitHub上线后迅速获得广泛关注，并登上平台热门趋势榜。

LLM-zero2hero开源项目 – 高度解耦的大语言模型微调项目

LLM-zero2hero是一个高度解耦的微调项目，旨在支持大语言模型的自定义训练、验证和推理过程。它提供了全量微调和LoRA微调的能力，使用户能够灵活地调整模型以满足特定需求。

FastMLX开源项目 – 高性能API托管MLX模型

高性能生产级API，用于托管MLX模型，包括视觉语言模型(VLM)和语言模型(LM)，支持多种模型架构，优化资源管理，提供定制化服务

Awesome-Spatial-Reasoning开源项目 – 空间智能研究资源大全

该项目为大语言模型（LLM）和视觉语言模型（VLM）的空间智能研究提供了一个全面的论文清单，涵盖了从2023年到2025年的最新研究成果。项目不仅包括视觉和文本两种空间推理方法，还提供了20多个空间推理数据集和基准，是空间推理领域的重要学术参考资源。

x-flux开源项目 – 高效的Flux模型训练脚本

Black Forest Labs的Flux模型训练脚本集，支持LoRA和ControlNet模型的微调，使用DeepSpeed进行高效训练，适用于512x512及1024x1024图片尺寸，提供下载链接和训练配置文件

R1-V开源项目 – 低成本高效的视觉语言模型训练方法

R1-V是一个开源视觉语言模型（VLM）项目，旨在通过强化学习和可验证奖励（RLVR）在极低成本（不到3美元）和短时间内（30分钟）实现超强泛化能力。该项目通过高效的训练方法和开源资源，显著提升了模型的性能，特别是在超出分布（OOD）测试中，2B模型在100个训练步骤后超越了72B模型的表现。

Chat-嬛嬛开源项目 – 基于《甄嬛传》的个性化AI聊天模型

Chat-嬛嬛是一个基于《甄嬛传》剧本中所有关于甄嬛的台词和语句，通过LoRA微调大模型得到的模仿甄嬛语气的聊天语言模型。该项目旨在通过提供任一小说或剧本，指定人物角色，运行完整流程，让用户打造属于自己的、契合角色人设的个性化AI。

FastVideo开源项目 – 加速视频扩散模型的轻量框架

FastVideo 是一个轻量级框架，专注于加速大型视频扩散模型。它通过一致性蒸馏技术显著提升推理速度，支持多种先进的视频扩散模型（如 Hunyuan 和 Mochi），并提供高效的训练和微调功能。FastVideo 还引入了滑动瓦片注意力（Sliding Tile Attention）技术，进一步优化了视频生成的速度和质量。该项目支持多 GPU 扩展训练，内存高效的微调方法（如 LoRA），并提供了丰富的预训练模型和数据集，方便用户快速上手。

moondream开源项目 – 轻量级视觉语言模型

Moondream是一款高效的开源视觉语言模型，结合了强大的图像理解能力和轻量级特征。它设计灵活且易于使用，能够在多种设备和平台上运行。项目提供两个模型变体：Moondream 2B（2亿参数，适用于通用图像理解任务）和Moondream 0.5B（500万参数，专为边缘设备优化）。

DigiQ开源项目 – 用AI驱动设备控制的新方法，让机器学习更高效！

DigiQ 是一个利用人工智能技术，帮助用户通过少量数据训练高效的设备控制智能体的项目。它创新性地结合了视觉语言模型（VLM），显著提升了学习效果，并提供了完整的代码和预训练模型，方便用户复现和使用。