open-instruct开源项目 – 开源指令微调语言模型

该项目基于 QLoRA 技术对 Falcon-7B 大型语言模型进行微调，专注于心理健康领域的对话数据集，从而提升模型在特定领域的性能。该模型支持多种对话场景的处理，旨在为心理健康相关应用提供更优质的支持。

LLM-zero2hero是一个高度解耦的微调项目，旨在支持大语言模型的自定义训练、验证和推理过程。它提供了全量微调和LoRA微调的能力，使用户能够灵活地调整模型以满足特定需求。

DPO（Direct Preference Optimization，直接偏好优化）是一种离线优化方法，直接利用偏好数据训练策略，无需显式奖励模型。该项目是基于论文《Direct Preference Optimization: Your Language Model is Secretly a Reward Model》的参考实现，支持因果 HuggingFace 模型和自定义数据集，提供了一种无需显式奖励模型的离线优化方法。特别适合语言模型对齐任务，研究表明其在控制生成情感、摘要质量和单轮对话响应上表现不亚于或优于现有方法。

BOLT（Bootstrap Long Chain-of-Thought）是一个三阶段框架，旨在通过自举方法增强大型语言模型（LLMs）的长链思考（LongCoT）能力，无需依赖知识蒸馏或昂贵的人工标注。该框架允许LLMs分析问题、制定计划、反思并回溯，以解决复杂任务。BOLT在多样化基准测试中表现出通用性和鲁棒性，适用于信息搜索、创意写作、编码、规划和数学问题等领域。

mlx-lm是专为Apple硅片（如M1/M2/M3）优化的Python包，支持在macOS上高效运行和微调大语言模型。它深度集成Hugging Face Hub，提供模型量化、分布式推理、长文本处理等高级功能，特别针对Mac用户优化性能。项目支持Mistral/Llama等主流模型，提供文本生成、交互式聊天、模型转换等核心功能，并可通过LoRA微调适配专业场景。

直接偏好优化 (DPO) 是一种新算法，旨在改变大语言模型（LLM）与人类反馈的对齐方式，提供强化学习的替代方案，从而提高模型对人类偏好的理解和响应能力。

FastVideo 是一个轻量级框架，专注于加速大型视频扩散模型。它通过一致性蒸馏技术显著提升推理速度，支持多种先进的视频扩散模型（如 Hunyuan 和 Mochi），并提供高效的训练和微调功能。FastVideo 还引入了滑动瓦片注意力（Sliding Tile Attention）技术，进一步优化了视频生成的速度和质量。该项目支持多 GPU 扩展训练，内存高效的微调方法（如 LoRA），并提供了丰富的预训练模型和数据集，方便用户快速上手。

StarCoder 2是一系列先进的代码生成模型，支持超过600种编程语言以及自然语言文本，如维基百科、Arxiv和GitHub问题。这些模型采用了分组查询注意力机制，拥有16384 token的上下文窗口和4096 token的滑动窗口注意力。其中，3B和7B模型经过3万亿token的训练，15B模型则经过4万亿token的训练，使其在代码生成和处理方面表现出色。

Bunny是一个轻量级但功能强大的多模态通用框架，兼容Llama、Qwen2、Phi3等多种大模型。它主要用于图文双模态的训练，支持多种主流视觉模型和大语言模型。Bunny的架构包括视觉编码器（Vision Encoder）、跨模态投影器（Cross Modality Projector）和大语言模型（Large Language Model）。通过特殊的token `` 来定位图像嵌入的位置，并将图像和文本模态的嵌入维度对齐，从而实现多模态融合。Bunny还提供了多种预训练模型和训练教程，支持高分辨率图像处理，并在多个基准测试中表现出色。

RIP是一种新型数据筛选方法，通过分析拒绝回复的质量、长度以及奖励差异来筛选指令提示，从而提升指令微调数据的质量和模型性能。该方法基于直接偏好优化（DPO）中的偏好对，能够筛选掉低质量的指令提示，并可以扩展为Self-RIP，用于生成高质量的合成指令数据。研究显示，RIP在Llama 3.1-8B和Llama 3.3-70B模型上显著提升了性能。

VLM-R1是一个开源项目，成功将DeepSeek的R1方法从纯文本领域迁移到视觉语言领域。该项目基于Qwen2.5-VL，对比了R1和传统的SFT方法，展示了其在多模态图像识别领域的突破性进展。VLM-R1在各种复杂场景下保持稳定的高性能，并展示了卓越的泛化能力，能够适应多种场景和任务而无需专门训练。项目在GitHub上线后迅速获得广泛关注，并登上平台热门趋势榜。

lmms-finetune 是一个多模态大模型微调工具，提供了一个统一的代码库，简化了微调流程，支持微调多种LLM。它支持完整模型微调和LoRA微调两种方式，并且具有良好的扩展性，能够满足不同场景下的需求。

Black Forest Labs的Flux模型训练脚本集，支持LoRA和ControlNet模型的微调，使用DeepSpeed进行高效训练，适用于512x512及1024x1024图片尺寸，提供下载链接和训练配置文件

FastVideo 是一个轻量级框架，专注于加速大型视频扩散模型。它通过一致性蒸馏技术显著提升推理速度，支持多种先进的视频扩散模型（如 Hunyuan 和 Mochi），并提供高效的训练和微调功能。FastVideo 还引入了滑动瓦片注意力（Sliding Tile Attention）技术，进一步优化了视频生成的速度和质量。该项目支持多 GPU 扩展训练，内存高效的微调方法（如 LoRA），并提供了丰富的预训练模型和数据集，方便用户快速上手。

MLX-VLM 是一个专为在 Mac 上进行视觉语言模型（VLM）推理和微调而设计的 Python 包。它利用 MLX 框架，针对苹果芯片进行了优化，支持多种 VLM 模型，如 Qwen2-VL、Idefics 和 LLaVA 等。项目提供了多模态输入和微调能力，支持图像、视频和文本的组合输入，并提供了 LoRA 和 QLoRA 微调方法。