LLM-zero2hero开源项目 – 高度解耦的大语言模型微调项目

LLM-zero2hero是一个高度解耦的微调项目，旨在支持大语言模型的自定义训练、验证和推理过程。它提供了全量微调和LoRA微调的能力，使用户能够灵活地调整模型以满足特定需求。
LLM-zero2hero的特点:
1. 高度解耦的微调过程
2. 支持自定义训练和验证
3. 实现全量微调
4. 支持LoRA微调

LLM-zero2hero的功能:
1. 进行大语言模型的全量微调
2. 使用LoRA进行高效微调
3. 自定义训练和验证流程

相关导航

ReST^EM-一种简化的自我训练方法

该研究开发了一种简化的自我训练方法，称为ReST^EM，该方法使用期望最大化（expectation maximization）来微调语言大模型（LLM），表现优于仅依赖人类数据进行微调的策略。

Anyscale | Scalable Compute for AI and Python官网 – 统一计算平台，简化AI与Python应用开发

Anyscale是一个统一的计算平台，旨在利用Ray简化可扩展AI和Python应用的开发、部署和管理。用户可以轻松地开始使用Anyscale端点进行服务和微调开源大型语言模型（LLMs）。

Passarel官网 – AI驱动的员工入职平台

Passarel是一个AI驱动的平台，通过使用特定领域的数据创建定制语言模型，帮助新员工快速入职。它提供了一个入职助手，整合现有文档和知识库，使新员工能够便捷地获取信息。

大语言模型微调技术笔记开源项目 – 总结大语言模型微调技术

该项目总结了大语言模型的微调技术，探讨了指令微调和对齐微调的方法，旨在提升模型在特定任务上的表现。

Bunny开源项目 – 轻量级多模态通用框架

Bunny是一个轻量级但功能强大的多模态通用框架，兼容Llama、Qwen2、Phi3等多种大模型。它主要用于图文双模态的训练，支持多种主流视觉模型和大语言模型。Bunny的架构包括视觉编码器（Vision Encoder）、跨模态投影器（Cross Modality Projector）和大语言模型（Large Language Model）。通过特殊的token `` 来定位图像嵌入的位置，并将图像和文本模态的嵌入维度对齐，从而实现多模态融合。Bunny还提供了多种预训练模型和训练教程，支持高分辨率图像处理，并在多个基准测试中表现出色。

mlx-lm开源 – Apple硅片高效运行大语言模型的Python工具包

mlx-lm是专为Apple硅片（如M1/M2/M3）优化的Python包，支持在macOS上高效运行和微调大语言模型。它深度集成Hugging Face Hub，提供模型量化、分布式推理、长文本处理等高级功能，特别针对Mac用户优化性能。项目支持Mistral/Llama等主流模型，提供文本生成、交互式聊天、模型转换等核心功能，并可通过LoRA微调适配专业场景。

COMPACTER开源项目 – 高效低秩超复数适配器

COMPACTER是一种用于大语言模型微调的技术，通过引入适配器、低秩优化和参数化超复数乘法层，在任务性能和可训练参数数量之间取得更好的平衡。它通过低秩超复数适配器减少内存占用，并在GLUE和SuperGLUE基准测试上达到了与标准微调相当或更好的性能。COMPACTER在机器翻译、文本摘要等领域能有效增强模型的泛化能力。技术原理包括在预训练模型中插入特定于任务的权重矩阵，通过共享的“慢”权重和每个COMPACTER层定义的“快”秩一矩阵之间的Kronecker积降低参数复杂度，利用超复数乘法层（PHM）和低秩参数化来减少模型参数，同时保持或提高模型性能。

StarCoder 2开源项目 – 多语言代码生成模型

StarCoder 2是一系列先进的代码生成模型，支持超过600种编程语言以及自然语言文本，如维基百科、Arxiv和GitHub问题。这些模型采用了分组查询注意力机制，拥有16384 token的上下文窗口和4096 token的滑动窗口注意力。其中，3B和7B模型经过3万亿token的训练，15B模型则经过4万亿token的训练，使其在代码生成和处理方面表现出色。

west开源项目 – 简洁高效的语音转录系统

west是一款基于大型语言模型（LLM）的语音转录系统，仅用300行代码实现。它支持多种LLM和语音编码器，如LLaMA、QWEN、Whisper等，具有高性能和高准确率的语音转录能力。通过模块化设计，west由LLM、语音编码器和可训练的投影器组成，仅需训练投影器，提高了训练效率。

lmms-finetune开源项目 – 多模态大模型微调工具

lmms-finetune 是一个多模态大模型微调工具，提供了一个统一的代码库，简化了微调流程，支持微调多种LLM。它支持完整模型微调和LoRA微调两种方式，并且具有良好的扩展性，能够满足不同场景下的需求。

VLM-R1开源项目 – 视觉语言领域的R1方法迁移

VLM-R1是一个开源项目，成功将DeepSeek的R1方法从纯文本领域迁移到视觉语言领域。该项目基于Qwen2.5-VL，对比了R1和传统的SFT方法，展示了其在多模态图像识别领域的突破性进展。VLM-R1在各种复杂场景下保持稳定的高性能，并展示了卓越的泛化能力，能够适应多种场景和任务而无需专门训练。项目在GitHub上线后迅速获得广泛关注，并登上平台热门趋势榜。

Chat-嬛嬛开源项目 – 基于《甄嬛传》的个性化AI聊天模型

Chat-嬛嬛是一个基于《甄嬛传》剧本中所有关于甄嬛的台词和语句，通过LoRA微调大模型得到的模仿甄嬛语气的聊天语言模型。该项目旨在通过提供任一小说或剧本，指定人物角色，运行完整流程，让用户打造属于自己的、契合角色人设的个性化AI。

x-flux开源项目 – 高效的Flux模型训练脚本

Black Forest Labs的Flux模型训练脚本集，支持LoRA和ControlNet模型的微调，使用DeepSpeed进行高效训练，适用于512x512及1024x1024图片尺寸，提供下载链接和训练配置文件

MLX-VLM开源项目 – Mac上的视觉语言模型工具

MLX-VLM 是一个专为在 Mac 上进行视觉语言模型（VLM）推理和微调而设计的 Python 包。它利用 MLX 框架，针对苹果芯片进行了优化，支持多种 VLM 模型，如 Qwen2-VL、Idefics 和 LLaVA 等。项目提供了多模态输入和微调能力，支持图像、视频和文本的组合输入，并提供了 LoRA 和 QLoRA 微调方法。

Hands-On-LLM-Fine-Tuning开源项目 – 大语言模型微调教程

一站式大语言模型微调教程，旨在帮助用户轻松上手LLM微调。项目提供多种微调技术，包括全参数微调和参数高效微调等，通过详细教程和丰富的实战案例，助力小白快速入门，并覆盖金融、推理等多个领域。

GLiClass开源 – 轻量级零样本文本分类模型

GLiClass是一个通用的轻量级文本分类模型，支持零样本和多标签分类，无需大量标注数据即可快速完成分类任务。其计算效率高，仅需单次前向传播，性能与跨编码器相当。项目支持自定义数据训练，适用于主题分类、情感分析及RAG管道重新排序等多种场景。

FastVideo开源项目 – 加速视频扩散模型的轻量框架

FastVideo 是一个轻量级框架，专注于加速大型视频扩散模型。它通过一致性蒸馏技术显著提升推理速度，支持多种先进的视频扩散模型（如 Hunyuan 和 Mochi），并提供高效的训练和微调功能。FastVideo 还引入了滑动瓦片注意力（Sliding Tile Attention）技术，进一步优化了视频生成的速度和质量。该项目支持多 GPU 扩展训练，内存高效的微调方法（如 LoRA），并提供了丰富的预训练模型和数据集，方便用户快速上手。

open-instruct开源项目 – 开源指令微调语言模型

open-instruct 是一个开源项目，专注于指令微调和后训练大型语言模型。它提供了最新的技术和指令数据集，支持直接偏好优化（DPO）和可验证奖励强化学习（RLVR），并在各种基准上评估模型性能。该项目为研究人员和开发者提供了一个平台，用于探索和改进指令微调技术。