unsloth开源项目 – 高效微调大型语言模型的工具

unsloth 是一个用于微调和优化大型语言模型（LLM）的 Python 工具库，旨在通过动态量化和显存优化技术提高模型微调速度，并显著降低显存占用。它支持多种硬件配置和大型语言模型，特别适合处理超长上下文任务，并提供可直接在线体验的 Jupyter Notebook 示例，帮助用户快速上手。

unsloth的特点:

1. 动态量化技术提高微调速度
2. 显存优化技术降低显存占用 70%-80%
3. 支持多种硬件配置
4. 支持多种大型语言模型（LLM）
5. 支持超长上下文任务
6. 提供可直接在线体验的 Jupyter Notebook 示例

unsloth的功能:

1. 用于微调大型语言模型（LLM）
2. 优化模型训练过程中的显存使用
3. 加速模型微调过程
4. 在多种硬件配置上运行模型
5. 处理超长上下文任务
6. 通过 Jupyter Notebook 示例快速上手

相关导航

H2O LLM Studio开源项目 – 用户友好的大型语言模型微调工具

H2O LLM Studio是一个用户友好的图形界面工具，允许用户轻松微调大型语言模型（LLM），无需编程技能。

HuggingFace 500卡训练教程官网 – 大规模GPU集群调参技术指南

这是一本由huggingface推出的交互式电子书，专注于在大规模GPU集群上训练大语言模型的调参技术。书中详细探讨了显存使用、计算效率和通信开销等关键挑战，并提供了相关的解决方案和权衡策略，帮助用户在大规模训练中找到计算、通信和显存之间的合适平衡。

SpeCache论文 – LLM长文本生成的显存优化方案

SpeCache是一个针对大型语言模型（LLMs）长文本生成场景的推测性关键值缓存项目，通过将KV缓存卸载到CPU内存并动态预取关键数据，显著降低GPU显存占用。其核心技术包括：1）利用CPU内存的大容量特性存储完整KV缓存；2）基于VRAM中的低位缓存副本动态测量重要性；3）推测性预测下一令牌的KV对实现预取并行化。在LongBench和Needle-in-a-Haystack基准测试中，无需模型重训练即可实现10倍压缩比，同时保持生成质量。

instructlab开源项目 – 利用合成数据微调大型语言模型的工具

InstructLab 是一个开源项目，旨在通过合成数据方法对大型语言模型（LLM）进行对齐和微调。其核心组件 `ilab` 提供了命令行界面，支持模型下载、交互式聊天、生成训练数据、模型训练和评估等功能。项目强调社区协作，允许用户通过贡献知识和技能到 taxonomy 仓库来改进模型。InstructLab 支持多种硬件加速选项（如 Apple Metal、AMD ROCm、NVIDIA CUDA），并提供了完整的端到端工作流程，从数据生成到模型训练和评估。

transformer-tricks开源项目 – 优化Transformer显存使用

该项目实现了论文 '在不损失准确性的情况下将上下文内存减半 — K-cache is all you need for MHA' 中的优化方法，通过数学方法完全消除了KV-Cache中的V-Cache，使用K-Cache通过计算来恢复V-Cache，从而减少显存使用。

StoriesForKids官网 – 个性化儿童书籍创作平台

StoriesForKids是一个利用AI技术创建个性化儿童书籍的平台，能够将现实生活中的场景转化为有趣的故事和插图，增强儿童的阅读兴趣和创造力。家长和孩子可以共同享受这个互动的阅读体验，促进亲子关系和儿童的想象力发展。

AniDoc开源项目 – 动画创作的得力助手

AniDoc是一款动画创作工具，能够轻松将一系列草图根据角色设计参考图进行上色，确保在姿势和比例差异较大的情况下仍能保持高保真度的动画效果，适合动画创作者使用。

LLM-Blender开源项目 – 通过集成多语言模型提升性能

LLM-Blender是一个通过配对排名和生成融合技术来集成多个语言模型的项目，旨在提升文本生成的准确性和质量。它结合了不同语言模型的输出，以提高性能，适用于需要高质量文本生成的多种应用场景。

EduEase | AI-Powered Quizzes官网 – 将任何PDF或主题转化为互动测验

EduEase是一个AI驱动的工具，可以将教学计划、文章和研究内容转换为引人入胜的测验，适用于教育工作者和学习者。用户可以通过链接或二维码轻松分享测验，从而彻底变革学习体验。

Efficient LLM and Multimodal Foundation Model Survey – 高效LLM与多模态模型资源汇总

该项目是一个高效LLM和多模态基础模型相关的论文资源列表，涵盖了大型语言模型(LLM)、视觉Transformer(ViT)、扩散模型以及基于LLM的多模态模型。这些资源详细展示了这些模型在机器学习生命周期的各个阶段，从训练到部署的应用与实现。

Needle官网 – 连接私人数据源，获取即时答案

Needle是一个知识线程平台，能够连接用户的私人数据源，如Google Drive、Confluence、Notion、Slack等，实时回答用户的问题。同时，用户可以利用Needle的API构建上下文感知的AI代理，支持多种平台如MCP、DSPy和Vercel。

Atom of Thoughts (AoT)开源项目 – 提升大模型推理效率的新框架

Atom of Thoughts (AoT) 是一种新的推理框架，通过将复杂问题分解为原子问题来增强大语言模型的推理能力。该框架显著提高了推理效率，支持多种推理场景，如数学问题、选择题和多跳问答，并在 HotpotQA 等基准测试中表现出色，使 GPT-4o-mini 等模型性能提升 3.4%。AoT 还通过将问题分解为有向无环图（DAG）并迭代压缩子问题，简化推理过程，降低计算成本，同时保持解决方案的质量。