NVIDIA显卡支持

Unsloth 是一个用于训练和推理大型语言模型（LLM）的工具，特别适用于使用 DeepSeek 的 GRPO 算法进行训练。它显著减少了 VRAM 的使用，使得在有限资源下训练 LLM 更加高效。Unsloth 支持多种主流架构优化，如 Llama3、Qwen 等，在消费级显卡上实现 2-5 倍训练速度提升，显存占用降低 70%。此外，Unsloth 还支持本地 QLoRA 微调，适用于多种自然语言处理任务，并提供了适合初学者的 Colab 环境，方便用户快速上手。

CAME（Confidence-guided Adaptive Memory Optimization）是一个旨在通过信心引导机制来优化模型内存使用的项目，提升大语言模型的性能。

FluxKits是一个包含Flux-mini和Flux-NPU的工具集，其中Flux-mini是一个3.2B参数的文生图模型，经过蒸馏自12B的Flux-dev模型，显著降低了硬件需求；而Flux-NPU则是支持在NPU设备上运行Flux模型的工具库。

LLMPruner是一款专为大语言模型设计的裁剪工具，旨在优化模型性能并减少其参数量。它支持多种模型架构，并提供可视化工具，方便用户了解模型结构和裁剪效果，易于与现有机器学习工作流集成。

NOLA项目旨在通过随机基的线性组合技术对LoRA模型进行压缩，从而提高模型的效率并减少其体积，非常适合在需要降低模型大小的场景中应用。

提出一种高效的基于Intel GPU的LLM推理解决方案。通过简化LLM解码器层的结构，融合数据移动和逐元素操作，降低内存访问频率和系统延迟。同时，提出一种段KV缓存策略，将请求和响应token的键/值存储在不同的物理内存中，以有效管理设备内存，提高运行批处理大小和系统吞吐量。在Intel GPU上实现了该解决方案，并与标准的HuggingFace实现进行了比较，对于一些流行的LLM模型，在Intel GPU上实现的解决方案的令牌延迟降低了7倍，吞吐量提高了27倍。