微调速度提升

Low-Rank Adaptation of Large Language Models 是微软研究员引入的一项新技术，主要用于处理大模型微调的问题，能够降低微调过程中的计算开销和内存需求。通过冻结预训练模型的权重并在每个 Transformer 块中注入可训练层，LoRA 实现了在减少训练参数数量的同时，保持微调质量与全模型微调相当，并显著提高微调速度。

一种高效加速大语言模型推理的技术，通过减少内存访问，几乎不损失性能，让模型运行更快更省资源

Intel Extension for Transformers 是一个开源项目，旨在使客户端 CPU 上的大型语言模型（LLM）微调成为可能，特别是在没有 GPU 的情况下。它支持在 CPU 上进行 QLoRA 微调，适用于笔记本电脑环境，并通过优化的性能提升模型训练效率。该项目与 HuggingFace Transformers 兼容，支持 4 位推理，并利用 Intel 神经压缩器提供丰富的模型压缩技术，如量化、剪枝和蒸馏，显著提高了英特尔平台上的推理效率。此外，它还支持自动化的仅限权重的 INT4 量化流程，兼容多个流行的大语言模型，如 Llama2、Llama 和 GPT-NeoX。

CAME（Confidence-guided Adaptive Memory Optimization）是一个旨在通过信心引导机制来优化模型内存使用的项目，提升大语言模型的性能。

EasyContext 是一个用于内存优化和训练配方的项目，旨在将语言模型的上下文长度扩展到100万令牌，同时对硬件要求最小化。该项目提供了多种方法来提升模型性能，并兼容现有技术的实现，帮助开发者在资源有限的情况下有效地进行模型训练。

Stick-breaking Attention 是一种基于 Triton 的变长序列注意力机制实现，旨在通过优化计算方式提升在 GPU 上的性能，适合多种深度学习任务，易于与现有框架集成。

GPU Finder是一个网站，帮助客户发现来自全球公共云提供商的可用GPU实例。它提供了不同云提供商提供的各种GPU、GPU服务器和GPU计算平台的信息。

这是一个开源实现，旨在为Meta的Llama3.2-Vision系列模型提供微调功能，支持高效训练，兼容Liger-Kernel，提升模型性能和训练效率。

Lorai是一个平台，允许用户使用自己的品牌资产训练生成AI模型，以在几秒钟内创建独特内容。用户可以在浏览器中轻松训练低秩适应（LoRAs），无需计算资源，快速生成高质量设计元素。