TPU训练

accelerate是一个工具，可以帮助用户在多种设备上简单地运行PyTorch训练脚本，支持多GPU和TPU训练，并提供了易于集成的解决方案。它使得混合精度训练变得简单，同时支持分布式训练，用户可以通过命令行接口轻松启动训练任务。

ColossalAI是一个开源的分布式AI大模型训练框架，旨在降低大规模AI大模型的训练成本和复杂度。它通过先进的并行计算技术，让开发者在有限硬件资源下也能高效训练超大规模大模型。支持多种并行策略、混合精度训练、内存优化等技术，广泛应用于大规模模型训练、科研实验和企业部署。

LOMO是复旦大学提出的新论文，旨在使用单台8片24G的RTX 3090对Llama 65B模型进行全参数微调。该项目通过优化训练效率和性能，为用户提供了兼容多种深度学习框架的解决方案，并附带详细的实验结果和分析，帮助用户更好地理解模型的表现。

在本地计算机上微调 LLAMA-v2（或任何其他 LLM）的最简单方法，提供用户友好的界面和高效的训练过程，支持多种语言模型，方便用户上传数据并进行微调。

lightning-uq-box是一个基于PyTorch和Lightning的库，旨在为现代神经网络提供多种不确定性量化(UQ)技术，支持灵活的模型训练和评估，并与现有的PyTorch项目无缝集成。

DinkyTrain是普林斯顿大学NLP团队基于fairseq构建的预训练库，集成了DeepSpeed内核，旨在提供高效的模型训练和简化的训练过程，支持灵活的配置选项。

Modular Diffusion 是一个易于使用的模块化 API，旨在使用 PyTorch 设计和训练自定义扩散模型，适合多种应用场景，包括图像生成和去噪处理。

LLM Compressor 是一个专注于大型语言模型压缩的工具库，支持训练中和训练后的压缩技术。它与 PyTorch 和 HuggingFace Transformers 兼容，设计灵活易用，便于快速实验。此外，它还专门为 vLLM 提供量化优化功能，支持将 Hugging Face 格式的模型转换为 safetensors 格式，特别适用于量化 Hugging Face 上新发布的小模型。通过集成多种压缩算法（如 GPTQ、SparseGPT 和 SmoothQuant），LLM Compressor 在保持模型精度的同时，显著提升推理效率和资源利用率。

llama2.cpp 是一个高效的推理库，专为 C++ 开发，支持 CPU 计算，并且未来将支持 CUDA 和 AVX512，旨在提供高效的 Llama 2 模型推理体验，方便集成到各种 C++ 项目中。