建立在HuggingFace模型和PyTorch Fully Sharded Data Parallelism基础上的训练套件，旨在优化吞吐量，简化在资源受限环境中训练中型模型的分布式方案设置工作流程，尤其适用于学术集群。
ColossalAI是一个开源的分布式AI大模型训练框架，旨在降低大规模AI大模型的训练成本和复杂度。它通过先进的并行计算技术，让开发者在有限硬件资源下也能高效训练超大规模大模型。支持多种并行策略、混合精度训练、内存优化等技术，广泛应用于大规模模型训练、科研实验和企业部署。
LLMPruner是一款专为大语言模型设计的裁剪工具，旨在优化模型性能并减少其参数量。它支持多种模型架构，并提供可视化工具，方便用户了解模型结构和裁剪效果，易于与现有机器学习工作流集成。
该项目证明可以将 LLMs 的工作负载分散到多个设备上并实现显著的加速，支持在低功耗设备上运行，兼容Llama 2 70B模型。
SynCLR是一种完全从合成图像和合成描述学习虚拟表征的方法，无需任何真实数据。它能够与OpenAI的CLIP在ImageNet上的传输效果一样好，利用合成数据获取高质量表征，适用于大模型训练中的偏好标记。
这个开源项目的功能是对类似 #ChatGPT# 的模型进行简单、快速且经济实惠的 RLHF 训练。
《人体运动扩散模型》的论文代码，旨在高效生成和编辑人体运动，支持多种运动风格和动作捕捉数据。
Llama Stack 是一个开源项目，旨在将 LLM 应用构建生成周期的所有组件打包，包括训练、微调、产品评估、观测、Agent & Memory、合成数据生成等，并支持 9+ 提供商。
Self-Consistency是Google提出的一种方法，通过对单一模型进行多次采样和结果融合，显著提升大规模语言模型的推理能力和输出结果的可信度。该方法特别适用于大模型，能够生成高质量的训练数据，从而优化模型的训练过程。
CAME（Confidence-guided Adaptive Memory Optimization）是一个旨在通过信心引导机制来优化模型内存使用的项目，提升大语言模型的性能。
Mamba训练库，支持PyTorch FSDP分布式训练、混合精度训练、V100和A100转换为HF transformers、检查点连续预训练Mamba模型以及指令调整Mamba模型等功能
