nanoMoE是基于nanoGPT的轻量级MoE模型训练框架，旨在简化并加速中等规模MoE模型的训练过程。它通过优化训练流程和硬件适配，使得在资源有限的硬件环境下也能高效完成模型训练。
accelerate是一个工具，可以帮助用户在多种设备上简单地运行PyTorch训练脚本，支持多GPU和TPU训练，并提供了易于集成的解决方案。它使得混合精度训练变得简单，同时支持分布式训练，用户可以通过命令行接口轻松启动训练任务。
Mamba训练库，支持PyTorch FSDP分布式训练、混合精度训练、V100和A100转换为HF transformers、检查点连续预训练Mamba模型以及指令调整Mamba模型等功能
LLMTuner是一个高效的工具，旨在通过简化的微调流程，使用户能够在几行代码内调整大语言模型（LLM）。它支持多种预训练模型的加载和微调，提供灵活的超参数调整功能，同时拥有友好的用户界面，便于用户快速上手。该项目的可扩展性强，适用于不同的应用场景。
建立在HuggingFace模型和PyTorch Fully Sharded Data Parallelism基础上的训练套件，旨在优化吞吐量，简化在资源受限环境中训练中型模型的分布式方案设置工作流程，尤其适用于学术集群。
