Mamba模型预训练

Mamba训练库，支持PyTorch FSDP分布式训练、混合精度训练、V100和A100转换为HF transformers、检查点连续预训练Mamba模型以及指令调整Mamba模型等功能

Mamba训练库，支持PyTorch FSDP分布式训练、混合精度训练、V100和A100转换为HF transformers、检查点连续预训练Mamba模型以及指令调整Mamba模型等功能

LLMTuner是一个高效的工具，旨在通过简化的微调流程，使用户能够在几行代码内调整大语言模型（LLM）。它支持多种预训练模型的加载和微调，提供灵活的超参数调整功能，同时拥有友好的用户界面，便于用户快速上手。该项目的可扩展性强，适用于不同的应用场景。

建立在HuggingFace模型和PyTorch Fully Sharded Data Parallelism基础上的训练套件，旨在优化吞吐量，简化在资源受限环境中训练中型模型的分布式方案设置工作流程，尤其适用于学术集群。