所有AI工具AI开发框架AI开源项目
Kotomamba开源项目 – 高效的Mamba训练库
Mamba训练库,支持PyTorch FSDP分布式训练、混合精度训练、V100和A100转换为HF transformers、检查点连续预训练Mamba模型以及指令调整Mamba模型等功能
标签:AI开发框架 AI开源项目HF transformers转换 Mamba模型预训练 PyTorch分布式训练 指令调整模型 混合精度训练AI交流(进群备注:Kotomamba)

Mamba训练库,支持PyTorch FSDP分布式训练、混合精度训练、V100和A100转换为HF transformers、检查点连续预训练Mamba模型以及指令调整Mamba模型等功能
Kotomamba的特点:
1. 支持PyTorch FSDP分布式训练
2. 支持混合精度训练
3. 转换V100和A100为HF transformers
4. 检查点连续预训练Mamba模型
5. 指令调整Mamba模型
Kotomamba的功能:
1. 使用PyTorch进行分布式训练
2. 实施混合精度训练以提高性能
3. 将V100和A100模型转换为HF transformers格式
4. 加载检查点以进行连续预训练
5. 对Mamba模型进行指令调整以适应特定任务
相关导航
暂无评论...