所有AI工具AI其他工具AI开源项目
Savanna开源项目 – 卷积多混合模型的预训练基础设施
Savanna是一个用于卷积多混合模型(StripedHyena 2)的预训练基础设施,旨在优化大规模分布式训练的性能,支持多种优化技术,并已成功训练多个大型模型,处理超过9T tokens的数据。
标签:AI其他工具 AI开源项目卷积多混合模型预训练基础设施 大规模分布式训练优化 模型训练优化技术AI交流(进群备注:Savanna)

Savanna是一个用于卷积多混合模型(StripedHyena 2)的预训练基础设施,旨在优化大规模分布式训练的性能,支持多种优化技术,并已成功训练多个大型模型,处理超过9T tokens的数据。
Savanna的特点:
- 1. 支持大规模分布式训练,优化千卡集群性能
- 2. 提供多种优化技术,如a2a和p2p上下文并行化
- 3. 已成功训练多个模型,如StripedHyena 7B和Evo 2 40B,覆盖超9T tokens
Savanna的功能:
- 1. 用于卷积多混合模型的预训练
- 2. 优化分布式训练的性能
- 3. 支持模型训练过程中的多种优化技术
相关导航
暂无评论...