所有AI工具AI其他工具AI开源项目

Savanna开源项目 – 卷积多混合模型的预训练基础设施

Savanna是一个用于卷积多混合模型(StripedHyena 2)的预训练基础设施,旨在优化大规模分布式训练的性能,支持多种优化技术,并已成功训练多个大型模型,处理超过9T tokens的数据。

标签:

AI交流(进群备注:Savanna)

Savanna是一个用于卷积多混合模型(StripedHyena 2)的预训练基础设施,旨在优化大规模分布式训练的性能,支持多种优化技术,并已成功训练多个大型模型,处理超过9T tokens的数据。

Savanna的特点:

  • 1. 支持大规模分布式训练,优化千卡集群性能
  • 2. 提供多种优化技术,如a2a和p2p上下文并行化
  • 3. 已成功训练多个模型,如StripedHyena 7B和Evo 2 40B,覆盖超9T tokens

Savanna的功能:

  • 1. 用于卷积多混合模型的预训练
  • 2. 优化分布式训练的性能
  • 3. 支持模型训练过程中的多种优化技术

相关导航

暂无评论

暂无评论...