分布式训练加速

DualPipe是一种创新的双向流水线并行算法，专为解决大规模AI模型训练中的效率问题而设计。它通过创新的调度策略，完全重叠前向和后向计算-通信阶段，同时减少流水线气泡，从而在相同设备配置下实现更高的训练吞吐量。该算法适用于跨多设备训练超大规模模型的场景，支持PyTorch 2.0及以上版本，无缝融入现代深度学习框架。