Flux 是字节跳动开源的 MoE 架构优化技术「COMET」,旨在通过细粒度的计算与通信重叠来提高混合专家模型(MoE)的执行效率。该技术显著提升了模型训练的速度,降低了计算成本,并已在万卡集群中实战应用,累计节省了数百万 GPU 小时。Flux 完美兼容 DeepSeek DualPipe 方案,支持多种硬件环境稳定运行,且无需框架重构,即插即用。