标签:Mixture-of-Experts

开源大模型DeepSeek-R1:低成本高性能AI的新标杆

中国深度求索(DeepSeek)发布的DeepSeek-R1开源大模型以其低成本高性能的特点引发全球关注。通过MOE(Mixture of Experts)等技术优化,DeepSeek-R1大幅降低...

DeepSeek开源周:优化并行策略推动AI训练效率革命

DeepSeek在开源周期间发布了一系列优化并行策略工具,包括DualPipe和EPLB,旨在解决大规模AI模型训练中的效率问题。这些工具通过重叠计算与通信、动态负载均...