高效压缩MoE大模型

D²-MoE是一种专为基于Mixture of Experts（MoE）的大型语言模型（LLM）设计的高效压缩方案。通过其独特的Delta Decompression技术，该方案能够在无需额外训练的情况下显著减少模型参数，同时保持模型的性能。D²-MoE支持多种模型架构，如Mixtral和DeepSeek，具有广泛的适用性。