AI交流(进群备注:D²-MoE)

D²-MoE是一种专为基于Mixture of Experts(MoE)的大型语言模型(LLM)设计的高效压缩方案。通过其独特的Delta Decompression技术,该方案能够在无需额外训练的情况下显著减少模型参数,同时保持模型的性能。D²-MoE支持多种模型架构,如Mixtral和DeepSeek,具有广泛的适用性。
D²-MoE的特点:
- 1. 无需额外训练即可显著减少模型参数
- 2. 通过Delta Decompression技术,压缩效率提升,模型性能保持良好
- 3. 支持多种模型,如Mixtral和DeepSeek,适用性广泛
D²-MoE的功能:
- 1. 用于压缩基于MoE的大型语言模型
- 2. 在保持模型性能的同时减少模型参数
- 3. 适用于多种模型架构,如Mixtral和DeepSeek
相关导航

EAGLE开源项目 – 加速大语言模型解码的基准
EAGLE (Extrapolation Algorithm for Greater Language-model Efficiency) 是一个用于加速大语言模型(LLM)解码的新基准,通过外推第二顶层上下文特征向量显著提升生成效率。EAGLE包含三个版本:EAGLE-1、EAGLE-2和EAGLE-3,分别在不同程度上优化速度和效率。EAGLE-1通过外推特征向量实现2-3倍的加速,EAGLE-2通过动态调整草稿树结构进一步提升性能,EAGLE-3通过融合低、中、高层语义特征进一步加速生成。项目支持与其他并行技术(如vLLM、DeepSpeed、Mamba等)结合使用,并已在多个主流LLM服务框架中集成。
暂无评论...