大语言模型加速

EAGLE (Extrapolation Algorithm for Greater Language-model Efficiency) 是一个用于加速大语言模型（LLM）解码的新基准，通过外推第二顶层上下文特征向量显著提升生成效率。EAGLE包含三个版本：EAGLE-1、EAGLE-2和EAGLE-3，分别在不同程度上优化速度和效率。EAGLE-1通过外推特征向量实现2-3倍的加速，EAGLE-2通过动态调整草稿树结构进一步提升性能，EAGLE-3通过融合低、中、高层语义特征进一步加速生成。项目支持与其他并行技术（如vLLM、DeepSpeed、Mamba等）结合使用，并已在多个主流LLM服务框架中集成。