动态token剪枝

InfiniteHiP 是一种高效的后训练注意力机制，旨在解决大型语言模型（LLMs）在处理长上下文时的计算和内存挑战。它通过动态消除无关上下文token和优化内存管理，显著提升长文本处理的速率和效率。无需额外训练即可扩展模型的上下文长度，适用于各种长文本任务，如语言理解、推理和文本生成。