InfiniteHiP 是一种高效的后训练注意力机制，旨在解决大型语言模型（LLMs）在处理长上下文时的计算和内存挑战。它通过动态消除无关上下文token和优化内存管理，显著提升长文本处理的速率和效率。无需额外训练即可扩展模型的上下文长度，适用于各种长文本任务，如语言理解、推理和文本生成。
LongPO是一个让大语言模型在长文本上自我进化的项目，无需人工标注，能够轻松扩展上下文长度。通过自我进化机制，模型可以在长文本任务中表现更佳，同时短文本性能不降反升。
