LongPO开源项目 – 大模型长文本自我进化

LongPO是一个让大语言模型在长文本上自我进化的项目，无需人工标注，能够轻松扩展上下文长度。通过自我进化机制，模型可以在长文本任务中表现更佳，同时短文本性能不降反升。

LongPO的特点:

1. 自我进化，无需人工或高级LLM标注
2. 一次性扩展上下文长度至128K甚至更长
3. 长文本能力提升同时，短文本性能不降反升

LongPO的功能:

1. 用于扩展大语言模型的上下文长度
2. 提升模型在长文本任务中的表现
3. 无需人工标注，自动优化模型性能

相关导航

360 智脑官网 – 多模态生成AI大模型

360 智脑是由奇虎 360 公司独立开发的 AI 大模型，拥有数百亿参数规模和多模态生成能力。它支持文本生成、图像生成、文本到视频转换等功能，涵盖生成创作、多轮对话、逻辑推理等十大核心能力，旨在为用户提供强大的 AI 辅助工具。其训练基于 3.4 万亿 token 的语料库，支持多达 360K 的上下文长度，适用于复杂的 AI 交互场景。

XuanYuan-70B开源项目 – 中文金融大模型，增强多种应用

XuanYuan-70B 是基于Llama2-70B模型进行中文增强的一系列金融大模型，包含大量中英文语料增量预训练之后的底座模型以及使用高质量指令数据进行对齐的chat模型。

Native Sparse Attention (NSA)官网 – 加速注意力计算的稀疏技术

原生稀疏注意力（Native Sparse Attention, NSA）技术通过让模型在计算注意力时只关注最重要的信息，大幅减少了计算量，从而加速了注意力计算的速度。NSA 技术在性能上实现了效率与精度的双重提升，尤其在处理长文本序列时表现出色。

InfiniteHiP论文 – 高效长文本处理注意力机制

InfiniteHiP 是一种高效的后训练注意力机制，旨在解决大型语言模型（LLMs）在处理长上下文时的计算和内存挑战。它通过动态消除无关上下文token和优化内存管理，显著提升长文本处理的速率和效率。无需额外训练即可扩展模型的上下文长度，适用于各种长文本任务，如语言理解、推理和文本生成。

Orion-14B 系列模型官网 – 多语种大规模语言模型

Orion-14B 系列模型是一个具有140亿参数的多语种大模型，基于包含2.5万亿token的多样化数据集进行训练，涵盖中文、英语、日语、韩语等多种语言。该系列包括多种衍生模型，如对话模型、长文本模型、量化模型、RAG微调模型、Agent微调模型等，适用于多种自然语言处理任务。

MoBA开源项目 – 提升长文本处理效率的注意力机制

MoBA（Mixture of Block Attention）是一种新型注意力机制，旨在提高大型语言模型（LLM）处理长文本上下文的效率和性能。它结合了稀疏注意力机制和块操作，通过将长文本分成多个块进行处理，减少了计算量。MoBA支持1M上下文长度，并采用参数无偏的Top-k门控机制，精准筛选关键信息。此外，MoBA可以无缝切换全注意力与稀疏注意力模式，在性能与效率之间取得平衡。MoBA兼容Transformer架构，可以替代标准注意力机制，嵌入现有Transformer模型中，提升长文本的处理效率。

Forgetting Transformer (FoX)开源 – 改进的Transformer，增强长文本处理

Forgetting Transformer (FoX) 是一种改进的 Transformer 模型，通过在 Softmax 注意力机制中加入遗忘门，增强了处理长文本和序列任务的能力。它的设计目标是提升长文本建模、长度外推和短文本任务的性能，同时保持长上下文处理能力，并解决标准 Transformer 缺乏显式数据依赖遗忘机制的问题。FoX 通过数据依赖的方式下调未归一化的注意力分数，命名为“遗忘注意力”（Forgetting Attention）。研究表明，FoX 在长上下文语言建模、长度外推和短上下文下游任务上优于标准 Transformer，而在长上下文下游任务上表现相当。此外，FoX 兼容 Flash Attention 算法，且无需位置嵌入，保留了 Transformer 相对于循环序列模型（如 Mamba-2、HGRN2 和 DeltaNet）在长上下文能力上的优势。

长颈鹿版LongLLaMA-处理超长文本的高效模型

长颈鹿版LongLLaMA是一个专门针对上下文长度达到100K的情况下，保持模型性能的研究项目。它提出了一种新的训练目标，以有效处理长文本中的相关与无关的key-value空间结构，从而解决模型的分心问题，确保在处理超长文本时的高效性和准确性。

HiP Attention开源 – 高效无训练长文本注意力机制

HiP Attention 是一种无需额外训练的后训练注意力机制，专为提升长文本处理效率设计。它通过分层剪枝技术实现子二次方复杂度，支持单GPU处理300万token的上下文长度，速度提升7.24倍，显著降低计算成本。项目基于OpenAI Triton实现，可无缝集成现有模型架构（如SGlang），适用于资源受限环境下的超长序列处理。