Native Sparse Attention (NSA)官网 – 加速注意力计算的稀疏技术

原生稀疏注意力（Native Sparse Attention, NSA）技术通过让模型在计算注意力时只关注最重要的信息，大幅减少了计算量，从而加速了注意力计算的速度。NSA 技术在性能上实现了效率与精度的双重提升，尤其在处理长文本序列时表现出色。

Native Sparse Attention (NSA)的特点:

1. 大幅减少计算量，加速注意力计算速度
2. 在 64k 长文本序列上，解码速度实现高达 11.6 倍的加速
3. 前向传播和反向传播分别加速了 9.0 倍和 6.0 倍
4. 预训练模型在通用基准测试中性能与全注意力模型持平甚至略有超出
5. 在长文本任务和推理能力评估中显著优于全注意力模型及其他稀疏注意力方法

Native Sparse Attention (NSA)的功能:

1. 用于加速长文本序列的注意力计算
2. 提升多跳问答任务中的推理能力
3. 优化长文本任务的模型性能
4. 在需要复杂推理的任务中增强模型表现

相关导航

长颈鹿版LongLLaMA-处理超长文本的高效模型

长颈鹿版LongLLaMA是一个专门针对上下文长度达到100K的情况下，保持模型性能的研究项目。它提出了一种新的训练目标，以有效处理长文本中的相关与无关的key-value空间结构，从而解决模型的分心问题，确保在处理超长文本时的高效性和准确性。

Long-Context开源项目 – 扩展LLM上下文长度的工具

LLM Giraffe🦒可以用来扩展LLM的上下文长度，它实现了将LLAMA v1 2K的上下文长度扩展为4K和16K，支持长文本处理，优化上下文管理，易于集成到现有的LLM工作流中。

RetNet-LLM基础架构，兼顾性能和成本

提出 RetNet 作为 LLM 的基础架构，同时实现训练并行性、低成本推理和良好性能。

BakLLaVA开源项目 – 多模态能力增强的语言模型

将SOTA多模态能力融入语言模型，改进基础模型、修改训练过程、自定义数据集以及对LLaVA实现的重大架构更改。

Caldera开源项目 – 高效压缩大型语言模型

Caldera是一种后训练压缩方法，通过低秩、低精度分解技术来表示大型语言模型的权重矩阵。该方法在少于2.5比特/参数的极致压缩下，性能超越现有技术，并支持低秩适应性微调，针对特定任务进一步优化。Caldera提供灵活的精度设置，可针对不同组件调整量化精度，以平衡性能和压缩率。

MoBA开源项目 – 提升长文本处理效率的注意力机制

MoBA（Mixture of Block Attention）是一种新型注意力机制，旨在提高大型语言模型（LLM）处理长文本上下文的效率和性能。它结合了稀疏注意力机制和块操作，通过将长文本分成多个块进行处理，减少了计算量。MoBA支持1M上下文长度，并采用参数无偏的Top-k门控机制，精准筛选关键信息。此外，MoBA可以无缝切换全注意力与稀疏注意力模式，在性能与效率之间取得平衡。MoBA兼容Transformer架构，可以替代标准注意力机制，嵌入现有Transformer模型中，提升长文本的处理效率。

Can We Tune Together开源项目 – 组合多种NLP语言模型

该项目旨在通过结合多种自然语言处理模型，探索优化模型性能的新方法。它具有强大的可扩展性，适用于多种应用场景，并提供了用户友好的接口。

LangSmith官网 – 助力开发者从原型到生产

LangSmith是一个旨在帮助开发者缩小原型与生产之间差距的平台，专为构建和迭代能够利用大型语言模型(LLMs)的产品而设计，既能发挥其强大能力，又能应对其复杂性。

LongPO开源项目 – 大模型长文本自我进化

LongPO是一个让大语言模型在长文本上自我进化的项目，无需人工标注，能够轻松扩展上下文长度。通过自我进化机制，模型可以在长文本任务中表现更佳，同时短文本性能不降反升。

Orion-14B 系列模型官网 – 多语种大规模语言模型

Orion-14B 系列模型是一个具有140亿参数的多语种大模型，基于包含2.5万亿token的多样化数据集进行训练，涵盖中文、英语、日语、韩语等多种语言。该系列包括多种衍生模型，如对话模型、长文本模型、量化模型、RAG微调模型、Agent微调模型等，适用于多种自然语言处理任务。

Encoder-Decoder-SLM开源项目 – 高效小语言模型架构

微软推出的高效小语言模型架构，专为10亿参数以下的模型设计，助力小模型在性能和效率上赶超大模型。通过优化基础架构和知识蒸馏技术，显著提升模型性能，降低推理延迟和内存计算成本，适用于边缘设备等资源受限场景。

HiP Attention开源 – 高效无训练长文本注意力机制

HiP Attention 是一种无需额外训练的后训练注意力机制，专为提升长文本处理效率设计。它通过分层剪枝技术实现子二次方复杂度，支持单GPU处理300万token的上下文长度，速度提升7.24倍，显著降低计算成本。项目基于OpenAI Triton实现，可无缝集成现有模型架构（如SGlang），适用于资源受限环境下的超长序列处理。

Native Sparse Attention开源项目 – 高效实现原生稀疏注意力

Native Sparse Attention是一个高效实现原生稀疏注意力的Triton代码库，专注于在深度学习模型中优化注意力机制。通过硬件对齐优化和动态选择稀疏块，显著提升了性能，比FlashAttention更快，性能提升高达数倍。适用于需要高效处理稀疏数据的场景，并在AI创造营等项目中得到应用。

360 智脑官网 – 多模态生成AI大模型

360 智脑是由奇虎 360 公司独立开发的 AI 大模型，拥有数百亿参数规模和多模态生成能力。它支持文本生成、图像生成、文本到视频转换等功能，涵盖生成创作、多轮对话、逻辑推理等十大核心能力，旨在为用户提供强大的 AI 辅助工具。其训练基于 3.4 万亿 token 的语料库，支持多达 360K 的上下文长度，适用于复杂的 AI 交互场景。

Forgetting Transformer (FoX)开源 – 改进的Transformer，增强长文本处理

Forgetting Transformer (FoX) 是一种改进的 Transformer 模型，通过在 Softmax 注意力机制中加入遗忘门，增强了处理长文本和序列任务的能力。它的设计目标是提升长文本建模、长度外推和短文本任务的性能，同时保持长上下文处理能力，并解决标准 Transformer 缺乏显式数据依赖遗忘机制的问题。FoX 通过数据依赖的方式下调未归一化的注意力分数，命名为“遗忘注意力”（Forgetting Attention）。研究表明，FoX 在长上下文语言建模、长度外推和短上下文下游任务上优于标准 Transformer，而在长上下文下游任务上表现相当。此外，FoX 兼容 Flash Attention 算法，且无需位置嵌入，保留了 Transformer 相对于循环序列模型（如 Mamba-2、HGRN2 和 DeltaNet）在长上下文能力上的优势。

暂无评论

暂无评论...