Liger-Kernel开源项目 – 高效Triton内核提升LLM训练性能

Kvax是为JAX框架打造的高效FlashAttention实现，专为长序列和分布式训练优化。它通过支持高效文档掩码计算、实现上下文并行化以及优化长序列处理性能，显著提升了训练效率和内存利用率。

Reward Feature Models (RFM) 是一种在强化学习从人类反馈 (RLHF) 中捕捉个体偏好的方法，特别适用于大型语言模型 (LLMs) 的训练。它通过学习跨用户共享的通用奖励特征和用户特定的权重来实现个性化。训练过程分为两个阶段：训练阶段学习共享特征和初始用户权重，适应阶段使用有限反馈快速调整新用户权重。研究表明，RFM 在用户内泛化性能上与 Variational Preference Learning (VPL) 相当，同时在用户间泛化能力上表现更优。

一个 Python 库，用于创建和处理自然语言处理 (NLP) 数据集，以便训练大型语言模型 (LLM)。该库包含一些可扩展的模块，允许 NLP 研究人员从无标注 Web 采集高质量文本，并提供 GPU 加速功能。

一系列开放的方法，可帮助成功训练大型语言模型和多模态模型，包含丰富的脚本和技术材料，基于作者的实践经验，并提供持续更新的知识库。

该论文提出了一种在潜在空间（latent space）中进行推理训练的方法，不需要特殊训练数据，且能处理难以用语言描述的推理任务。3.5B 的参数达到了 50B 参数模型的推理基准性能。

一种高效加速大语言模型推理的技术，通过减少内存访问，几乎不损失性能，让模型运行更快更省资源

1.58-bit FLUX是字节跳动研究人员开发的一种创新的量化方法，旨在减少文生图像模型的内存占用和计算需求。该模型通过自监督信号进行量化，将权重压缩到1.58位，仅用{-1, 0, +1}三种值表示。尽管量化到如此低的位数，模型在生成1024 x 1024分辨率图像时，性能仍与未量化的模型基本一致。研究人员还开发了专用的计算内核，使得存储减少了7.7倍，推理内存减少了5.1倍，显著降低了对存储和内存的需求。该模型采用了后训练量化（PTQ）方法，无需在训练过程中进行繁琐的微调操作，直接对预训练好的模型进行量化处理，避免了重新训练带来的计算开销和时间消耗。

清华大学构建的开源、大规模、高质量的指令调优数据项目，旨在帮助开发者构建具备通用工具使用能力的大型语言模型。

为大型语言模型(LLMs)提供高质量、大量数据的搜索、选择和合成，以优化模型的后期训练

nanotron是一个开源工具，旨在简化大型语言模型的训练过程，提供了一种高效的3D并行训练方法，从而更好地利用计算资源。

Search-R1 是一个基于 veRL 的高效、可扩展的强化学习（RL）训练框架，专门用于训练推理和搜索引擎调用交错的大型语言模型（LLM）。它通过规则化奖励机制，使基础 LLM 能够自主发展推理和调用搜索引擎的能力，并提供详细的安装指南和快速入门教程，支持使用自定义数据集和搜索引擎。

Llumnix是一个针对大型语言模型（LLM）多实例服务的高效且易于使用的请求调度层，支持动态调度、内存碎片化减少、加载均衡优化，并且易于与现有的多实例部署平台集成。

CockroachDB Swiss是一个用Go语言实现的高性能哈希表，专为大规模数据处理设计，提供极致的性能和内存优化。它通过优化内存分配和减少尾延迟，显著提升了处理大规模数据时的效率和响应速度。

Inf-DiT 是清华大学与智谱AI联合推出的基于扩散模型的图像上采样方法，能够生成超高分辨率图像。该模型引入了单向块注意力机制(UniBA)，将生成过程中的空间复杂度从 O(N^2)降低到 O(N)，有效解决了传统扩散模型在生成大尺寸图像时内存消耗过高的问题。Inf-DiT 采用扩散变换器(DiT)结构，能够处理各种形状和分辨率的图像上采样任务，并通过全局图像嵌入和邻近低分辨率块的交叉注意力机制等技术，增强图像的局部和全局一致性。实验结果表明，Inf-DiT 在超高分辨率图像生成和超分辨率任务中均达到了 SOTA 性能。

Linear-MoE 是一个基于 Megatron-Core 的线性混合专家模型库，专注于为高效训练和部署大型语言模型提供强大支持。它集成了多种线性注意力机制，支持多种模型架构，并具备高效的分布式训练能力，助力大规模模型开发。此外，Linear-MoE 还提供了丰富的预训练和微调脚本，极大地简化了开发流程。