2:4 Activation Sparsity Accelerating Transformer Inference and Training论文 – 加速Transformer训练和推理的稀疏性技术

该项目利用2:4稀疏性模式，通过硬件加速的GPU稀疏性来优化Transformer模型的训练和推理过程。特别针对Squared-ReLU激活函数，该函数天然具有高稀疏性（84-98%），在不损失准确性的情况下，前向和后向传播中的前馈网络（FFN）计算速度提高高达1.3倍。项目通过自定义内核高效处理稀疏操作，并通过张量分割和令牌排列优化后向传播，展示了稀疏性在加速大型语言模型（LLM）中的关键潜力。

2:4 Activation Sparsity Accelerating Transformer Inference and Training的特点:

1. 使用2:4稀疏模式实现GPU加速
2. 特别针对Squared-ReLU激活，天然具有高稀疏性（84-98%）
3. 加速Transformer模型的训练和推理过程
4. 前向和后向传播中的FFN层速度提高高达1.3倍
5. 无准确性损失，保持与密集模型相当的性能
6. 实现自定义内核以高效处理稀疏操作
7. 通过张量分割和令牌排列优化后向传播

2:4 Activation Sparsity Accelerating Transformer Inference and Training的功能:

1. 在PyTorch中实现，使用torchao库支持稀疏操作
2. 需要修改模型以使用Squared-ReLU激活和稀疏FFN层
3. 最佳性能需在支持2:4稀疏性的硬件上，如NVIDIA H100 GPU

相关导航

思绪四散：关于o1类LLMs的欠思考现象论文 – 揭示LLMs推理缺陷并提出改进策略

该项目研究揭示了o1类大型语言模型（LLMs）在复杂推理任务中存在的‘欠思考’现象，即模型倾向于频繁切换不同推理思路而未能深入探索有前景的路径。研究通过三个挑战性测试集（MATH500、GPQA Diamond和AIME）和两个代表性开源o1类模型（QwQ-32B-Preview和DeepSeek-R1-671B）的实验，系统分析了这一问题。研究发现错误回答比正确回答使用更多令牌且思路切换频率更高，超过70%的错误回答包含至少一个正确思路。为量化欠思考，研究引入了ξ_UT指标，并提出‘思路切换惩罚（TIP）’解码策略，通过阻止过早的思路转换来提升模型在挑战性数据集上的准确率。实验结果显示TIP策略显著提高了模型性能，且无需微调模型。

Predibase RFT官网 – 首个端到端强化微调平台

Predibase RFT 是由 Predibase 开发的强化微调平台，专注于通过强化学习优化大型语言模型（LLMs）。与传统监督式微调不同，RFT 不需要大量标注数据，而是通过奖励函数和自定义函数实现持续的强化学习。用户可以通过浏览器设置微调目标并上传数据，简化大型模型微调流程。平台支持课程学习、多 LoRA 框架和流式微批处理技术，提升训练和推理效率。此外，RFT 提供高性能无服务器部署解决方案，方便用户快速将训练好的模型部署到生产环境中。

Prompt Engineering Toolkit开源项目 – 优化大型语言模型提示的工具

辅助用户测试和优化大型语言模型(LLM)的提示工具，支持多模型测试、模板保存、动态生成提示、模型配置管理及并排比较输出结果，适用于开发者、研究人员和内容创作者。

Ctrl-G开源项目 – 适应性逻辑控制大型语言模型

Ctrl-G是一个为大型语言模型提供适应性逻辑控制的项目，旨在优化模型的输出，使其更符合用户的交互需求。该项目通过引入逻辑控制机制，提升模型的响应准确性和合理性。

TrucefulQA-提升LLM在数据集上的正确率

哈佛大学出品的新论文，旨在提升LLM在TrucefulQA数据集上的正确率。该项目通过改进模型的输出和修正机制，使得大型语言模型在处理特定数据集时表现更佳。

Wan2GP开源项目 – 让普通GPU高效生成视频

Wan2GP是一款基于Wan2.1的阿里巴巴开源和先进的大规模视频生成模型，专为显存有限的GPU用户设计，让普通GPU也能高效运行视频生成任务。它优化了内存消耗，适配几乎所有消费级显卡，支持多种生成任务，包括文本转视频、图片转视频等，是显存有限用户的理想选择。

calm开源项目 – 高效的语言模型推理项目

使用C语言加速的语言模型推理项目，旨在实现单个GPU单批次的硬件利用最大化，具有最小的实现和依赖。该项目通过高效的算法和实现方式，优化了GPU的性能，适合多种语言模型的应用场景。

OpenManus-RL开源 – 强化学习优化LLM代理的开源框架

OpenManus-RL是由Ulab-UIUC和MetaGPT合作领导的开源项目，旨在通过强化学习（RL）优化大型语言模型（LLM）代理的推理和决策能力。项目支持多种推理模型（如Deepseek-R1、QwQ-32B）和训练框架（SFT/PPO/DPO），提供包含50,793条轨迹的多领域数据集（操作系统、电商等），并集成Tree-of-Thoughts等高级策略。项目动态更新研究成果，鼓励社区贡献。

WaveCoder-增强指令调优与数据生成

WaveCoder是一个广泛且多才的项目，专注于增强指令调优和精炼数据生成，采用经过精心调优的代码语言模型和生成器-判别器框架，从开源代码中生成高质量、非重复的指令数据，显著提升大型语言模型在与代码相关任务中的表现和泛化能力。

Diverse Preference Optimization (DivPO)论文 – 提升LLM生成内容多样性的优化方法

Diverse Preference Optimization (DivPO) 是一种在线优化方法，旨在解决大型语言模型（LLM）在后训练阶段普遍存在的多样性坍缩问题。通过在偏好优化过程中引入多样性考量，DivPO 能够生成更多样化的回复，同时保持生成内容的质量。该项目由 Jack Lanchantin, Angelica Chen, Shehzaad Dhuliawala, Ping Yu, Jason Weston, Sainbayar Sukhbaatar, Ilia Kulikov 在 2025 年发表，特别适用于需要多样性的创意生成任务，如故事生成和人物属性生成。

rlhf-summary-notes开源项目 – 汇总RLHF算法资料库

汇总人工反馈强化学习（RLHF）算法的资料库，旨在整理RLHF相关论文和博客，帮助理解如何通过人工反馈优化大型语言模型

lite_llama开源项目 – 轻量级推理框架，专为大型语言模型优化

lite_llama是一个轻量级推理框架，旨在优化大型语言模型的性能，提供高达3.4倍的推理加速，支持最新的模型和流式输出功能，基于Triton实现，适用于各种需要高效推理的应用场景。

ComfyUI-MultiGPU开源项目 – 多GPU支持工具

ComfyUI-MultiGPU是一个实验性工具，旨在在单一ComfyUI工作流中支持多个GPU的使用。它通过非传统方式对内存管理进行补丁，提供模型加载新节点，并允许用户指定每个模型使用的GPU，从而优化资源利用和计算效率。

DeepSeek-V3 / R1 推理系统官网 – 高效能大规模推理系统

DeepSeek-V3 / R1 推理系统是一个通过大规模跨节点专家并行（Expert Parallelism, EP）实现更高吞吐量和更低延迟的推理系统。该系统采用多机多卡的专家并行策略，通过增加 batch size 提高 GPU 矩阵乘法效率，并通过分散专家计算降低延迟。此外，系统还采用了计算通信重叠优化、负载均衡优化、双 batch 重叠策略以及针对不同阶段的负载均衡器设计，以进一步提升系统性能。

YOLOV5 GPU optimization sample开源项目 – 优化GPU性能的YOLOv5实现

该项目由NVIDIA AI IOT开发，专注于优化YOLOv5的GPU性能，提升实时目标检测任务的速度和效率。