AI 科学内存高效大型模型训练综述论文 – 内存高效训练技术指南

为大型语言模型(LLMs)提供高质量、大量数据的搜索、选择和合成，以优化模型的后期训练

该论文提出了一种在潜在空间（latent space）中进行推理训练的方法，不需要特殊训练数据，且能处理难以用语言描述的推理任务。3.5B 的参数达到了 50B 参数模型的推理基准性能。

清华大学构建的开源、大规模、高质量的指令调优数据项目，旨在帮助开发者构建具备通用工具使用能力的大型语言模型。

Search-R1 是一个基于 veRL 的高效、可扩展的强化学习（RL）训练框架，专门用于训练推理和搜索引擎调用交错的大型语言模型（LLM）。它通过规则化奖励机制，使基础 LLM 能够自主发展推理和调用搜索引擎的能力，并提供详细的安装指南和快速入门教程，支持使用自定义数据集和搜索引擎。

LLM-Dojo是一个开源大模型学习场，提供简洁易读的代码框架，支持多种主流模型的训练和强化学习技术，旨在帮助AI爱好者和研究者进行深入的研究和开发。

ChatGPT 中文语料库，包含对话、小说和客服等多种类型的中文语料，旨在为大型语言模型的训练提供丰富的数据支持，支持多种文本格式，适合多种场景应用。

MosaicML 提供的示例项目，旨在帮助用户更好地理解和使用其机器学习工具和框架。该项目包含多种模型训练示例，特别是针对大型语言模型（LLM）的应用。通过高效的资源管理和优化建议，集成了 FSDP（Fully Sharded Data Parallel）以提升训练性能，并提供详细的文档和使用指南，方便开发者快速上手。

RAGEN 是 DeepSeek-R1 强化学习训练框架的首个开源复制品，专注于训练大型语言模型（LLM）推理代理。它支持多轮统一处理，避免批量大小不稳定，提供世界建模能力，并帮助智能体进行规划。特别适用于交互式和随机环境中的多步任务训练，如 Sokoban 谜题和 FrozenLake 环境。

专为大型语言模型（LLM）训练优化的类，集成了多种高效训练技术，旨在提升训练效率和内存使用效率。

Megatron-VLM是一个专为视觉语言模型（VLM）训练设计的高效框架，支持大规模分布式训练，提供多种预训练模型支持，并采用高效的内存优化技术，显著提升训练效率，降低训练成本。

Social Learning 是 Google 推出的一种 AI 技术，旨在模仿人类通过社会互动学习的方式。该框架由教师模型和学生模型组成，教师模型通过自然语言向学生模型传授知识，学生模型则通过这些互动来学习和改进。这种方法减少了对传统机器学习中大量数据和复杂算法的需求，并更好地保护用户隐私。Google 已在语言翻译和图像识别等任务中测试了该框架，但具体研究主要聚焦于大型语言模型（LLMs），如垃圾邮件检测、数学问题和问答。

一个 Python 库，用于创建和处理自然语言处理 (NLP) 数据集，以便训练大型语言模型 (LLM)。该库包含一些可扩展的模块，允许 NLP 研究人员从无标注 Web 采集高质量文本，并提供 GPU 加速功能。

Reward Feature Models (RFM) 是一种在强化学习从人类反馈 (RLHF) 中捕捉个体偏好的方法，特别适用于大型语言模型 (LLMs) 的训练。它通过学习跨用户共享的通用奖励特征和用户特定的权重来实现个性化。训练过程分为两个阶段：训练阶段学习共享特征和初始用户权重，适应阶段使用有限反馈快速调整新用户权重。研究表明，RFM 在用户内泛化性能上与 Variational Preference Learning (VPL) 相当，同时在用户间泛化能力上表现更优。

nanotron是一个开源工具，旨在简化大型语言模型的训练过程，提供了一种高效的3D并行训练方法，从而更好地利用计算资源。

Linear-MoE 是一个基于 Megatron-Core 的线性混合专家模型库，专注于为高效训练和部署大型语言模型提供强大支持。它集成了多种线性注意力机制，支持多种模型架构，并具备高效的分布式训练能力，助力大规模模型开发。此外，Linear-MoE 还提供了丰富的预训练和微调脚本，极大地简化了开发流程。