Tapered Off-Policy REINFORCE (TOPR)论文 – 稳定高效的LLM微调算法

Diamond Env是一个为强化学习设计的标准化环境，基于Minecraft中的Diamond任务。它提供了一致的实验条件，支持多种强化学习算法，并允许用户自定义任务和奖励机制。该环境适用于研究Minecraft中的智能体行为，并可作为基准环境进行性能评估。

该项目旨在训练一种能够自我奖励推理的大型语言模型，使模型在推理过程中能够自主评估输出的正确性，而无需依赖外部反馈。通过结合强化学习技术，模型能够显著提升推理能力和自我修正能力，最终准确率提升最高可达14.2%。

ReSearch 是一个开源项目，通过强化学习将搜索操作整合到大型语言模型（LLMs）的推理过程中，使其能够通过搜索工具更有效地回答问题。该项目通过强化学习训练LLM，使其在无监督数据的情况下学会何时以及如何调用搜索工具。基于Qwen2.5-7B模型，从零开始训练，展现了强大的泛化能力，并在HotpotQA等数据集上验证，性能显著提升。

Kolmogorov-Arnold Q-Network (KAQN) 是一个将Kolmogorov-Arnold Network (KAN) 应用于强化学习领域的项目，旨在通过结合Q-Network和KAN的原理，探索其在强化学习任务中的有效性。该项目目前处于初步实验阶段，目标是研究和开发新的强化学习算法。

critic-rl是一个通过强化学习教语言模型学会批判的项目，旨在让AI模型在无人监督下自我提升。该项目显著提升了语言模型在代码生成等任务中的表现，并具有模型无关性，适用于多种模型和任务。

Huginn 是一种新型语言模型架构，基于循环深度设计，允许在测试时扩展计算量，而无需增加模型参数或上下文窗口长度。该模型通过在连续潜在空间中迭代循环进行隐式推理，从而提升语言模型在推理任务上的表现。Huginn 的训练数据达 8000 亿个标记，涵盖代码、数学、科学文本和通用文本等多种类型，并提供 35 亿参数的版本，适合在普通硬件上部署。

rs是一个基于JAX的随机搜索实现，专为运动任务设计，能够高效地利用MuJoCo XLA (MJX)进行训练，支持多种运动环境，便于研究和实验。

该项目提供每周更新的机器学习领域内顶级论文，涵盖多个研究方向，并为用户提供论文摘要和关键点，支持用户提交和推荐优秀论文。

MuJoCo是一个高性能物理引擎，专注于机器人、生物学、图形动画和机器学习等领域，旨在帮助开发者提升产品开发体验。它提供了高效的物理模拟和丰富的API，支持多种机器人和生物体模型，适合进行各种复杂的物理仿真任务。

DeepSeek R1 是一个从零开始构建的高效推理模型项目。它使用 Qwen 作为基础模型，通过 GRPO 算法进行初步训练，并结合 Supervised Fine-Tuning (SFT) 和改进的强化学习方法，显著提升了模型的推理能力和语言一致性。项目提供了全流程的代码实现、详细的训练过程描述和手绘流程图，使得即使是初学者也能轻松上手。

该项目专注于利用上下文感知分词来构建高效的世界模型，旨在提升智能体的学习与表现。

GenRL是一个多模态基础世界模型，旨在为通用具身智能体提供支持。它能够将语言和视频提示嵌入到具身领域，通过解码模型的潜在状态序列来可视化预期行为，进而训练智能体执行任务。该项目适用于强化学习和多模态任务的研究，是开发具身智能体的基础模型。

Figure AI刚刚重磅发布其端到端具身大模型HELIX，旨在推动具身智能的发展。该模型通过融合世界模型的视频预训练和结合强化学习的后期训练，提供了多个功能以支持各类智能任务。

RLAIF通过人工智能反馈扩展人类反馈的强化学习，表明可以在不依赖人类注释者的情况下产生与RLHF相当的改进。

TRIL是一个模块化的强化学习（RL）和模仿学习（IL）算法开发库，基于Hugging Face开源的transformers、accelerate和peft等库，直接支持预训练语言模型并支持分布式计算。它提供了多种算法和任务支持，适用于广泛的机器学习应用场景。