Probabilistic Artificial Intelligence – 一本关于概率AI的教材

TOPR 是一种新型强化学习算法，专为微调大型语言模型（LLM）设计，特别针对 off-policy 环境中的 REINFORCE 不稳定性问题。它通过不对称锥形重要性采样稳定学习，无需依赖 KL 正则化，支持完全离线应用，统一处理正负示例，并受益于 Monte Carlo 方法的简单性。实证研究表明，在推理任务的 off-policy 微调中，TOPR 表现优于朴素 REINFORCE、PPO 和 DPO，特别是在 GSM8K 和 MATH 基准测试中表现出色。

TinyZero是一个以不到30美元的成本，利用veRL强化学习训练框架，在qwen2.5模型基础上进行训练的项目，能够复现DeepSeek R1论文中的'Aha moment'，并提供完整实验日志和开源代码，方便复现和学习。

该项目专注于利用上下文感知分词来构建高效的世界模型，旨在提升智能体的学习与表现。

H2O是一个基于强化学习的human-to-humanoid实时全身远程操作框架，旨在通过使用大型人体运动数据集进行可扩展的重定向和训练，使得用户只需一个RGB摄像头即可操作全尺寸的人形机器人，从而释放类人机器人的认知技能和适应性潜力。

TextArena 是一个专为语言模型评估和强化学习设计的文本游戏集合，提供多种基于文本的游戏环境，支持单机、双人和多人模式，具备本地和在线多人实时评分功能，并采用 Elo 排名系统。项目使用 OpenAI Gym 风格的接口，便于与各种框架集成，适用于语言模型在竞争性文本场景中的评估、强化学习实验、新文本游戏的开发与测试，以及与现有机器学习框架的集成研究。

Flashbax 是一个专为与 JAX 范例兼容而设计的库，旨在简化强化学习 (RL) 背景下的体验重放缓冲区的使用。它允许在完全编译的函数和训练循环中轻松利用这些缓冲区，从而加速强化学习过程并简化缓冲区管理。

这是一个双层递归卷积网络模型的参考实现，旨在提供灵活的应用支持和优化的性能。

CivRealm是一个基于开源游戏Freeciv-web的学习和推理环境，提供了基于强化学习和语言模型的决策智能体接口，以及训练和评估工具和基线模型，旨在成为复杂环境中学习和推理代理的测试平台。

Kolmogorov-Arnold Q-Network (KAQN) 是一个将Kolmogorov-Arnold Network (KAN) 应用于强化学习领域的项目，旨在通过结合Q-Network和KAN的原理，探索其在强化学习任务中的有效性。该项目目前处于初步实验阶段，目标是研究和开发新的强化学习算法。

一个开源项目，旨在实现 OpenAI O1 模型系列的简化版本，专注于通过链式思维和强化学习解决算术问题。该项目结合了最新的技术，使得用户能够更加高效地解决算术问题，并且通过强化学习不断提升模型的表现。

SWE-RL是Meta发布的第一个使用强化学习（RL）专门用于增强大型语言模型（LLM）处理现实世界软件工程（SE）能力的RL方法。该项目专注于垂直细分领域的RL推理大模型，具有处理GitHub上issue问题、软件代码生成和项目bug修复等能力。通过开源软件演进数据和基于规则的奖励机制，推动大型语言模型推理能力的强化学习项目。

Reasoning Gym是一个用于训练推理模型的Python库，能够生成无限多的推理任务，旨在通过强化学习提升模型的逻辑和算法推理能力。该项目支持多种推理数据集，易于集成和扩展，以满足研究和开发的需求。

katakomba是一个专为NetHack游戏设计的数据驱动的基准测试工具，提供超过30个标准化数据集，并支持多种基于循环的离线强化学习基线模型，旨在促进研究和开发中的基准测试。

rs是一个基于JAX的随机搜索实现，专为运动任务设计，能够高效地利用MuJoCo XLA (MJX)进行训练，支持多种运动环境，便于研究和实验。

该团队专注于金融领域的强化学习（RL）和大语言模型（LLM）的应用，提供数据收集和量化分析的工具和资源。