Text2Graph-R1 是一个开源项目，旨在复制 DeepSeek R1 的文本到图结构的提取训练方案。该项目基于 GRPO（Guided Reward Policy Optimization）强化学习技术，通过多阶段训练流程（包括数据生成、监督训练和强化学习）优化模型从非结构化文本中提取结构化信息的能力。项目特别强调通过多种奖励机制（如格式奖励、JSON有效性奖励和F1奖励）提升输出质量，并支持零样本图结构提取任务。
该研究论文探讨了语言模型通过强化学习实现自我提升的四种关键认知行为：验证、回溯、子目标设定和向后链式推理。研究发现这些行为对模型在可验证任务上的自我提升至关重要。通过比较Qwen-2.5-3B和Llama-3.2-3B模型在Countdown游戏中的表现，发现Qwen自然表现出这些行为，而Llama需要示例引导才能提升。研究还表明，推理行为的出现比答案的正确性更重要，并通过数据过滤和继续预训练使Llama匹配Qwen的表现。
该项目通过强化学习（RL）系统研究大型语言模型（LLM）中长链思维推理的涌现机制，重点分析奖励塑造和数据质量对推理能力的影响。 研究发现：监督微调（SFT）可提升训练效率但非必需；推理能力随计算量增长可能涌现，但依赖奖励设计稳定思维链长度；利用噪声网络数据扩展可验证奖励信号在STEM任务中表现潜力； 基础模型已具备错误纠正等核心能力，但需大量计算资源激发。项目挑战了"模型规模决定性能"的传统观点，强调奖励设计比参数量更关键。
iRe-VLA Framework 是一个通过在线强化学习（RL）和监督学习（SL）迭代来提升视觉-语言-行动模型（VLA）在机器人控制任务中性能和泛化能力的框架。它兼顾了训练稳定性和计算效率，在多个模拟和真实世界基准测试中表现优异，如MetaWorld、FrankaKitchen和真实世界Panda操作任务。
该项目研究比较了监督微调（SFT）和强化学习（RL）在基础模型后训练中的表现，重点探讨它们在泛化和记忆方面的差异。研究使用GeneralPoints（基于文本的算术推理卡片游戏）和V-IRL（视觉导航环境）来评估模型在文本和视觉任务中的泛化能力。结果显示，RL在规则学习和视觉任务中表现出更强的泛化能力，而SFT更倾向于记忆训练数据。项目提供了训练和评估脚本，支持文本和视觉任务的泛化测试。
该项目通过改进Transformer世界模型（TWM），显著提高了数据效率，特别是在复杂开放世界环境中的表现。研究首次在Craftax-classic基准测试中超越人类专家水平，奖励达到67.4%。该方法结合了Dyna与预热、图像块最近邻分词器（NNT）和块教师强制（BTF）等技术，不仅提高了奖励，还大幅减少了训练时间。
TOPR 是一种新型强化学习算法，专为微调大型语言模型（LLM）设计，特别针对 off-policy 环境中的 REINFORCE 不稳定性问题。它通过不对称锥形重要性采样稳定学习，无需依赖 KL 正则化，支持完全离线应用，统一处理正负示例，并受益于 Monte Carlo 方法的简单性。实证研究表明，在推理任务的 off-policy 微调中，TOPR 表现优于朴素 REINFORCE、PPO 和 DPO，特别是在 GSM8K 和 MATH 基准测试中表现出色。
QwQ-32B 是阿里云 Qwen 团队开发的开源推理模型，基于 Qwen 系列，专注于提升 AI 的推理能力。该模型在数学推理和编码任务中表现突出，性能可能与 DeepSeek R1 相当，甚至在某些基准测试中超过 OpenAI 的 o1-mini。模型通过强化学习技术，能够自我检查答案并形成关键“思考习惯”，支持长上下文处理（最多 131,072 tokens）。QwQ-32B 对本地算力要求较低，仅需 4 张 NVIDIA 4090 GPU 即可运行，适合普通企业和开发者使用。
Qlib 是一个开源的、面向人工智能的量化投资平台，旨在利用人工智能技术在量化投资中实现潜力、赋能研究和创造价值。它支持从数据管理到模型训练、回测的完整机器学习流程，涵盖了量化投资的整个链条，包括alpha挖掘、风险建模、组合优化和订单执行。Qlib 支持多种机器学习建模范式，如监督学习、市场动态建模和强化学习，并提供了强大的基础设施来支持量化研究。
Seg-Zero通过认知强化实现推理链引导的分割，使模型在没有监督数据的情况下也能推理出精准的分割结果。该方法利用强化学习进行训练，无需显式监督推理数据，不仅在域内数据上表现优异，还在域外数据上优于传统的监督微调方法。此外，Seg-Zero能够生成推理链，揭示模型的思考过程，增强模型的可解释性。
TextArena 是一个专为语言模型评估和强化学习设计的文本游戏集合，提供多种基于文本的游戏环境，支持单机、双人和多人模式，具备本地和在线多人实时评分功能，并采用 Elo 排名系统。项目使用 OpenAI Gym 风格的接口，便于与各种框架集成，适用于语言模型在竞争性文本场景中的评估、强化学习实验、新文本游戏的开发与测试，以及与现有机器学习框架的集成研究。
Kolmogorov-Arnold Q-Network (KAQN) 是一个将Kolmogorov-Arnold Network (KAN) 应用于强化学习领域的项目，旨在通过结合Q-Network和KAN的原理，探索其在强化学习任务中的有效性。该项目目前处于初步实验阶段，目标是研究和开发新的强化学习算法。
L1 是一个利用强化学习技术来控制推理模型思考时间的项目，旨在提高AI推理的效率。通过动态调整推理时长，L1能够优化模型在不同任务中的表现，同时支持多种数据集和模型训练。项目还提供了预训练模型，方便用户快速集成到现有AI系统中。
maçarico是一个基于PyTorch实现的命令式学习搜索框架，专为需要搜索和优化的机器学习任务设计。它支持命令式编程风格，提供灵活的搜索策略配置，易于扩展和自定义，并具有高效的学习和推理过程。
Vision-R1是首个探索如何有效利用强化学习（RL）提升多模态大语言模型（MLLM）推理能力的项目。通过冷启动初始化和RL训练，该项目显著提升了模型的推理能力，并仅用7B参数实现了与70B+参数模型相当的性能。此外，Vision-R1还提供了完整的推理流程和代码，助力研究者快速上手。
DeepPath是一种利用强化学习进行知识图谱推理的方法，适用于大规模知识图谱中的高效路径查找。它结合了结构信息和语义信息，能够扩展到复杂且多样化的知识图谱，并提供可解释的推理路径。
R1-Omni是首个将强化学习应用于全模态大语言模型的情感识别项目，旨在提升情感识别的推理能力，并在分布外数据上表现卓越。它利用视觉和音频信息来识别情感，通过看视频来识别人的情绪，并生成详细且可解释的推理过程。
ai-resources 是一个由 Memo Akten 精心挑选的人工智能、机器学习、统计推断、深度学习和强化学习的学习资源集合。该项目涵盖了多个领域的学习材料，包括文章、教程和研究论文，并由一位经验丰富的 AI 从业者定期更新，确保资源的时效性和质量。
OmniIsaacGymEnvs-DofbotReacher是基于Omniverse Isaac Gym/Sim的强化学习环境，专为Dofbot机器人设计。它提供了一个从仿真到真实世界的桥梁，支持在仿真环境中开发和测试强化学习算法，并能够将这些算法无缝应用到真实世界的Dofbot机器人控制中。该项目适用于机器人控制、强化学习研究以及Sim2Real技术的研究，同时也支持多机器人协同控制和教育科研项目中的实验。
DeepMind Lab2D是由DeepMind开发的2D虚拟环境平台，专为强化学习（RL）和智能体训练设计。它提供了一个高度可定制且高效的训练环境，支持研究人员在各种AI任务中进行实验和优化。
Diamond Env是一个为强化学习设计的标准化环境，基于Minecraft中的Diamond任务。它提供了一致的实验条件，支持多种强化学习算法，并允许用户自定义任务和奖励机制。该环境适用于研究Minecraft中的智能体行为，并可作为基准环境进行性能评估。
Awesome Isaac Gym 是一个精心整理的 NVIDIA Isaac Gym 相关框架、论文、软件和资源列表，旨在帮助机器人学习和强化学习研究。它提供了丰富的学习材料和视频教程，支持多种强化学习框架，以加速机器人开发。
R1-V是一个开源视觉语言模型（VLM）项目，旨在通过强化学习和可验证奖励（RLVR）在极低成本（不到3美元）和短时间内（30分钟）实现超强泛化能力。该项目通过高效的训练方法和开源资源，显著提升了模型的性能，特别是在超出分布（OOD）测试中，2B模型在100个训练步骤后超越了72B模型的表现。
Atari 是一个专为 Arcade Learning Environment 设计的强化学习项目，集成了优先经验回放、持续优势学习、引导式双重双 DQN 等先进技术，旨在提升强化学习算法的性能和效率。
deductive-reasoning 是一种通过强化学习训练高级演绎推理模型的方法。该方法利用开源权重的语言模型，使其能够执行复杂的逻辑推理任务，并且在成本效率上具有显著优势。仅需16个训练样本即可实现显著性能提升，训练成本低，性价比高。
Flashbax 是一个专为与 JAX 范例兼容而设计的库，旨在简化强化学习 (RL) 背景下的体验重放缓冲区的使用。它允许在完全编译的函数和训练循环中轻松利用这些缓冲区，从而加速强化学习过程并简化缓冲区管理。
ReSearch 是一个开源项目，通过强化学习将搜索操作整合到大型语言模型（LLMs）的推理过程中，使其能够通过搜索工具更有效地回答问题。该项目通过强化学习训练LLM，使其在无监督数据的情况下学会何时以及如何调用搜索工具。基于Qwen2.5-7B模型，从零开始训练，展现了强大的泛化能力，并在HotpotQA等数据集上验证，性能显著提升。
TRIL是一个模块化的强化学习（RL）和模仿学习（IL）算法开发库，基于Hugging Face开源的transformers、accelerate和peft等库，直接支持预训练语言模型并支持分布式计算。它提供了多种算法和任务支持，适用于广泛的机器学习应用场景。
SWE-RL是Meta发布的第一个使用强化学习（RL）专门用于增强大型语言模型（LLM）处理现实世界软件工程（SE）能力的RL方法。该项目专注于垂直细分领域的RL推理大模型，具有处理GitHub上issue问题、软件代码生成和项目bug修复等能力。通过开源软件演进数据和基于规则的奖励机制，推动大型语言模型推理能力的强化学习项目。
gym-aloha是一个专为ALOHA环境设计的Gymnasium工具包，旨在提高机器人学习和训练的效率和趣味性。它提供了丰富的功能，支持多种任务模式和观测数据，特别适合基于强化学习的机器人训练。
