ManiSkill开源项目 – 机器人操作技能模拟与训练框架

ManiSkill 是一个由 SAPIEN 提供支持的强大统一框架，专注于机器人操作技能的模拟与训练。它支持 GPU 并行化、异构模拟、光线追踪渲染和物理接触模拟，并提供灵活的任务构建 API。ManiSkill 3 目前处于 Beta 版本，支持强化学习、模仿学习和大规模视觉语言动作 (VLA) 模型，适用于多种机器人体现和任务，如桌面操作、绘图、清洁和灵巧操作。

ManiSkill的特点:

1. GPU 并行化视觉数据收集系统，支持高帧率 RGBD 和分割数据采集
2. GPU 并行化模拟，支持高效状态数据收集
3. 异构模拟，每个并行环境具有不同的场景和对象
4. 灵活的任务构建 API，简化 GPU 内存管理
5. 支持多种机器人体现和任务，涵盖广泛的应用场景
6. 提供强化学习、模仿学习和 VLA 模型的基线实现

ManiSkill的功能:

1. 用于机器人操作技能的模拟与训练
2. 支持 GPU 并行化数据收集和仿真
3. 用于评估和优化真实世界策略的 Real2sim 环境
4. 提供多种机器人学习基线，如 PPO、SAC、Diffusion Policy 等
5. 支持大规模视觉语言动作模型的训练与评估

相关导航

Basalt开源 – 用于视觉导航的强化学习框架

Basalt 是 Facebook Research 开发的一个开源项目，旨在为视觉导航任务提供强化学习框架。它支持多种环境下的导航任务，包括虚拟环境和真实世界环境。Basalt 提供了一个灵活的接口，允许用户自定义任务、环境和奖励函数，从而进行高效的强化学习训练。该项目特别适用于需要复杂视觉感知和决策能力的导航任务。

Compose-RL开源项目 – 简化强化学习与人工反馈的集成

一个用于强化学习与人工反馈（RLHF）的框架，旨在简化不同 RLHF 技术的集成，提供模块化和组合式的实验能力，适用于研究人员和实践者。该框架通过模块化设计，支持多种实验能力，灵活配置选项，方便用户根据不同需求进行调整和优化。

R1-Searcher开源 – 提升LLM搜索能力的强化学习框架

R1-Searcher 是一个两阶段强化学习框架，旨在提升大型语言模型（LLM）的搜索能力。该框架通过结果导向的奖励机制工作，无需依赖过程奖励或知识蒸馏。研究表明，它允许 LLM 在推理过程中自主调用外部搜索系统，整合外部知识来解决知识密集型查询。在某些基准测试中，R1-Searcher 的表现显著优于现有的检索增强生成（RAG）方法，甚至与闭源模型（如 GPT-4o-mini）相当或更优。

LLM-Dojo开源项目 – 开源大模型学习场，适合AI爱好者

LLM-Dojo是一个开源大模型学习场，提供简洁易读的代码框架，支持多种主流模型的训练和强化学习技术，旨在帮助AI爱好者和研究者进行深入的研究和开发。

RLx2开源项目 – 一种强化学习专用的稀疏训练框架

RLx2是清华大学团队提出的一种强化学习专用的稀疏训练框架，能够完全基于稀疏网络训练深度强化学习模型。

RAGEN开源 – 首个开源DeepSeek-R1强化学习框架

RAGEN 是 DeepSeek-R1 强化学习训练框架的首个开源复制品，专注于训练大型语言模型（LLM）推理代理。它支持多轮统一处理，避免批量大小不稳定，提供世界建模能力，并帮助智能体进行规划。特别适用于交互式和随机环境中的多步任务训练，如 Sokoban 谜题和 FrozenLake 环境。

Kinetix开源项目 – 基于JAX的2D物理强化学习框架

Kinetix是一个用JAX编写的2D物理环境中的强化学习框架，能够统一表示多种基于物理的任务，通过生成数百万任务来训练大型通用强化学习代理。该框架提供高效的数值计算和自动微分功能，支持复杂的2D物理环境任务，并且具有灵活的API，方便用户自定义任务和代理。

OpenRLHF-M开源项目 – 高性能的RLHF框架

一个简单易用、可扩展且高性能的强化学习人类反馈（RLHF）框架。它能解决大语言模型对齐和优化的问题，让模型更好地理解和生成人类期望的内容。

tiny-grpo开源 – 简易GRPO实现

tiny-grpo是一个强化学习项目，专注于GRPO（引导强化策略优化）算法的实现。它的设计目标是简单易用，适合那些希望快速开始强化学习项目的用户。项目提供了完整的训练脚本和依赖配置，支持单机多GPU训练，特别适合初学者和教育场景。

RLHS: Mitigating Misalignment in RLHF with Hindsight Simulation论文 – 通过后见之明模拟减轻RLHF中的不一致

RLHS（基于后见之明模拟的强化学习）是一种用于减轻RLHF（基于人类反馈的强化学习）中模型与人类目标不一致问题的方法。RLHF在对齐生成式AI方面显示出潜力，但研究表明它可能导致系统性的不一致。RLHS通过在收集反馈前向评估者呈现模拟的未来结果，将对齐信号与可能受损的预测解耦，从而减少模型的不一致性并提高用户满意度。RLHS在理论和实证研究中均表现出有效性，尤其在减少对即时反馈的依赖、提升模型的长期效用方面。

multi_timescale_replay开源项目 – 多时间尺度回放的持续强化学习

multi_timescale_replay 是一个专注于多时间尺度回放机制的强化学习项目，旨在提高动态环境中的学习效率和适应性。该项目通过实现多时间尺度回放机制，支持在动态环境中的持续强化学习，并提供工具来实验不同的回放策略。此外，项目还包含基准测试和评估指标，用于评估性能。

chatgpt-plugin开源项目 – ts

这个开源项目是为了帮助使用JS/TS的开发者开始构建ChatGPT插件而设计的。它提供了一切必需的工具和资源，包括可以用机器学习进行聊天的ChatGPT插件。

时间之后（Time After Time）官网 – 优化医疗金融时间决策的算法项目

该项目是一个假设性研究项目，专注于利用人工智能和机器学习算法（如EDQ算法）优化医疗和金融领域中的不规则时间决策。在医疗领域，它通过动态调整资源分配（如患者排程、护士排班和手术室安排）来提高服务效率；在金融领域，则用于分析时间敏感的投资策略和风险评估。项目整合了多领域复杂场景处理能力，旨在通过实时数据分析提升成本效益和决策时效性。

chatgpt-prompts-bug开源项目 – bounty

这个开源项目的主要功能是为漏洞赏金计划和渗透测试提供ChatGPT提示。用户可以通过该项目生成与漏洞赏金计划和渗透测试相关的ChatGPT提示，以获取相关工作的信息和指导。

gsplat.js开源项目 – JavaScript的Gaussian Splatting库

gsplat.js是一个强大的JavaScript库，专注于Gaussian Splatting技术，支持快速、实时的图形编辑和交集测试，能够轻松操纵和组合复杂的3D场景，适用于多种应用场景。