Figure AI官网 – 具身大模型的创新应用

deductive-reasoning 是一种通过强化学习训练高级演绎推理模型的方法。该方法利用开源权重的语言模型，使其能够执行复杂的逻辑推理任务，并且在成本效率上具有显著优势。仅需16个训练样本即可实现显著性能提升，训练成本低，性价比高。

这是一个双层递归卷积网络模型的参考实现，旨在提供灵活的应用支持和优化的性能。

TOPR 是一种新型强化学习算法，专为微调大型语言模型（LLM）设计，特别针对 off-policy 环境中的 REINFORCE 不稳定性问题。它通过不对称锥形重要性采样稳定学习，无需依赖 KL 正则化，支持完全离线应用，统一处理正负示例，并受益于 Monte Carlo 方法的简单性。实证研究表明，在推理任务的 off-policy 微调中，TOPR 表现优于朴素 REINFORCE、PPO 和 DPO，特别是在 GSM8K 和 MATH 基准测试中表现出色。

这是一个综合性列表，涵盖使用大型语言/多模态模型在机器人和强化学习领域的论文，包含论文、代码及相关网站。

DeepMind Lab2D是由DeepMind开发的2D虚拟环境平台，专为强化学习（RL）和智能体训练设计。它提供了一个高度可定制且高效的训练环境，支持研究人员在各种AI任务中进行实验和优化。

DeepPath是一种利用强化学习进行知识图谱推理的方法，适用于大规模知识图谱中的高效路径查找。它结合了结构信息和语义信息，能够扩展到复杂且多样化的知识图谱，并提供可解释的推理路径。

LISA（Learning Interpretable Skill Abstractions）旨在通过强化学习任务来学习可解释的技能抽象，从而提高模型的可解释性。

一个开源项目，旨在实现 OpenAI O1 模型系列的简化版本，专注于通过链式思维和强化学习解决算术问题。该项目结合了最新的技术，使得用户能够更加高效地解决算术问题，并且通过强化学习不断提升模型的表现。

TRIL是一个模块化的强化学习（RL）和模仿学习（IL）算法开发库，基于Hugging Face开源的transformers、accelerate和peft等库，直接支持预训练语言模型并支持分布式计算。它提供了多种算法和任务支持，适用于广泛的机器学习应用场景。

ai-resources 是一个由 Memo Akten 精心挑选的人工智能、机器学习、统计推断、深度学习和强化学习的学习资源集合。该项目涵盖了多个领域的学习材料，包括文章、教程和研究论文，并由一位经验丰富的 AI 从业者定期更新，确保资源的时效性和质量。

H2O是一个基于强化学习的human-to-humanoid实时全身远程操作框架，旨在通过使用大型人体运动数据集进行可扩展的重定向和训练，使得用户只需一个RGB摄像头即可操作全尺寸的人形机器人，从而释放类人机器人的认知技能和适应性潜力。

hl-gauss-pytorch是一个基于PyTorch实现的高斯直方图损失函数（HL-Gauss），为回归任务提供了全新的视角，能够有效提升模型的性能。

JAX是由Google开发的开源数值计算库，专为研究者和开发者设计，结合了数值计算和机器学习。它支持自动微分与硬件加速，在Transformer模型训练中性能较PyTorch提升30%，广泛应用于AlphaFold等前沿研究。JAX通过XLA编译器优化计算图，支持并行计算和动态控制流，使代码既高效又灵活。

RLAIF通过人工智能反馈扩展人类反馈的强化学习，表明可以在不依赖人类注释者的情况下产生与RLHF相当的改进。

AgiBot是由彭志辉创立的机器人项目，专注于AI与机器人的深度融合，开发和生产通用人形机器人和具身智能系列产品。其目标是创造能与人类自然交流和协作的机器人，成为人类的伙伴和助手。该项目团队由不同领域的年轻人组成，已获得数亿元融资，估值约十几亿美元。AgiBot的首个人形机器人于2023年8月18日在北京发布，身高1.8米，体重60公斤，拥有32个自由度，能实现平稳的行走、跑步、跳跃和踢球等动作。机器人头部装有3D激光雷达和深度相机，胸部装有10英寸触摸屏，用于显示信息和表情，与人类进行交互。AgiBot机器人不仅推动了机器人技术的发展，还通过云端大数据和知识库不断学习和优化自身能力与性格，适用于多种场景，如工业制造、教育研究和家庭辅助。