multi_timescale_replay开源项目 – 多时间尺度回放的持续强化学习

MMR1是多模态推理领域的前沿项目，通过极少量数据实现顶尖性能。该项目仅使用6k公开数据进行训练，达到了开源7B多模态模型的SOTA性能，并且在6小时内完成高效训练，具有极高的性价比。此外，MMR1采用了数据平衡策略，能够覆盖多样化的数学问题类型。

RLHS（基于后见之明模拟的强化学习）是一种用于减轻RLHF（基于人类反馈的强化学习）中模型与人类目标不一致问题的方法。RLHF在对齐生成式AI方面显示出潜力，但研究表明它可能导致系统性的不一致。RLHS通过在收集反馈前向评估者呈现模拟的未来结果，将对齐信号与可能受损的预测解耦，从而减少模型的不一致性并提高用户满意度。RLHS在理论和实证研究中均表现出有效性，尤其在减少对即时反馈的依赖、提升模型的长期效用方面。

一份精心收集机器人领域相关的3D视觉论文合集，包括政策学习、预训练、VLM和LLM、数据集和基准等相关论文、代码和相关网站。

TAG-Bench是一个用于回答数据库上的自然语言问题的项目，通过Table-Augmented Generation（TAG）模型，探索语言模型与数据库之间的广泛交互，提供首个基准测试研究TAG问题，并验证标准方法在此类查询上的挑战性。

DiSCo-SLAM是一个新颖的框架，旨在使用3D LiDAR观测实现分布式多机器人SLAM。它支持多机器人协作，能够在动态和不确定的环境中进行实时映射和定位，并具备大规模环境的可扩展性。

R1-Searcher 是一个两阶段强化学习框架，旨在提升大型语言模型（LLM）的搜索能力。该框架通过结果导向的奖励机制工作，无需依赖过程奖励或知识蒸馏。研究表明，它允许 LLM 在推理过程中自主调用外部搜索系统，整合外部知识来解决知识密集型查询。在某些基准测试中，R1-Searcher 的表现显著优于现有的检索增强生成（RAG）方法，甚至与闭源模型（如 GPT-4o-mini）相当或更优。

一个简单易用、可扩展且高性能的强化学习人类反馈（RLHF）框架。它能解决大语言模型对齐和优化的问题，让模型更好地理解和生成人类期望的内容。

Kinetix是一个用JAX编写的2D物理环境中的强化学习框架，能够统一表示多种基于物理的任务，通过生成数百万任务来训练大型通用强化学习代理。该框架提供高效的数值计算和自动微分功能，支持复杂的2D物理环境任务，并且具有灵活的API，方便用户自定义任务和代理。

这是一个新的模型，超越其他模型在代理能力基准测试中表现出色，尤其在语言和编码任务上表现优异。

matmul.c是一个针对现代x86处理器优化的高性能矩阵乘法C语言实现库。它支持AVX和FMA指令集，并通过OpenMP实现高效并行化，提供简洁、可移植、可扩展的C代码。在特定配置下，其性能甚至超越NumPy，适用于科学计算、工程应用及矩阵乘法基准测试等场景。

matmul 是一个专注于优化C语言中矩阵乘法性能的项目。它提供了高效的矩阵乘法算法实现，并作为基准测试的参考。该项目深入探索了多种优化技术，旨在提升矩阵运算的效率，适用于需要高性能矩阵乘法的场景。

RLx2是清华大学团队提出的一种强化学习专用的稀疏训练框架，能够完全基于稀疏网络训练深度强化学习模型。

SciBench旨在评估语言模型在复杂科学问题解决中的推理能力。通过开放和封闭数据集的深入基准测试，研究发现当前的语言模型在整体性能方面表现不佳，仅得到35.80%的分数。

HAL Harness是一个标准化的AI Agent评估框架与排行榜，旨在让AI代理的评估变得简单、可重复且高效。它支持多种基准测试，涵盖SWE-bench、USACO等，并可以在本地或云端运行，支持并行化以大幅提升效率。此外，HAL Harness无缝集成Weave，自动记录和跟踪成本与使用情况，为AI代理的评估和比较提供了全面的解决方案。

GAIA（General AI Assistants benchmark）是一个由Meta AI、HuggingFace和AutoGPT团队推出的基准测试，旨在评估AI代理系统的工具使用能力和自主性。它包含466个复杂现实世界问题，分为三个难度级别，这些问题对人类来说简单，但对当前AI技术来说具有挑战性。GAIA的哲学是，通用人工智能（AGI）的出现依赖于系统在这些问题上表现出与普通人类相似的稳健性。