GAIA模型 – 评估AI代理能力的基准测试

multi_timescale_replay 是一个专注于多时间尺度回放机制的强化学习项目，旨在提高动态环境中的学习效率和适应性。该项目通过实现多时间尺度回放机制，支持在动态环境中的持续强化学习，并提供工具来实验不同的回放策略。此外，项目还包含基准测试和评估指标，用于评估性能。

Awesome Diffusion V2V 是一个基于扩散模型的视频编辑技术和基准测试的资源集合。该项目汇集了多种视频编辑的关键技术和方法，旨在推动视频编辑领域的研究与应用。通过提供丰富的资源列表和基准测试代码，帮助研究人员和开发者更好地理解和应用扩散模型在视频编辑中的潜力。

MMR1是多模态推理领域的前沿项目，通过极少量数据实现顶尖性能。该项目仅使用6k公开数据进行训练，达到了开源7B多模态模型的SOTA性能，并且在6小时内完成高效训练，具有极高的性价比。此外，MMR1采用了数据平衡策略，能够覆盖多样化的数学问题类型。

一个社区驱动的LLM数据和基准测试资源库，提供大量语言模型的详细信息，包括模型参数、上下文窗口大小、许可证详情、性能指标等数据。通过llm-stats.com网站可以交互式探索和比较不同的语言模型。

TAG-Bench是一个用于回答数据库上的自然语言问题的项目，通过Table-Augmented Generation（TAG）模型，探索语言模型与数据库之间的广泛交互，提供首个基准测试研究TAG问题，并验证标准方法在此类查询上的挑战性。

OmniAlign-V是一个专为多模态大语言模型（MLLMs）设计的项目，旨在通过提供高质量的数据集和优化方法，提升模型在符合人类偏好方面的对齐能力。项目包含20.5万高质量图像问答对，以及专为DPO优化的负样本数据集，帮助模型更好地学习和对齐。此外，项目还引入了MM-AlignBench基准测试，使用GPT-4o作为裁判，客观评估模型在对齐人类偏好方面的表现。

通过高质量合成数据提升多模态多语言嵌入性能的创新项目，支持多种任务和语言，在MMEB基准测试中达到SOTA性能，致力于推动跨模态学习的进步。

这是一个新的模型，超越其他模型在代理能力基准测试中表现出色，尤其在语言和编码任务上表现优异。

SciBench旨在评估语言模型在复杂科学问题解决中的推理能力。通过开放和封闭数据集的深入基准测试，研究发现当前的语言模型在整体性能方面表现不佳，仅得到35.80%的分数。

一份精心收集机器人领域相关的3D视觉论文合集，包括政策学习、预训练、VLM和LLM、数据集和基准等相关论文、代码和相关网站。

HAL Harness是一个标准化的AI Agent评估框架与排行榜，旨在让AI代理的评估变得简单、可重复且高效。它支持多种基准测试，涵盖SWE-bench、USACO等，并可以在本地或云端运行，支持并行化以大幅提升效率。此外，HAL Harness无缝集成Weave，自动记录和跟踪成本与使用情况，为AI代理的评估和比较提供了全面的解决方案。

GradientJ旨在使NLP应用更易获取，提供创建、微调和管理NLP应用的综合解决方案，充分利用大语言模型的能力。

matmul.c是一个针对现代x86处理器优化的高性能矩阵乘法C语言实现库。它支持AVX和FMA指令集，并通过OpenMP实现高效并行化，提供简洁、可移植、可扩展的C代码。在特定配置下，其性能甚至超越NumPy，适用于科学计算、工程应用及矩阵乘法基准测试等场景。

AIOpsLab是一个全面的框架，用于设计、开发和评估自主的AIOps（人工智能运维）代理，支持构建可重复、标准化、互操作和可扩展的基准测试。它能够部署微服务云环境、注入故障、生成工作负载并导出遥测数据，同时协调这些组件并提供接口与代理进行交互和评估。AIOpsLab还内置了一个基准测试套件，包含一系列问题，用于在交互环境中评估AIOps代理。该套件可以轻松扩展以满足用户特定需求。

这是一个专注于提升大型语言模型（LLM）推理能力的资源库，涵盖了与LLM后训练相关的最新论文、代码实现、基准测试和资源。项目旨在帮助研究人员、开发者和爱好者深入理解如何通过后训练方法（如微调、强化学习等）增强LLM的推理、规划、决策和泛化能力。此外，它还提供了模型对齐、可扩展适应和推理时优化等新兴方向的研究资源。