SciBench-评估语言模型在科学问题解决中的能力

该论文探讨了语言模型在反事实任务中的能力和限制，揭示了它们在抽象推理方面的表现及其依赖的任务解决程序。

Hallucination Leaderboard是一个用于评估大语言模型在生成摘要时的幻觉表现的排行榜，旨在提高对模型输出质量的理解和评估方法的透明度。该项目总结了多个知名语言模型在对短文进行摘要时的幻觉产生频率，目前显示GPT-4和GPT-3.5表现最佳。

OpenCompass是一个大型语言模型评测平台，支持20多种模型和50多个数据集，能够通过高效的分布式评估技术进行快速全面的基准测试。

Bench是一个用于评估语言模型(LLM)在生产用例中的工具，支持多种语言模型的评估，并提供详细的评估报告和指标，易于集成到现有的生产环境中，且支持自定义评估用例。

llm-colosseum 是一种评估大型语言模型 (LLM) 质量的新方法，通过模拟《Street Fighter 3》中的战斗表现作为基准，帮助研究人员和开发者了解和分析 LLM 的决策能力和适应性。该项目强调实时游戏中的快速决策、智能思考、适应性调整和整体弹性。

MiniMax-01 是一个开源项目，包含基础语言模型 MiniMax-Text-01 和视觉多模态模型 MiniMax-VL-01。它支持超长上下文处理，适合AI Agent领域和各种需要处理大量信息的场景。该模型采用混合架构，结合Lightning Attention、Softmax Attention和专家混合（MoE），能在推理时处理长达400万token的上下文，并在多个学术基准测试中表现出色。此外，它还支持文本/图像/3D模型联合生成，实现在游戏资产创作场景中的风格一致性控制，生成速度比Stable Diffusion快3倍。

一个开源框架，专为大型语言模型提供高级推理能力，支持数据生成、策略训练和多种搜索策略，让机器更聪明地理解和解决问题。

LLaMA-O1 是一个大型推理模型框架，专为 PyTorch 和 HuggingFace 设计，支持训练、推理和评估。它集成了蒙特卡洛树搜索（MCTS）、自我对弈强化学习、PPO 和类似 AlphaGo Zero 的双策略范式，适用于大型语言模型的开发和应用。

CoPE是一种新的位置编码方法，允许根据上下文来调整位置，以关注更高抽象级别的序列元素。它能够根据需要计算每个注意力机制头的距离，解决标准Transformer无法解决的计数和复制任务，并在语言建模和编码任务上拥有更好的困惑度（PPL）。

Imagen是一个文本到图像的扩散模型，具有极高的真实感，利用大型变换器语言模型来理解文本并生成高保真图像。它在COCO数据集上取得了7.27的最先进FID分数，并在样本质量和图像-文本对齐方面被人类评审者优先选择。

基于模块化构建和敏捷部署的RAG系统框架，旨在通过自动化的 '数据构建 - 模型微调 - 推理评估' 知识适应技术系统，为研究人员和开发者提供一站式的解决方案。

该项目提供了一种利用多模态半监督学习进行文本识别的方法，结合了标记和未标记数据以提高识别精度。

Multi-CPR是一个针对中文段落检索的多领域数据集，旨在支持中文处理的研究与应用。该数据集涵盖多个领域，提供了丰富的样本，帮助研究者和开发者高效地训练和评估检索模型。

满血o1是OpenAI于2024年12月发布的o1模型正式版本，相比预览版在推理能力、处理速度和多模态支持上有显著提升。 该模型专为处理复杂问题设计，支持文本和视觉输入，在数学竞赛、编程挑战和科学问题解决中表现优异。 通过ChatGPT订阅或开发者API提供服务，Pro版月费约1450元人民币，国内用户需通过虚拟卡支付。

matmul 是一个专注于优化C语言中矩阵乘法性能的项目。它提供了高效的矩阵乘法算法实现，并作为基准测试的参考。该项目深入探索了多种优化技术，旨在提升矩阵运算的效率，适用于需要高性能矩阵乘法的场景。

PALBERT是一个旨在提升ALBERT模型推理能力的项目。通过改进ALBERT的思考方式，PALBERT增强了模型在处理复杂问题时的推理能力，使其在自然语言处理任务中表现更加出色。

HAL Harness是一个标准化的AI Agent评估框架与排行榜，旨在让AI代理的评估变得简单、可重复且高效。它支持多种基准测试，涵盖SWE-bench、USACO等，并可以在本地或云端运行，支持并行化以大幅提升效率。此外，HAL Harness无缝集成Weave，自动记录和跟踪成本与使用情况，为AI代理的评估和比较提供了全面的解决方案。

AIOpsLab是一个全面的框架，用于设计、开发和评估自主的AIOps（人工智能运维）代理，支持构建可重复、标准化、互操作和可扩展的基准测试。它能够部署微服务云环境、注入故障、生成工作负载并导出遥测数据，同时协调这些组件并提供接口与代理进行交互和评估。AIOpsLab还内置了一个基准测试套件，包含一系列问题，用于在交互环境中评估AIOps代理。该套件可以轻松扩展以满足用户特定需求。

一个全面的移动端和PC端智能代理相关资源集合，包含最新论文、数据集和基准测试。收录了各类移动端智能代理系统的训练方法、输入类型、模型架构等详细对比，以及主流数据集的详细信息统计。

Awesome Diffusion V2V 是一个基于扩散模型的视频编辑技术和基准测试的资源集合。该项目汇集了多种视频编辑的关键技术和方法，旨在推动视频编辑领域的研究与应用。通过提供丰富的资源列表和基准测试代码，帮助研究人员和开发者更好地理解和应用扩散模型在视频编辑中的潜力。

multi_timescale_replay 是一个专注于多时间尺度回放机制的强化学习项目，旨在提高动态环境中的学习效率和适应性。该项目通过实现多时间尺度回放机制，支持在动态环境中的持续强化学习，并提供工具来实验不同的回放策略。此外，项目还包含基准测试和评估指标，用于评估性能。

matmul.c是一个针对现代x86处理器优化的高性能矩阵乘法C语言实现库。它支持AVX和FMA指令集，并通过OpenMP实现高效并行化，提供简洁、可移植、可扩展的C代码。在特定配置下，其性能甚至超越NumPy，适用于科学计算、工程应用及矩阵乘法基准测试等场景。

通过高质量合成数据提升多模态多语言嵌入性能的创新项目，支持多种任务和语言，在MMEB基准测试中达到SOTA性能，致力于推动跨模态学习的进步。

TextArena 是一个专为语言模型评估和强化学习设计的文本游戏集合，提供多种基于文本的游戏环境，支持单机、双人和多人模式，具备本地和在线多人实时评分功能，并采用 Elo 排名系统。项目使用 OpenAI Gym 风格的接口，便于与各种框架集成，适用于语言模型在竞争性文本场景中的评估、强化学习实验、新文本游戏的开发与测试，以及与现有机器学习框架的集成研究。

MMR1是多模态推理领域的前沿项目，通过极少量数据实现顶尖性能。该项目仅使用6k公开数据进行训练，达到了开源7B多模态模型的SOTA性能，并且在6小时内完成高效训练，具有极高的性价比。此外，MMR1采用了数据平衡策略，能够覆盖多样化的数学问题类型。

Promptfoo是一个专门为测试和增强语言模型数学（LLM）提示而设计的库，提供强大的工具来评估提示质量和模型输出，从而提升结果。

一份精心收集机器人领域相关的3D视觉论文合集，包括政策学习、预训练、VLM和LLM、数据集和基准等相关论文、代码和相关网站。

Zeno Build旨在帮助开发人员快速构建、比较和迭代使用大型语言模型应用的工具，提供简单的代码示例和实验管理功能。