Open-LLM-Leaderboard是一个用于追踪各种大型语言模型(LLMs)在开放式问题上的表现的基准测试平台,旨在反映模型的真实能力,并通过开放社区促进共同进步。
OpenCompass是一个大型语言模型评测平台,支持20多种模型和50多个数据集,能够通过高效的分布式评估技术进行快速全面的基准测试。
AgentBoard是一个多轮LLM智能体的分析评估排行榜,旨在评估大型语言模型的通用Agent能力。它提供全面的性能分析和可视化结果,支持多种模型的比较,帮助用户深入理解智能体在对话中的表现。
Laneform是一个供城市规划者、开发者和市民领袖使用的平台,旨在创建概念图像并引导社区成员参与互动视觉调查。用户只需在网站上注册账户,登录后即可通过上传相关图像来创建概念图像和调查,促进社区的参与和反馈。
ai2-olmo-eval 是一个评估套件,旨在为语言模型在自然语言处理任务上运行评估管道,提供多种评估指标和详细报告,支持扩展和自定义评估。
TokenLearn 静态词嵌入:一种预训练模型2Vec的方法,专注于提升自然语言处理中词嵌入的静态特性,使其更适用于各种下游任务。
一套评估大语言模型AI研发能力的任务集合,包含7个具有挑战性的任务,涵盖Rust代码编程、GPT-2微调、嵌入修复、LLM训练优化、GPU内核优化等领域,每个任务都有明确的评分标准和基准分数,用于测试AI代理与人类专家的能力对比
Math-Verify是一个强大的数学表达式评估系统,专为评估大型语言模型在数学任务中的输出而设计。它能更准确地评估模型的表现,避免因格式或解析问题导致的误判。