RE-AIM框架最初用于公共卫生评估,现被改造用于评估医疗领域的大语言模型(LLMs)。该框架包含五个关键维度:覆盖范围(医疗任务覆盖广度)、有效性(模型性能表现)、采纳度(医疗使用意愿)、实施性(系统集成难度)和可持续性(长期维护成本),旨在确保LLMs既具备技术可靠性又符合医疗场景的实际需求。
Overthinking 是一个系统评估框架,用于自动评估大语言模型中的过度思考行为。它通过分析模型是否过度依赖内部推理而非与环境互动,识别三种过度思考模式:'分析瘫痪'、'鲁莽行动'和'过早脱离',并提供量化评分,帮助提升模型性能约30%。
这篇论文探讨了如何评估大模型的性能,包括评估的内容、地点和方法,并分析了当前评估方法的有效性和可信度。
一个创新的基准测试框架,专门评估大语言模型(LLM)和视觉语言模型(VLM)在游戏环境中的智能Agent能力。支持本地部署和主流AI API集成,提供完整的评估工具集,可用于测试模型在长期交互任务中的推理表现。
一套评估大语言模型AI研发能力的任务集合,包含7个具有挑战性的任务,涵盖Rust代码编程、GPT-2微调、嵌入修复、LLM训练优化、GPU内核优化等领域,每个任务都有明确的评分标准和基准分数,用于测试AI代理与人类专家的能力对比
一个包含多个样本的基准测试项目,用于大语言模型的测试和评估,旨在帮助研究者和开发者了解模型的性能表现。该项目提供多种语言的测试样本,支持自定义测试用例,易于与现有AI项目集成,方便进行系统性评估。
一个包含1,645个具有不同种类歧义的数据集及对应的评估方法的项目。
LangSmith是一个旨在帮助开发者缩小原型与生产之间差距的平台,专为构建和迭代能够利用大型语言模型(LLMs)的产品而设计,既能发挥其强大能力,又能应对其复杂性。
xCodeEval是一个大规模多语言多任务基准,用于评估代码理解、生成、翻译和检索的能力,旨在为研究和开发提供支持。
SegModel是一个基于Caffe的轻量级深度学习库,专注于语义分割任务,具有高效的架构,支持结构化补丁预测,并结合了上下文条件随机场(CRF)和引导CRF技术,方便与现有Caffe项目集成。
APEBench是一个用于评估偏微分方程(PDE)自回归神经仿真器的基准测试框架,提供标准化的评估工具,支持多种自回归建模配置,旨在促进不同模型和技术之间的比较。
Lightning AI是一个使用PyTorch训练、部署和构建AI模型的平台,以其超快的性能而闻名。它由PyTorch Lightning的创作者开发,提供用户友好的界面来管理训练过程和监控模型性能,适用于计算机视觉、自然语言处理、推荐系统和强化学习等多个领域。
EvalsOne是一个旨在简化生成AI模型提示评估过程的工具,帮助用户进行质量控制和风险管理。在将生成AI模型投入生产环境之前,EvalsOne提供了一种高效的评估方式,以确保模型在与真实用户和数据交互时的可靠性。
字节跳动提供 DeepSeek R1、OpenAI o1、GPT-4o、Claude 3.5 和 Gemini 1.5等领先大模型