simple-evals开源项目 – 轻量级语言模型评估库

ragas是一个专门用于评估检索增强生成(Retrieval Augmented Generation，RAG)性能的框架。它基于最新的研究提供工具，帮助用户评估语言模型生成的文本，并提供有关RAG管道性能的深入洞见。

AgentBench是一个多维演进基准，评估语言模型作为Agent的能力，包含8个不同环境，专注于LLM在多轮开放式生成场景中的推理和决策能力。

Planetarium是一个用于评估大型语言模型将自然语言描述的规划问题转换为PDDL的基准测试工具，具备图同构的比较方法，旨在帮助研究人员分析和提升模型的性能。

Haven是一个用于大型语言模型微调和评估的工具，拥有简单的用户界面，可以方便地进行模型微调并基于多种标准进行评估。

FLASK是一个专门用于评估语言模型在语法、语义、推理和生成等任务上表现的工具，旨在提供更准确的评估结果，揭示模型的强项和弱点，并指导语言模型的进一步发展。

Bench是一个用于评估语言模型(LLM)在生产用例中的工具，支持多种语言模型的评估，并提供详细的评估报告和指标，易于集成到现有的生产环境中，且支持自定义评估用例。

ai2-olmo-eval 是一个评估套件，旨在为语言模型在自然语言处理任务上运行评估管道，提供多种评估指标和详细报告，支持扩展和自定义评估。

JudgeLM是经过微调的语言大模型，旨在有效、高效地在开放式基准测试中评估语言大模型（LLM），提供系统化的模型能力和行为分析，解决多种偏见问题，并在新旧基准测试中展示出色的评判性能。

一个面向图数据检索增强生成(RAG)的开发工具包，提供自动化知识图谱构建和管理功能，支持OpenAI等LLM模型集成，具备本体管理、知识图谱构建、多智能体协作等特性，可用于高级数据查询和知识图谱应用开发。

Agent Hospital 是由清华大学 AI 研究团队开发的模拟医院系统，使用大型语言模型（LLM）驱动的自主代理来模拟患者、护士和医生。该系统允许医生代理通过治疗大量虚拟患者来进化，在诊断和治疗方面达到高准确率，无需手动标注数据。研究表明，该系统在 MedQA 基准测试中表现优异，尤其在呼吸系统疾病子集上达到 93.06% 的准确率。项目具有高效率，几天内可处理上万名患者的诊断和治疗，效率是人类医生的 500 倍。

iAsk 是一个智能助手，能够回答有关您文件和链接的问题。用户只需在 Apple 设备上安装该应用并授权必要的权限，就可以使用语音、相机和图像来询问文件和链接的信息。

这是一个专门为人工智能、数据科学和数据分析提供的最大提示集合，旨在帮助用户高效利用ChatGPT进行各种 AI 相关任务。

Continue是一个开源的自动驾驶软件开发工具，集成于Visual Studio Code中，利用ChatGPT的能力，为开发者提供代码自动补全、生成、重构和解释等功能。

Lemone是一个旨在帮助法律事务所、税务部门和中小企业的项目，利用语言模型简化法律文档的起草、税务模拟模型的创建及文献研究，从而使用户能够专注于更具战略性的工作。

DeepSeek是一家位于中国杭州的人工智能公司，专注于开发大型语言模型（LLMs）。公司成立于2023年7月，隶属于中国对冲基金High-Flyer。DeepSeek的核心产品包括一系列LLMs，涵盖对话、搜索、编程和推理功能。其模型在性能和成本效益上表现出色，特别是在推理任务和编程支持方面，能够与国际领先模型如OpenAI的GPT-4o媲美。DeepSeek的模型训练成本显著低于行业平均水平，例如V3模型的训练成本仅为600万美元，而OpenAI的GPT-4在2023年耗资1亿美元。2025年1月，DeepSeek推出了同名聊天机器人和DeepSeek-R1模型，迅速在全球AI领域崭露头角。