FLASK开源项目 – 基于对齐技能集的细粒度语言模型评估

liteLLM是一个开源库，旨在简化LLM（大语言模型）的完成和嵌入调用。它提供了一个方便易用的接口，使得调用不同的LLM模型变得更加简单。用户只需导入'litellm'库并设置必要的环境变量（如OPENAI_API_KEY和COHERE_API_KEY），即可创建Python函数并使用liteLLM进行LLM完成调用。此外，liteLLM还提供了一个演示平台，用户可以在其中编写Python代码并查看输出，从而比较不同的LLM模型。

Algomax是一个平台，旨在简化您的LLM和RAG模型评估，提升提示开发效率，并通过独特的定性指标洞察加速开发过程。该平台提供直观的仪表盘，便于您轻松集成到工作流程中，评估模型性能，评估引擎设计精准，能够深入洞察模型行为。

Vicuna是一个由Vicuna团队开发的开源聊天机器人，经过用户分享的对话微调，表现优于大多数模型。

PROMETHEUS是一个在语言模型中引入细粒度评估能力的完全开源LLM，能够在配备适当的参考资料时展现出与专有模型相媲美的评估能力。

TaxEval 是一个专注于税务领域的语言模型评估工具，支持多种评估指标并提供详细的评估报告，便于集成到现有的税务应用中。

用于LLM360评估和分析的代码库，包含了多种评估指标和分析方法，旨在帮助用户全面理解和优化模型表现。

JudgeLM是经过微调的语言大模型，旨在有效、高效地在开放式基准测试中评估语言大模型（LLM），提供系统化的模型能力和行为分析，解决多种偏见问题，并在新旧基准测试中展示出色的评判性能。

Thermostat是一个集合，提供多种自然语言处理(NLP)模型的解释及其分析工具，帮助用户深入理解模型的决策过程及性能评估。

Bench是一个用于评估语言模型(LLM)在生产用例中的工具，支持多种语言模型的评估，并提供详细的评估报告和指标，易于集成到现有的生产环境中，且支持自定义评估用例。

InstructScore (SEScore3) 是用于文本生成评估的首个解释性指标，提供全面的评估和诊断报告，帮助识别模型的优缺点，支持多种文本生成任务，并能比较不同模型的输出。

ragas是一个专门用于评估检索增强生成(Retrieval Augmented Generation，RAG)性能的框架。它基于最新的研究提供工具，帮助用户评估语言模型生成的文本，并提供有关RAG管道性能的深入洞见。

ai2-olmo-eval 是一个评估套件，旨在为语言模型在自然语言处理任务上运行评估管道，提供多种评估指标和详细报告，支持扩展和自定义评估。

OpenAI开源的轻量级语言模型评估库，主要用于透明化模型性能指标的发布。 强调零样本思维链评估方式，提供多个标准化测试基准，支持主流API接口。 包含MMLU、MATH等7个核心评估指标，涵盖理解、数学、编程等多维度能力测试。 特别包含BrowseComp浏览器智能体专项测试集（1266个高难度问题）。

AgentBench是一个多维演进基准，评估语言模型作为Agent的能力，包含8个不同环境，专注于LLM在多轮开放式生成场景中的推理和决策能力。

Planetarium是一个用于评估大型语言模型将自然语言描述的规划问题转换为PDDL的基准测试工具，具备图同构的比较方法，旨在帮助研究人员分析和提升模型的性能。

该项目旨在评估中文空间语义理解的能力，提供基准数据集和评测工具，帮助研究人员和开发者了解和提升模型在空间语义任务上的表现。

Haven是一个用于大型语言模型微调和评估的工具，拥有简单的用户界面，可以方便地进行模型微调并基于多种标准进行评估。