Factorio Learning Environment开源项目 – 评估LLM在游戏中的表现

Factorio Learning Environment 是一个非饱和、开放式的环境，专门用于在游戏《Factorio》中评估大型语言模型（LLMs）的表现。它提供了24个结构化任务和开放式任务，以满足不同的研究需求。通过代码合成实现代理与环境的交互，增强自动化能力。该项目拥有超过546次提交，表明其代码库丰富且维护活跃。

Factorio Learning Environment的特点:

1. 提供24个结构化任务和开放式任务，满足不同研究需求。
2. 通过代码合成实现代理与环境的交互，增强自动化能力。
3. 拥有超过546次提交，代码库丰富且维护活跃。

Factorio Learning Environment的功能:

1. 评估大型语言模型（LLMs）在游戏环境中的表现。
2. 在开放式场景中进行AI自动化和任务完成的研究。
3. 在复杂、非饱和的环境中开发和测试AI代理。
4. 探索AI在游戏学习和创造力中的能力。

相关导航

JailbreakBench开源项目 – 评估大型语言模型的鲁棒性

JailbreakBench 是一个开源的鲁棒性基准，旨在评估对大型语言模型(LLM)进行大规模越狱的进展，提供丰富的数据集和评估工具，以支持研究人员和开发者在这个领域的探索。

OvercookedGPT开源项目 – 多智能体任务规划评估环境

OvercookedGPT是一个OpenAI Gym环境，旨在评估大型语言模型（如GPT-4和Claude）在动态多智能体环境中的长期推理和任务规划能力。它提供了一个交互式的2D游戏环境，支持多种LLM，并生成时间序列任务，适用于复杂场景下的AI模型训练与评估。

Lux-AI Challenge开源项目 – 推动AI与编程兴趣的挑战项目

Lux-AI Challenge是一个旨在推动人工智能和编程兴趣的挑战项目，现已在GitHub上获得了广泛关注。这个项目为开发者提供了一个平台，允许他们创建和竞争AI代理，提升编程能力并参与全球社区的互动。

ZerePy开源项目 – 开源框架，简化 AI 代理开发

ZerePy 是一个开源的 Python 框架，旨在帮助开发者快速部署基于 OpenAI、Anthropic 或 EternalAI 的大型语言模型（LLM）AI 代理。它提供了一种灵活且易于扩展的架构，适合各种应用场景，并支持与其他应用的无缝集成，方便开发者进行定制和扩展。

Open-LLM-Leaderboard开源项目 – 开放式问题评估的基准测试平台

Open-LLM-Leaderboard是一个用于追踪各种大型语言模型（LLMs）在开放式问题上的表现的基准测试平台，旨在反映模型的真实能力，并通过开放社区促进共同进步。

awesome-crewai开源项目 – CrewAI社区开源项目精选

awesome-crewai 是一个由 CrewAI 社区精心策划的开源项目列表，旨在帮助用户发现、贡献和扩展 AI 代理的可能性。通过这个项目，用户可以探索社区驱动的创新，参与现有项目的开发，并提升 AI 代理的功能。

Math-Verify开源项目 – 评估数学表达式的强大系统

Math-Verify是一个强大的数学表达式评估系统，专为评估大型语言模型在数学任务中的输出而设计。它能更准确地评估模型的表现，避免因格式或解析问题导致的误判。

BIG-bench开源项目 – 全面评估AI模型性能的基准工具

BIG-Bench是一个用于评估神经网络模型性能的基准测量工具，旨在提供全面的评估方法，通过多个任务和指标来衡量AI模型的能力。

GPQA-高难度的研究生级问答基准

Graduate-Level Google-Proof Q&A Benchmark，是一个评估大型语言模型和可扩展监督机制能力的高难度数据集，包含448道选择题，旨在测试专家的准确率。

Confabulations开源项目 – 基于文档的误导性问题评估工具

Confabulations是一个针对检索增强型生成模型（RAG）的基准测试，旨在评估大型语言模型在面对基于文档的误导性问题时的能力，并提供工具以减少生成虚构答案的能力。

Hugging Face AI Agents 课程开源项目 – 免费AI代理课程

Hugging Face 推出的免费 AI Agents 课程，从基础入门到掌握如何使用和构建 AI 代理。课程涵盖理论、实践及流行框架，适合具备基础 Python 知识和 LLM 基础概念的学习者。课程内容包括 AI 代理的概念、设计与应用，以及如何使用 smolagents、LangChain、LlamaIndex 等主流库。完成作业可获得 Hugging Face 认证证书。