决策能力测试

llm-colosseum 是一种评估大型语言模型 (LLM) 质量的新方法，通过模拟《Street Fighter 3》中的战斗表现作为基准，帮助研究人员和开发者了解和分析 LLM 的决策能力和适应性。该项目强调实时游戏中的快速决策、智能思考、适应性调整和整体弹性。

AgentBench是一个多维演进基准，评估语言模型作为Agent的能力，包含8个不同环境，专注于LLM在多轮开放式生成场景中的推理和决策能力。

LLMDrift是一个项目，旨在研究大型语言模型（如GPT-3.5和GPT-4）的性能漂移，特别关注其性能可能随时间下降的趋势及其影响。

Sleeper Agents项目旨在训练能够在安全培训中持续学习和适应的欺骗性大语言模型，以测试和研究其在不同环境中的表现和潜在威胁。该项目使用先进的机器学习技术，分析大语言模型的长期潜在威胁，确保其安全性。

AgentBoard是一个多轮LLM智能体的分析评估排行榜，旨在评估大型语言模型的通用Agent能力。它提供全面的性能分析和可视化结果，支持多种模型的比较，帮助用户深入理解智能体在对话中的表现。

一款用于评估和红队任何大型语言模型（LLM）应用的简单且模块化工具，由AI验证基金会开发，集成了基准测试和红队测试，帮助AI开发者、合规团队和AI系统所有者评估LLMs和LLM应用。

SciBench旨在评估语言模型在复杂科学问题解决中的推理能力。通过开放和封闭数据集的深入基准测试，研究发现当前的语言模型在整体性能方面表现不佳，仅得到35.80%的分数。

LLMonitor是一个开源的监控与评估工具，专为AI开发者设计，旨在通过日志查询和分析提升应用的质量。它为基于大型语言模型的应用提供可观察性和日志记录功能，帮助开发者优化和调试复杂的AI代理和聊天机器人。

QLLM是一个通用的大语言模型量化工具箱，支持2-8位的LLM量化，用户可以轻松使用GPTQ和AWQ方法进行模型量化和压缩。该工具箱提供了易于使用的工具和接口，适用于多种大语言模型，旨在帮助用户在不同精度下评估模型性能。

MiniMind 是一个开源 AI 项目，旨在从零开始，以极低的成本和极短的时间训练出超小语言模型。项目涵盖了从数据集清洗到模型训练的全过程，并提供了多种先进的算法和模型结构。通过仅需 3 块钱成本和 2 小时，即可训练出 25.8M 的超小语言模型，最小版本体积是 GPT-3 的 1/7000，适合普通个人 GPU 快速训练。项目还拓展了视觉多模态的 VLM: MiniMind-V，所有核心算法代码均从 0 使用 PyTorch 原生重构，不依赖第三方库提供的抽象接口。这不仅是大语言模型的全阶段开源复现，也是一个入门 LLM 的教程。