大型语言模型测试

Humanity's Last Exam (HLE) 是一个多模态基准测试，旨在评估AI在人类知识前沿的极限表现。该项目包含2,700道高难度问题，涵盖数学、人文和自然科学等领域，由来自50个国家、500多个机构的近1,000名专家共同设计。这些问题经过多阶段审核，确保其精确、无歧义且难以通过互联网检索到答案。当前最先进的大型语言模型（LLMs）在该测试中的准确率低于10%，并表现出‘过度自信’现象。HLE为研究人员和开发者提供了一个严格的测试环境，帮助了解AI在复杂任务中的表现，并为政策制定提供参考。

BenchLLM是一个免费的开源工具，旨在简化对大型语言模型（LLMs）、聊天机器人和其他人工智能应用的测试过程。用户可以实时测试数百个提示和响应，自动化评估并基准测试模型，以构建更好和更安全的AI。

BIG-Bench是一个用于评估神经网络模型性能的基准测量工具，旨在提供全面的评估方法，通过多个任务和指标来衡量AI模型的能力。

这是一套全面的2000个聊天机器人提示资源，旨在帮助爱好者学习和实验聊天机器人，使他们熟悉其在不同上下文中的功能和应用。

ArtificialAnalysis提供AI模型和API托管服务的客观基准和分析，帮助用户比较在项目中使用的最佳选项。我们整合了不同的质量基准、定价信息以及我们自己的技术基准数据。

DialogStudio: 最丰富及多样化的对话AI统一数据集，涵盖开放域对话、任务导向对话、自然语言理解、对话推荐、对话摘要和知识对话等数据。

ChatAI是一个集成的AI平台，用户可以通过WhatsApp或网页与顶尖的AI聊天机器人（如ChatGPT和Stable Diffusion）互动，生成AI图像。用户注册后可获得10个免费提示，随后可以在不同的AI模型间切换，比较答案，选择最佳的AI服务。

LMQL是一种专门为大型语言模型(LLMs)设计的查询语言，结合了自然语言提示和Python的表达能力。它提供了约束、调试、检索和控制流等功能，以便于与LLMs的交互。

基于MLX框架的GPT-2模型实现，提供从零开始训练生成式预训练语言模型的教程，使用Python代码约200行，依赖mlx和numpy，适用于Macbook等设备，能在约10分钟内训练完成并生成类似莎士比亚文本的输出

Wingman是一个聊天机器人，允许用户在个人电脑和Mac（无论是Intel还是Apple Silicon）上本地运行大型语言模型。它提供了一个易于使用的聊天界面，使用户能够无需编写代码或使用命令行即可使用本地模型。当前可用的首个测试版名为Rooster。

Anotherlife.ai是一个AI社交媒体模拟器项目，旨在探索聊天机器人是否能够成长。项目的初衷是进行探索，但与AI的互动过程却变得更加有趣。

PubCompare.ai是一个强大的平台，提供了全面的实验协议数据库，用户可以通过先进的AI工具来检测、比较和评估各种实验协议，帮助研究人员找到最相关和被广泛引用的协议，突出关键步骤，识别隐藏在付费墙后的相关方法。

TokenLimits是一个网站，允许用户探索不同AI模型的令牌限制。它提供关于各种AI模型的最大令牌、字符和单词数量的信息，帮助用户了解在不同文本模型（如ChatGPT Plus、GPT-4、GPT-3.5-Turbo、GPT-3和Codex）中可以输入的内容限制。此外，该网站还提供图像提示模型（如Stable Diffusion）和嵌入模型（如Ada-002）的令牌限制。