EvalPlanner论文 – 提升AI模型评估性能的研究项目

ArtificialAnalysis提供AI模型和API托管服务的客观基准和分析，帮助用户比较在项目中使用的最佳选项。我们整合了不同的质量基准、定价信息以及我们自己的技术基准数据。

Selene API 提供前沿模型，用于评估生成式AI，帮助用户大规模发现并修复AI错误，通过使用LLM-as-a-Judge来测试和评估提示和模型版本，从而创建更可靠的生成式AI应用。

LiveBench AI是一个由Abacus AI和杨立昆及其团队合作创建的基准测试工具，通过发布新问题和基于最新数据集设置评测，确保基准测试的无污染性。它包含18个任务，分为6个类别，初始发布960个问题，任务全面多样化。

GamingAgent 是一个专注于开发和测试AI Agent的项目，特别适用于经典游戏如超级玛丽和俄罗斯方块。它支持多种AI模型的接入和测试，能够评估和比较不同模型在游戏中的表现，并提供详细的测试基准和结果分析。此外，GamingAgent 还支持多种经典游戏，具备智能决策能力，能够根据不同模型的特点进行优化，适用于研究、开发、教育和演示等多种场景。

Benchy是一个让AI性能对比变得直观的工具，支持实时对比不同AI模型的性能、价格和速度。它提供多种微应用，以满足不同场景的测试需求，帮助用户快速评估和选择最适合的AI模型。

TRACT是一种创新的两阶段微调方法，结合了链式思考（CoT）推理和回归感知微调（RAFT），旨在提升大型语言模型（LLM）在数值评分预测中的表现，特别是在‘LLM-as-a-Judge’场景下。通过第一阶段生成高质量的CoT数据，并在第二阶段利用这些数据进一步微调模型，TRACT显著提升了模型性能，超越了现有方法和基准模型。

CAPA 是一种新型的概率性语言模型相似性度量指标，旨在解决随着语言模型能力提升，评估和监督这些模型变得越来越困难的问题。CAPA 通过调整因模型准确率导致的偶然一致性，并结合输出概率，量化模型之间的功能相似性。它揭示了 LLM-as-a-Judge 场景中的亲和性偏见，并显示模型错误随能力提升而变得更加相似，强调了模型多样性在 AI 监管中的关键作用。

该项目提出了一种名为RPO（Reward-aware Preference Optimization）的数学框架，旨在统一和改进大语言模型（LLM）与人类偏好的对齐方法。该框架整合了多种流行的偏好优化技术，如DPO、IPO和SimPO，通过系统研究设计选择，提升模型对齐性能。项目提供了结构化方法来比较不同技术，提出了新的实验设置，并为设计有效的对齐策略提供了指导。

火山方舟大模型体验中心是字节跳动旗下火山引擎推出的AI模型服务平台，提供多种大型AI模型的体验、推理、微调和评估功能。平台支持个人和企业用户，具备丰富的GPU资源和高吞吐量处理能力，同时提供端到端加密和数据保密性，确保使用安全。平台还推出了邀请返利活动，鼓励用户邀请好友加入，降低使用门槛。

Verdict旨在通过扩展推理时计算，解决传统大型语言模型（LLM）评估中的不稳定性和可靠性问题。其核心价值在于提供更高效、更可靠的评估方法，帮助研究人员和开发者更好地理解和优化AI模型的性能。

AppifyText.ai是一个平台，允许用户轻松快速地创建应用程序。它利用人工智能生成应用程序描述，并即时安装应用程序。已有2353个应用程序通过该平台创建。

ExLlamaV2是一个高效的推理库，旨在让用户能够在现代消费级GPU上本地运行各种大型语言模型（LLMs），并优化内存使用，以实现快速推理。

Notion AI 结合了 Notion 的多功能工作空间能力，利用人工智能提升生产力、创造力和组织效率。它作为数字助手，简化工作流程、自动化重复任务，并促进内容的创建和管理，提供个性化的推荐和定制化的工作流程。

XAIstream是一个专为实时AI处理设计的开源框架，为开发者提供构建低延迟智能系统的工具。它支持流式数据的高效处理，适用于动态场景下的模型应用。通过流式计算、推理加速、动态调度、硬件适配和接口支持等功能，XAIstream能够帮助开发者在各种实时场景中高效地应用AI技术。

Decypher是一个利用相机和人工智能探索伦敦街道家具的应用程序，用户可以扫描邮筒、电话亭等，获取有关其设计、历史及周边社区的信息。