CAPA: 基于概率调整的语言模型相似性协议官网 – 量化语言模型相似性的创新指标

CAPA 是一种新型的概率性语言模型相似性度量指标，旨在解决随着语言模型能力提升，评估和监督这些模型变得越来越困难的问题。CAPA 通过调整因模型准确率导致的偶然一致性，并结合输出概率，量化模型之间的功能相似性。它揭示了 LLM-as-a-Judge 场景中的亲和性偏见，并显示模型错误随能力提升而变得更加相似，强调了模型多样性在 AI 监管中的关键作用。

CAPA: 基于概率调整的语言模型相似性协议的特点:

1. 调整准确率：确保高准确率模型的相似性得分不会因分歧机会减少而被夸大。
2. 区分不同错误：将不同的错误预测视为分歧，而非一致。
3. 纳入概率：使用输出概率分布，提供比二进制预测更精确的相似性测量。

CAPA: 基于概率调整的语言模型相似性协议的功能:

1. 在研究中理解模型相似性和偏见。
2. 在 AI 治理中确保模型多样性。
3. 分析 LLM-as-a-Judge 场景中的亲和性偏见。
4. 评估模型错误随能力提升的相似性趋势。

相关导航

EvalPlanner论文 – 提升AI模型评估性能的研究项目

EvalPlanner 是一个由Meta AI提出的研究项目，旨在通过将LLM-as-a-Judge的评估过程解耦为规划和推理阶段，结合迭代自训练和偏好优化技术，增强AI模型作为评估者的性能。该项目特别适用于复杂评估任务，并在多个基准测试中表现出色。

LiveBench AI官网 – 难以作弊的基准测试工具

LiveBench AI是一个由Abacus AI和杨立昆及其团队合作创建的基准测试工具，通过发布新问题和基于最新数据集设置评测，确保基准测试的无污染性。它包含18个任务，分为6个类别，初始发布960个问题，任务全面多样化。

Verdict开源项目 – 提升AI评估可靠性与效率

Verdict旨在通过扩展推理时计算，解决传统大型语言模型（LLM）评估中的不稳定性和可靠性问题。其核心价值在于提供更高效、更可靠的评估方法，帮助研究人员和开发者更好地理解和优化AI模型的性能。

火山方舟大模型体验中心官网 – AI模型体验与服务平台

火山方舟大模型体验中心是字节跳动旗下火山引擎推出的AI模型服务平台，提供多种大型AI模型的体验、推理、微调和评估功能。平台支持个人和企业用户，具备丰富的GPU资源和高吞吐量处理能力，同时提供端到端加密和数据保密性，确保使用安全。平台还推出了邀请返利活动，鼓励用户邀请好友加入，降低使用门槛。

Selene API官网 – 评估生成式AI的前沿模型

Selene API 提供前沿模型，用于评估生成式AI，帮助用户大规模发现并修复AI错误，通过使用LLM-as-a-Judge来测试和评估提示和模型版本，从而创建更可靠的生成式AI应用。

ArtificialAnalysis官网 – AI模型评估与分析

ArtificialAnalysis提供AI模型和API托管服务的客观基准和分析，帮助用户比较在项目中使用的最佳选项。我们整合了不同的质量基准、定价信息以及我们自己的技术基准数据。

Benchy开源项目 – AI性能对比工具

Benchy是一个让AI性能对比变得直观的工具，支持实时对比不同AI模型的性能、价格和速度。它提供多种微应用，以满足不同场景的测试需求，帮助用户快速评估和选择最适合的AI模型。

GamingAgent开源项目 – 经典游戏AI测试与优化

GamingAgent 是一个专注于开发和测试AI Agent的项目，特别适用于经典游戏如超级玛丽和俄罗斯方块。它支持多种AI模型的接入和测试，能够评估和比较不同模型在游戏中的表现，并提供详细的测试基准和结果分析。此外，GamingAgent 还支持多种经典游戏，具备智能决策能力，能够根据不同模型的特点进行优化，适用于研究、开发、教育和演示等多种场景。

TRACT开源 – 提升LLM评分预测性能的微调方法

TRACT是一种创新的两阶段微调方法，结合了链式思考（CoT）推理和回归感知微调（RAFT），旨在提升大型语言模型（LLM）在数值评分预测中的表现，特别是在‘LLM-as-a-Judge’场景下。通过第一阶段生成高质量的CoT数据，并在第二阶段利用这些数据进一步微调模型，TRACT显著提升了模型性能，超越了现有方法和基准模型。

Pytorch-NLU开源项目 – 极简自然语言处理工具包

只依赖pytorch、transformers、numpy、tensorboardX，专注于文本分类、序列标注的极简自然语言处理工具包

MeloTTS开源项目 – 高质量多语言文本转语音库

MeloTTS 是由 MIT 和 MyShell.ai 开发的高质量多语言文本转语音（TTS）库，支持多种语言和口音，包括英语、西班牙语、法语、中文、日语和韩语。它通过优化的算法和模型，提供清晰自然的语音合成体验，支持中英混合发音、实时 CPU 推理，并且易于安装和使用。

Melty开源项目 – AI代码编辑器，每一条聊天记录都是Git提交

Melty是一个AI代码编辑器，旨在通过将每一条聊天记录视为Git提交来提升编程效率。它能够实时同步用户的操作，就像一个结对编程伙伴，帮助用户理解代码、重构代码、创建Web应用、导航大型代码库，并自动生成提交信息。Melty还集成了编译器、终端、调试器以及GitHub等工具，支持个性化学习和代码质量监控。