TRACT开源 – 提升LLM评分预测性能的微调方法

TRACT是一种创新的两阶段微调方法，结合了链式思考（CoT）推理和回归感知微调（RAFT），旨在提升大型语言模型（LLM）在数值评分预测中的表现，特别是在‘LLM-as-a-Judge’场景下。通过第一阶段生成高质量的CoT数据，并在第二阶段利用这些数据进一步微调模型，TRACT显著提升了模型性能，超越了现有方法和基准模型。

TRACT的特点:

1. 两阶段微调过程，结合CoT和RAFT
2. 自生成CoT数据，提升模型推理能力
3. 在多个数据集和LLM上表现优越
4. 适用于LLM-as-a-Judge任务

TRACT的功能:

1. 用于自然语言处理领域的研发，提升LLM的评估能力
2. 创建自动化文本评估系统，如教育评分或内容质量评估
3. 适用于需要数值评分预测的各种场景

相关导航

EvalPlanner论文 – 提升AI模型评估性能的研究项目

EvalPlanner 是一个由Meta AI提出的研究项目，旨在通过将LLM-as-a-Judge的评估过程解耦为规划和推理阶段，结合迭代自训练和偏好优化技术，增强AI模型作为评估者的性能。该项目特别适用于复杂评估任务，并在多个基准测试中表现出色。

Selene API官网 – 评估生成式AI的前沿模型

Selene API 提供前沿模型，用于评估生成式AI，帮助用户大规模发现并修复AI错误，通过使用LLM-as-a-Judge来测试和评估提示和模型版本，从而创建更可靠的生成式AI应用。

CAPA: 基于概率调整的语言模型相似性协议官网 – 量化语言模型相似性的创新指标

CAPA 是一种新型的概率性语言模型相似性度量指标，旨在解决随着语言模型能力提升，评估和监督这些模型变得越来越困难的问题。CAPA 通过调整因模型准确率导致的偶然一致性，并结合输出概率，量化模型之间的功能相似性。它揭示了 LLM-as-a-Judge 场景中的亲和性偏见，并显示模型错误随能力提升而变得更加相似，强调了模型多样性在 AI 监管中的关键作用。

Allwyse官网 – 智能教练平台，简化管理任务

Allwyse是一个基于AI的教练平台，旨在自动化如日程安排和客户管理等行政任务，使教练能够专注于客户并发展业务。

PyTorch-Tutorial-2nd开源项目 – 全面的PyTorch使用指南

PyTorch实用教程（第二版）：面向深度学习工程师的全面指南，覆盖从零基础到项目应用和工程化部署的各个阶段，旨在帮助读者轻松掌握PyTorch的使用

CodeTF开源项目 – 一站式代码类LLM工具库

CodeTF是Salesforce出品的一站式代码类LLM工具库，提供了一套统一的接口用于Code LLM的训练、推导和微调，支持多种模型，易于扩展和集成。

Boxo开源项目 – Go语言IPFS开发工具集

Boxo是一套用于构建IPFS应用程序和实现的Go语言参考库。它提供了高质量的组件，支持与公共和私有IPFS网络的交互，代码经过实战检验，并且在社区中广泛使用和理解。

VLABench开源项目 – 大规模视觉语言代理评估平台

VLABench是一个大规模基准测试平台，专为公平评估视觉语言代理、具身代理和视觉语言模型而设计，提供长视野推理任务的支持，适用于多种任务和场景，旨在为研究人员和开发者提供标准化的测试环境。

PencilsOut官网 – 简化资产创作的艺术科技平台

PencilsOut是一个艺术科技SaaS平台，通过直观的拖放界面简化资产创建过程，结合最先进的生成式AI模型。用户可以从简单的构建块开始，连接多个构建块以创建更复杂的工作流程。

Map of GitHub开源项目 – GitHub项目可视化地图

Map of GitHub 是一个交互式地图，展示了超过400,000个GitHub项目。通过计算项目之间的Jaccard相似性、使用Leiden聚类算法进行分组，并使用ngraph.forcelayout库进行布局，最终通过Maplibre呈现地图。用户可以通过该地图探索各种技术领域中的项目连接，发现特定主题或关键字相关的项目集合，并可视化GitHub生态系统的发展和演变。