离线优化方法

DPO（Direct Preference Optimization，直接偏好优化）是一种离线优化方法，直接利用偏好数据训练策略，无需显式奖励模型。该项目是基于论文《Direct Preference Optimization: Your Language Model is Secretly a Reward Model》的参考实现，支持因果 HuggingFace 模型和自定义数据集，提供了一种无需显式奖励模型的离线优化方法。特别适合语言模型对齐任务，研究表明其在控制生成情感、摘要质量和单轮对话响应上表现不亚于或优于现有方法。