多轮对话优化

dpo-prefix-sharing 是一种用于加速直接偏好优化（DPO）的技术，通过前缀共享显著提升训练速度，同时保持模型精度。该项目特别适用于多轮对话和总结任务，能够在不牺牲精度的情况下，最高实现1.41倍的加速效果。它支持多种模型，具有强大的适配性和扩展性，能够广泛应用于不同的场景。