Diverse Preference Optimization (DivPO)论文 – 提升LLM生成内容多样性的优化方法
Diverse Preference Optimization (DivPO) 是一种在线优化方法,旨在解决大型语言模型(LLM)在后训练阶段普遍存在的多样性坍缩问题。通过在偏好优化过程中引入多样性考量,DivPO 能够生成更多样化的回复,同时保持生成内容的质量。该项目由 Jack Lanchantin, Angelica Chen, Shehzaad Dhuliawala, Ping Yu, Jason Weston, Sainbayar Sukhbaatar, Ilia Kulikov 在 2025 年发表,特别适用于需要多样性的创意生成任务,如故事生成和人物属性生成。