RPO框架是由NVIDIA提出的一个统一数学框架，旨在整合多种偏好优化算法（如DPO、IPO等），通过实验分析模型对齐的关键因素，为提升大型语言模型（LLM）的对齐效果提供理论和实践指导。该框架特别关注如何利用奖励机制优化模型偏好，确保模型输出更符合人类期望，并已被整合到NVIDIA NeMo框架中。
