φ-Decoding开源 – 优化大型语言模型推理的算法
φ-Decoding 是一种专为大型语言模型(LLM)设计的推理优化算法,通过自适应前瞻采样实现探索与利用的平衡。它将解码定义为前瞻采样,模拟未来步骤以估计全局最优步骤,并结合步骤优势和对齐评估,构建步骤值估计函数。通过宽度内和深度内剪枝策略,φ-Decoding 实现了自适应计算分配,显著提高了推理效率。在多个基准测试中,φ-Decoding 在性能和效率方面均优于自回归 CoT、Tree-of-Thoughts 和 MCTS 等基线方法,并展示了在各种 LLM 上的泛化能力。