语言模型自我提升

该研究论文探讨了语言模型通过强化学习实现自我提升的四种关键认知行为：验证、回溯、子目标设定和向后链式推理。研究发现这些行为对模型在可验证任务上的自我提升至关重要。通过比较Qwen-2.5-3B和Llama-3.2-3B模型在Countdown游戏中的表现，发现Qwen自然表现出这些行为，而Llama需要示例引导才能提升。研究还表明，推理行为的出现比答案的正确性更重要，并通过数据过滤和继续预训练使Llama匹配Qwen的表现。