在NeurIPS 2024上，OpenAI前首席科学家Ilya Sutskever宣布了一个划时代的观点：“预训练时代”即将终结。这一声明标志着AI领域的一次重大转折，数据增长已达到极限，未来的突破方向将集中在智能体、合成数据和推理时计算。自回归模型作为这一变革的核心技术，将在未来扮演至关重要的角色。

预训练时代的终结

预训练模型通过海量数据学习基本模式，为AI奠定了坚实的基础。然而，随着数据资源的枯竭，单纯依赖数据扩展的路径已难以为继。Sutskever指出，GPT-5的延迟发布正是这一趋势的体现——尽管投入了巨大的计算资源，性能提升却有限。

这一背景下，行业开始探索新的增长曲线，推理时计算成为焦点。推理时计算强调模型在回答问题时进行“慢思考”，通过生成思维链（Chain of Thought, CoT）解决复杂任务。这一范式不仅提升了模型的逻辑推理能力，还为AI的未来发展提供了新的方向。

自回归模型在推理时计算中的角色

自回归模型（如GPT系列）在推理时计算中展现了强大的潜力。通过强化学习，模型能够在没有过程监督的情况下，自主生成思维链，从而提升复杂任务的解决能力。DeepSeek的R1模型便是这一领域的突破性成果，其通过纯强化学习证明了模型可以自主学习“慢思考”过程。

R1模型的成功不仅在于其技术突破，更在于其透明性。DeepSeek开源了模型和详细的技术论文，为行业提供了一个可行的路径，推动了推理模型的民主化。这一成果表明，自回归模型在推理时计算中的应用，将为AI带来更高效、更智能的解决方案。

智能体与合成数据的崛起

随着预训练时代的终结，智能体和合成数据成为AI发展的新动力。智能体通过与环境互动，不断学习和优化，展现了更高的自主性和适应性。自回归模型在智能体中的应用，将进一步提升其决策能力和任务完成效率。

合成数据则为模型训练提供了新的资源。通过AI生成数据，行业可以突破数据资源的限制，推动模型性能的提升。例如，DeepSeek在训练R1模型时，利用“专家模型”生成数学和编程领域的问题，为模型提供了高质量的合成数据。

超级智能的前景与挑战

Sutskever展望了超级智能的前景，认为未来的超级智能将拥有推理能力和自我意识，但也将更不可预测，具备颠覆性的能力与风险。自回归模型在这一进程中，将扮演关键角色。

然而，超级智能的发展也伴随着巨大的挑战。如何确保其安全性和可控性，将成为行业亟待解决的问题。OpenAI提出的“前沿模型论坛”正是为了应对这一挑战，通过国际合作确保AI的安全、负责任开发。

结语

自回归模型在AI领域的变革中，展现了强大的潜力和广阔的应用前景。从预训练到推理时计算，从智能体到超级智能，这一技术将推动AI迈向新的高度。然而，未来的发展也充满挑战，行业需要在创新与安全之间找到平衡，确保AI技术的可持续发展和广泛应用。

在这一过程中，自回归模型将继续引领AI的未来，为人类带来更智能、更高效的解决方案。