在NeurIPS 2024大会上，OpenAI前首席科学家Ilya Sutskever宣布了一个重磅消息：“预训练时代”即将终结。他指出，数据增长已达到极限，AI未来的突破方向将是智能体、合成数据和推理时计算。这一观点引发了业界的广泛讨论，也标志着AI技术发展进入了一个新的阶段。
推理时计算：从数据驱动到智能驱动
推理时计算（Reasoning at Runtime）是指在模型推理过程中，通过动态生成思维链（Chain of Thought, CoT）来增强模型的智能表现。与传统预训练模型不同，推理时计算强调模型在回答问题时能够“先思考”，从而解决更复杂的逻辑和数学问题。
推理时计算的核心优势
- 动态生成思维链：模型在推理过程中能够自主生成内部过程数据，无需人工标注。
- 实时反馈机制：通过代码执行引擎（如Jupyter内核）验证推理步骤，形成强化信号。
- 高效解决复杂任务：在数学、编程等领域，推理时计算显著提升了模型的准确率。
例如，DeepSeek的R1模型通过推理时计算，在LiveBench数学难题测试中准确率提升了37%。这一成果证明了推理时计算在提升模型智能方面的巨大潜力。
推理时计算的技术实现
推理时计算的实现依赖于多种技术手段，包括强化学习、自验证学习闭环以及定制化芯片的支持。
强化学习的突破
DeepSeek的R1模型通过纯强化学习，证明了模型无需过程监督，仅通过结果反馈即可学习“慢思考”能力。这一发现打破了传统推理模型对人工标注数据的依赖，为推理时计算的普及铺平了道路。
自验证学习闭环
在数学与编程领域，推理时计算通过构建“自验证学习闭环”，每个推理步骤都会触发代码执行引擎进行结果验证。这种“执行即训练”的机制，使得模型在复杂任务中的表现更加稳定和高效。
定制化芯片的支持
随着推理时计算需求的增长，定制化芯片（ASIC）成为关键技术。例如，亚马逊的Trainium 2芯片在推理任务中的性价比比英伟达H100 GPU高出30%～40%。未来，ASIC芯片的大规模应用将进一步降低推理时计算的成本。
推理时计算的应用前景
推理时计算不仅在技术上取得了突破，其应用场景也日益广泛。从自然语言处理到视频生成，推理时计算正在推动AI从数据驱动向智能驱动的转变。
自然语言处理
DeepSeek的R1模型通过推理时计算，不仅在数学和编程领域表现出色，还在语言生成和风格模仿方面取得了显著进展。例如，R1能够模仿鲁迅的写作风格，生成高质量的古典诗词。
视频生成
潞晨科技自研的视频大模型Open-Sora，通过推理时计算优化了算力使用，显著提升了视频生成效率。未来，推理时计算将在多模态模型中发挥更大作用。
智能体与超级智能
推理时计算为智能体的发展提供了技术基础。通过动态生成思维链，智能体能够更好地理解和执行复杂任务。Ilya Sutskever预测，未来的超级智能将拥有推理能力和自我意识，但也将更不可预测，具备颠覆性的能力与风险。
推理时计算的挑战与未来
尽管推理时计算展现了巨大潜力，但其发展仍面临诸多挑战。例如，如何平衡计算成本与模型性能，如何确保推理过程的稳定性和安全性等。
计算成本的优化
推理时计算对算力的需求极高，尤其是在大规模部署时。定制化芯片和算力优化技术将成为降低成本的关键。
稳定性与安全性
推理时计算需要在复杂任务中保持稳定，同时避免模型“走偏”。例如，在编程任务中，模型需要确保生成的代码符合逻辑，而非突然转向生成诗歌。
未来展望
随着技术的不断进步，推理时计算有望成为AI领域的核心驱动力。从智能体到超级智能，推理时计算将推动AI从数据驱动向智能驱动的转变，开启AI技术的新篇章。
结语
推理时计算代表了AI技术的未来方向。通过动态生成思维链和实时反馈机制，推理时计算不仅提升了模型的智能表现，也为智能体和超级智能的发展提供了技术基础。尽管挑战犹存，但推理时计算的潜力不可忽视，它将继续推动AI技术迈向新的高度。
相关文章
