预训练的终结与深度学习的演进
在2024年Neurips大会上，Ilya Sutskever发表了一场引人深思的演讲，探讨了深度学习的演进与预训练的终结。他指出，随着计算力与数据的不平衡发展，预训练模式将逐渐走向终结。这一观点与OpenAI前首席科学家Ilya Sutskever在2024年年底的NeurIPS大会上的言论不谋而合，他认为规模法则已触顶，大模型预训练时代将结束。
智能代理与合成数据的未来
Ilya提出了智能代理、合成数据和推理时计算优化等未来发展方向。智能代理（Agent）的概念在2023年就已经出现，但一直没有真正被大家感受到的产品形态。Manus AI的创始人肖弘也提到，Agent应该能感知环境，自主执行任务。你给它一句话很抽象，它能把这个任务搞定。
推理优化与生物学启发
Ilya还分享了生物学启发的思路，探讨了超级智能的必然性、特征及其不可预测性。他认为，推理优化是未来大模型发展的关键。OpenAI认为，无监督学习（unsupervised learning）和推理（reasoning），代表智能的两个轴。无监督学习，用更多数据、更多算力等提高世界模型（world model）的准确性和直觉，GPT‑3.5、GPT‑4、GPT‑4.5 推动该范式的发展。
DeepSeek的影响与未来展望
DeepSeek的问世标志着人工智能训练模式从‘大力出奇迹’的外延式发展阶段，转向集约化系统优化的内涵式发展阶段。DeepSeek R1在算法层面采用的混合专家模型架构（MoE）和改进的多头潜在注意力机制（MLA），将显存占用降到了主流大模型的10%左右，采用群组策略优化（GRPO）又进一步降低了数据标注成本，甚至强化学习也因此翻红。
结论
Ilya的演讲为我们揭示了深度学习与预训练的未来发展方向。随着智能代理、合成数据和推理优化的不断进步，我们有理由相信，人工智能将在未来发挥更加重要的作用。DeepSeek的出现不仅改变了国内大模型市场的格局，也为全球AI产业的发展提供了新的思路和方向。
| 关键点 | 详细内容 |
|---|---|
| 预训练的终结 | 计算力与数据的不平衡发展导致预训练模式终结 |
| 智能代理 | Agent能感知环境，自主执行任务 |
| 推理优化 | 无监督学习和推理代表智能的两个轴 |
| DeepSeek的影响 | 转向集约化系统优化的内涵式发展阶段 |
通过Ilya的演讲，我们不仅看到了深度学习的未来，也看到了人工智能在智能代理、合成数据和推理优化等方面的巨大潜力。DeepSeek的出现更是为这一领域注入了新的活力，开启了人工智能发展的新篇章。
相关文章
