Transformer模型理论框架

该项目由EPFL和哈佛大学研究人员联合完成，聚焦深度注意力神经网络在高维渐近环境下的学习限制。 研究将此类网络映射到序列多索引模型，运用贝叶斯最优学习和近似消息传递算法，首次确定了实现优于随机预测所需的最小样本复杂性尖锐阈值。 特别揭示了"层序学习"现象，为Transformer模型的实际优化提供了理论依据。研究成果发表于2025年2月，对机器学习理论发展具有重要意义。