该项目展示了Transformer模型如何通过上下文学习(ICL)执行全贝叶斯推断,特别是在合成数据上的训练中,模型能隐式学习后验分布,其采样质量可与传统方法如马尔可夫链蒙特卡洛(MCMC)和变分推断(VI)相媲美。这为深度学习在贝叶斯框架下的应用提供了创新方法。
该项目实现了流形马尔可夫链蒙特卡罗(MCMC)方法,用于在一大类扩散模型中进行贝叶斯推断。它旨在为复杂模型提供高效的采样技术,支持高维参数空间,并可与贝叶斯推断框架集成。
字节跳动提供 DeepSeek R1、OpenAI o1、GPT-4o、Claude 3.5 和 Gemini 1.5等领先大模型