该项目研究大型语言模型（LLMs）是否能够通过上下文学习（ICL）进行与贝叶斯统计一致的结构化推理。通过偏置硬币翻转的对照实验，研究发现当提供足够的上下文示例时，LLMs可以表现出与贝叶斯后验更新高度一致的行为。这表明LLMs能够以符合统计原则的方式适应和学习，从而提升其在复杂推理任务中的应用。
该项目提出了一种新方法，通过神经网络同时学习能量模型和其对数分配函数。利用最小-最小优化公式和双重随机梯度下降，它消除了对马尔可夫链蒙特卡洛（MCMC）方法的依赖，并能学习一个通用的对数分配函数。这解决了在具有巨大组合空间的离散空间中训练概率能量模型（EBMs）的难题。
