足够多的硬币投掷可以使大型语言模型表现出贝叶斯行为论文 – LLM通过上下文学习进行贝叶斯推理

该项目研究大型语言模型（LLMs）是否能够通过上下文学习（ICL）进行与贝叶斯统计一致的结构化推理。通过偏置硬币翻转的对照实验，研究发现当提供足够的上下文示例时，LLMs可以表现出与贝叶斯后验更新高度一致的行为。这表明LLMs能够以符合统计原则的方式适应和学习，从而提升其在复杂推理任务中的应用。

足够多的硬币投掷可以使大型语言模型表现出贝叶斯行为的特点:

1. 研究LLMs是否能够通过ICL进行贝叶斯推理
2. 使用偏置硬币翻转的对照实验测试这一能力
3. 发现LLMs在零样本设置中存在偏置先验
4. 上下文证据可以覆盖明确的偏置指令
5. LLMs遵循贝叶斯后验更新，偏差主要来自先验校准错误
6. 注意力大小对贝叶斯推理的影响可忽略

足够多的硬币投掷可以使大型语言模型表现出贝叶斯行为的功能:

1. 改进LLMs的提示设计以符合期望的推理行为
2. 应用于决策系统或预测建模中的复杂推理任务
3. 用于人工智能研究中的概率建模
4. 在机器人学和人类行为建模中作为“世界模型”

相关导航

DocETL开源项目 – 文档处理管道系统

用于构建复杂 LLM(大型语言模型)驱动的文档处理管道系统，通过简单的YAML配置即可实现复杂的数据处理流程，特别适合处理大量文档或非结构化数据集

The Impact of Large Language Models on Scientific Discovery: a Preliminary Study using GPT-4-探讨GPT-4对科学发现的影响

一项研究探讨大型语言模型（LLM）在科学发现中的表现，特别是GPT-4在多个科学领域的应用。该研究分析了GPT-4在药物发现、生物学和计算化学等领域的能力，评估其在复杂问题解决和知识整合任务中的有效性，同时进行专家驱动的案例评估和基准测试，旨在加速科学进步和优化资源配置。

Past Life AI官网 – 探索你的前世

Past Life AI 是一款通过回答测验和上传个人照片，帮助用户发现其前世生活的人工智能应用。利用图像生成和大型语言模型技术，用户将能够看到自己在前世的样子及生活方式。

LLM-Datasets开源项目 – 帮助模型提升准确性与多样性

大型语言模型微调用高质量数据集大列表，帮助提升模型的准确性和多样性，使其更好地理解和执行指令。该项目提供了丰富的高质量数据集，支持不同语言模型的微调需求，适合研究人员和开发者使用。

Leveraging Large Language Models for NLG Evaluation: A Survey-利用大型语言模型进行NLG评估的综述

本综述旨在提供关于利用大型语言模型进行NLG评估的全面概述，提出了一个系统的分析框架，以理解和比较这些方法。通过讨论未解决的挑战，包括偏见、鲁棒性、领域特异性和统一评估，本综述旨在为研究人员提供洞见，并倡导更公平和先进的NLG评估技术。

LMOps开源项目 – 增强大型语言模型性能的框架

LMOps是一个新的框架，用于训练并识别高质量的上下文示例，从而提升大型语言模型的性能。它通过评估候选例子的质量，促进上下文学习，能够有效处理未见过的任务，并对不同大小的LLM模型均有一致的性能提升。

LLM Training Puzzles开源项目 – 多GPU训练的挑战性难题

8个关于在多GPU上训练大型语言模型(或任意神经网络)的挑战性难题，旨在让读者亲身体验关键基本原理，并理解内存效率和计算流水线的目标。

Secondbrain开源项目 – 本地AI对话，保护隐私

Secondbrain是一款跨平台桌面应用程序，用户可以在本机下载和运行大型语言模型(LLM)，实现本地AI对话，无需联网，充分保护用户隐私，让用户可以自由表达思想。

Dynamiq开源项目 – AI智能协同框架，简化应用开发

Dynamiq是一个专为Agentic AI和大型语言模型应用设计的AI智能协同框架，旨在简化AI应用的开发过程，擅长协调检索增强型生成与大型语言模型代理，同时支持多种AI技术的集成，提供高效的任务调度和资源管理。

llguidance开源项目 – 约束解码大型语言模型输出

实现了对大型语言模型输出的约束解码，支持多种格式的语法规则，并且具有高效的性能。该项目旨在提高语言模型的输出质量，确保生成文本符合特定的语法和结构要求，适用于多种自然语言处理任务。

ReSearch开源项目 – 强化学习让LLM学会搜索推理

ReSearch 是一个开源项目，通过强化学习将搜索操作整合到大型语言模型（LLMs）的推理过程中，使其能够通过搜索工具更有效地回答问题。该项目通过强化学习训练LLM，使其在无监督数据的情况下学会何时以及如何调用搜索工具。基于Qwen2.5-7B模型，从零开始训练，展现了强大的泛化能力，并在HotpotQA等数据集上验证，性能显著提升。

gigaGPT开源项目 – 简化大型语言模型训练

gigaGPT是一个用于训练具有数百亿参数的大型语言模型的代码库，仅有500多行代码。它受到Andrej Karpathy的nanoGPT启发，但专为Cerebras硬件优化，能够扩展到GPT-3规模的模型。gigaGPT旨在提供一个干净、高效和可用的代码库，而不是追求训练最先进的模型。

DeepSeek-V3-0324模型 – 高效推理的大型语言模型

DeepSeek-V3-0324 是由DeepSeek AI开发的大型语言模型，采用Mixture-of-Experts (MoE)架构，总参数约为6850亿。该模型利用Multi-head Latent Attention (MLA)和DeepSeekMoE架构，创新性地引入了无辅助损失的负载均衡策略，并设置多令牌预测训练目标以提升性能。在14.8万亿多样化高品质令牌上预训练后，通过监督微调和强化学习进一步优化，DeepSeek-V3-0324 在推理、代码生成和其他语言任务中表现出色。