RLSP（强化学习通过自对弈）是一个后训练框架，旨在通过强化学习指导大型语言模型（LLM）进行更有效的推理搜索，从而提升其在复杂问题解决中的表现，并涌现出类似人类的复杂推理行为。该框架通过解耦探索奖励和结果正确性奖励，利用强化学习帮助模型进行更有效的推理搜索，使模型在复杂问题解决中表现得更像人类。RLSP包括三个核心步骤：监督微调（SFT）、探索奖励和强化学习训练。在基准测试中，RLSP显著提升了模型在数学和竞赛问题上的表现。

真实性分离向量 (TSV) 是一种轻量且高效的方法，通过在推理时调整大型语言模型 (LLM) 的潜在空间，增强模型区分真实与幻觉生成内容的能力。它仅需少量标注数据即可实现高性能和泛化性强的幻觉检测，且不更改模型参数，适合实际应用中的信任度提升。TSV 通过两阶段框架训练，第一阶段使用少量标注数据形成紧凑且分离良好的簇，第二阶段通过最优传输算法和基于置信度的过滤扩展示例集。

Gemma Encoder 是一种新的编码器架构，改编自基于解码器的 Gemma 语言模型，适用于分类、回归和排序任务。通过系统研究注意力机制、池化策略、dropout 和填充策略，Gemma Encoder 在 GLUE 和 MS MARCO 基准测试中表现出色。当前代码尚未公开，但用户可根据论文方法自行实现，预计未来将发布代码。

Forgetting Transformer (FoX) 是一种改进的 Transformer 模型，通过在 Softmax 注意力机制中加入遗忘门，增强了处理长文本和序列任务的能力。它的设计目标是提升长文本建模、长度外推和短文本任务的性能，同时保持长上下文处理能力，并解决标准 Transformer 缺乏显式数据依赖遗忘机制的问题。FoX 通过数据依赖的方式下调未归一化的注意力分数，命名为“遗忘注意力”（Forgetting Attention）。研究表明，FoX 在长上下文语言建模、长度外推和短上下文下游任务上优于标准 Transformer，而在长上下文下游任务上表现相当。此外，FoX 兼容 Flash Attention 算法，且无需位置嵌入，保留了 Transformer 相对于循环序列模型（如 Mamba-2、HGRN2 和 DeltaNet）在长上下文能力上的优势。

Q-Filters 是一种无需训练的 KV 缓存压缩方法，适用于大型语言模型。它利用查询和键向量的几何特性，通过上下文无关的简单投影高效压缩 KV 缓存，无需额外训练。该方法与 FlashAttention 兼容，在长上下文任务中表现出色，实验显示在高压缩比下仍能保持良好性能，例如在针挑草堆任务中达到 99% 准确率（压缩比 32 倍），并在文本生成中比 Streaming-LLM 减少高达 65% 的生成困惑度下降。

RDP是一种针对接触丰富任务的慢快模仿学习算法，结合了慢速潜在扩散策略和快速非对称分词器，用于实现闭环触觉反馈控制。它通过分层控制策略显著提升了机器人在接触任务中的反应速度和操作性能，适用于多种触觉传感器，并在剥皮、擦拭和双手提起等任务中表现优于现有视觉模仿学习基线。

该项目探讨了强化学习（RL）在大型语言模型微调中的价值，特别关注基于人类反馈的强化学习（RLHF）为何通常优于离线偏好微调方法。论文提出了“生成-验证差距”假说，解释RLHF通过学习一个相对简单的奖励模型，并将策略搜索空间限制在对该奖励模型最优的策略子集，从而实现更好的性能。项目包括理论分析和实验验证，并提供了贝叶斯和频率学方法的替代方案。

该研究通过分析34个训练检查点和8种不同模型规模，深入探讨了大型语言模型（LLM）与人类语言网络脑区的对齐驱动因素及其语言学意义。研究发现，LLM的脑区对齐更多与形式语言能力（语法和句法知识）相关，而非功能语言能力（世界知识和推理）。脑区对齐在训练早期阶段（约40亿标记）趋于稳定，而功能语言能力在训练后期继续发展，但其与脑区对齐的相关性较弱。这一发现为理解LLM的语言能力发展提供了重要见解。

该研究提出了一种分析理论框架，用于理解扩散模型的学习动力学，揭示了学习过程中存在的幂律谱偏现象。通过分析线性去噪器，该框架解释了为何扩散模型在学习不同方差的数据特征时表现出速度差异，并为改进扩散模型的训练和数据预处理提供了理论指导。研究结果在高斯和图像数据集上得到验证，对理解和优化生成模型训练具有重要意义。

该项目利用统计物理方法深入分析深度图卷积网络（GCNs）在节点分类任务中的泛化性能，特别关注上下文随机块模型（CSBM）数据生成模型下的表现。研究探讨了网络深度、残差连接和正则化对GCNs性能的影响，发现增加网络深度对实现贝叶斯最优学习率至关重要，同时残差连接和缩放有助于缓解过平滑问题。这为设计更有效的深度学习模型提供了理论基础，特别是在处理图结构数据时。

START（Self-Taught Reasoner with Tools）是一种创新型大型语言模型，通过整合外部工具（如 Python 解释器）提升其推理能力。它采用“Hint-infer”和“Hint-RFT”技术，自学如何更有效地使用这些工具，从而在科学问答、数学问题解决和代码生成等任务中表现出色。特别是在博士级科学问答 GPQA 和竞赛级数学基准测试中表现优异，成绩达到或超过现有开源模型的最新水平。

PokéChamp 是一款专为宝可梦战斗设计的 Minimax 智能体，利用大型语言模型（LLM）增强其性能，无需特定训练。它在 Pokémon Showdown 平台上达到专家级人类玩家的水平，胜率高达 76% 对抗最佳现有 LLM 机器人。PokéChamp 集成了 LLM 到行动采样、对手建模和价值函数估计中，改善搜索效率并处理部分可观察性。它还编译了超过 300 万场比赛的数据集，包括超过 50 万高 Elo 比赛，供研究使用。

SPHERE 是一个自进化数据生成框架，旨在通过迭代生成、纠正和多样化推理链来提升小型语言模型（SLM）在数学推理方面的能力。该框架采用三阶段过程：自我生成、自我纠正和多样性诱导，并结合剪枝蒙特卡洛树搜索（MCTS）和直接偏好优化（DPO）技术，显著提高了 SLM 在多个数学推理基准测试中的表现，甚至在某些方面可与大型语言模型媲美。

HieroLM 是一个基于长短期记忆（LSTM）网络的语言模型，专门用于恢复埃及象形文字。该模型将恢复任务建模为下一词预测问题，利用上下文信息来提高准确性。它能够有效处理严重损坏或完全缺失的象形文字，克服了传统计算机视觉方法的主要局限性。实验显示，即使在数据量有限和上下文信息稀缺的情况下，HieroLM 仍能保持良好的性能，展示了其在考古学领域的应用潜力。

Selective Contextual Reasoning (SCR) 是一种用于大型语言模型（LLMs）知识更新的方法，无需修改模型参数。它通过上下文学习和外部知识的动态集成来更新模型的知识。SCR采用两步策略：首先进行语义过滤以检索相关知识，然后利用LLM确认知识的准确性和相关性。实验表明，SCR在特定数据集（如WikiData）上优于其他十种模型编辑方法，展示了其可扩展性和鲁棒性。

R1-Searcher 是一个两阶段强化学习框架，旨在提升大型语言模型（LLM）的搜索能力。该框架通过结果导向的奖励机制工作，无需依赖过程奖励或知识蒸馏。研究表明，它允许 LLM 在推理过程中自主调用外部搜索系统，整合外部知识来解决知识密集型查询。在某些基准测试中，R1-Searcher 的表现显著优于现有的检索增强生成（RAG）方法，甚至与闭源模型（如 GPT-4o-mini）相当或更优。

该项目研究了AI模型生成的误导性医疗内容，定义为‘医疗幻觉’，并引入了一种新的分类方法。研究使用了Med-HALT数据集和医生注释的真实病例，对最先进的语言模型（LLM）进行基准测试，揭示尽管采取了缓解措施，幻觉仍然存在。研究表明，链式思考（CoT）和搜索增强生成等技术可以降低幻觉率，但不能完全消除，尤其在需要事实回忆和时间推理的任务中。

该项目研究多代理大型语言模型（MoA）架构在面对欺骗性代理时的脆弱性，并提出了多种无监督防御机制（如“Dropout & Cluster”和“Cluster & Filter”）以恢复性能损失。研究通过基准测试（如AlpacaEval 2.0和QuALITY）评估了欺骗性代理对系统的影响，并分析了欺骗性代理类型、数量、聚合器模型强度等因素。项目旨在提高多代理LLM系统的鲁棒性和安全性，适用于需要高可靠性的应用场景。

Inductive Moment Matching (IMM) 是一种新型生成模型，能够在单阶段从零开始训练，实现高效且稳定的样本生成。它利用随机插值器和时间相关的边缘分布，学习一个单步采样器，将分布从时间 t 转换到 s < t。通过最小化不同起始时间导出的时间 s 分布之间的最大平均差异 (MMD)，IMM 保证分布级别的收敛性。在图像生成任务上，IMM 取得了最先进的性能，例如在 ImageNet-256x256 上仅需 8 步推理，FID 达到 1.99。

PLAN-AND-ACT 是一个旨在提升大型语言模型（LLM）代理在长期任务中规划能力的框架。它通过分离高层次规划和低层次执行，结合动态重新规划和合成数据生成方法，显著增强了代理在复杂任务中的性能和鲁棒性。该框架包括 PLANNER 和 EXECUTOR 两个核心组件，分别负责生成结构化计划并将其转化为环境特定的动作。

BD3-LM（Block Diffusion Language Model）是一种创新的语言模型，旨在通过结合自回归模型和离散扩散模型的优点，显著提升语言建模任务的性能。它通过在token块上执行自回归，并在每个块内进行离散扩散，实现了灵活且高效的建模方式。该模型特别适用于生成任意长度的序列，展现了其在自然语言处理领域的潜力。

SAGE-KV（Self-Attention Guided KV Cache Eviction）是一种用于大语言模型（LLMs）高效推理的方法，特别适用于处理长上下文。它通过自注意力机制指导键值（KV）缓存淘汰，显著提高了内存效率和推理速度，同时保持与完整注意力模型相当的准确性。该方法特别适用于上下文窗口从128K到1M token的LLMs，解决了内存和延迟的瓶颈问题。

MoC是一个用于检索增强生成（RAG）系统的文本分块框架，通过动态选择分块器、正则表达式引导的分块和编辑距离恢复算法，提升RAG系统的性能和效率。它还引入了新的评估指标：边界清晰度和分块粘性，以量化文本分块质量。MoC的实现依托于Meta-Chunking项目，并提供了lmchunker Python包，便于用户安装和使用。

这篇论文由明月程等人于2025年发表，隶属于中国科学技术大学认知智能国家重点实验室。论文全面概述了知识导向的检索增强生成（RAG）技术，涵盖其基本组件、挑战和应用。RAG通过结合大规模检索系统与生成模型，增强自然语言理解和生成，利用外部知识来源如文档、数据库或结构化数据来提升模型表现并生成更准确、上下文相关的输出。论文还探讨了RAG的关键特性，如通过动态外部知识增强生成模型的能力，以及在检索信息与生成目标对齐方面的挑战。此外，论文还呈现了一个从基本检索增强方法到包含多模态数据和推理能力的高级模型的方法分类。

funsearch 是一个基于大型语言模型（LLM）的高性能程序搜索工具，旨在发现数学算法和解决优化问题。它通过遗传算法的方式工作，LLM 被用于 Python 程序的变异和繁育，特别适合处理数学中的逆问题。funsearch 支持搜索任何类型签名，并集成了 Weights & Biases 进行实时监控。它还通过 OpenRouter 支持多个 LLM，并提供并行处理以提高效率，同时包括代码执行的安全特性。

Residual Policy Gradient (RPG) 是一种用于强化学习和模仿学习的算法，扩展了 residual Q-learning 到 policy gradient 方法。它通过 KL 正则化在奖励层面平衡固有策略属性和任务特定需求，从而提升策略定制能力。RPG 特别适用于连续控制任务，如 MuJoCo 实验所示。

该项目提出了一种基于主成分分析（PCA）的文本数据有序语义多样化采样方法，旨在选择信息量最大且规模小的代表性子集，特别适用于大型语言模型（LLM）的应用场景。研究引入了“聚合浪费机会”新度量标准，以评估有序样本列表的多样性。该方法在多样性和时间效率上优于现有基准，改进幅度为6%至61%。

该论文发表于2025年3月25日，引入了q-Sparse Token Regression (qSTR)数据生成模型，研究了Transformers、前馈神经网络和循环神经网络在处理动态稀疏数据时的性能差异。研究发现，Transformers在处理qSTR模型时，样本复杂度几乎与输入序列长度无关，显示出显著的统计优势。

Centaur 是一种通过测试时训练（TTT）实现鲁棒端到端自动驾驶的新方法。它利用 Cluster Entropy 这一不确定性度量，通过最小化规划不确定性来增强规划器的鲁棒性。该方法在 navtest 基准测试中取得了最先进的性能，并引入了 navsafe 基准，专注于安全关键的驾驶场景，如紧急避障或复杂交通状况。

POEL 是一种专注于自主机器人的开放式学习方法，通过结合‘目的’概念来提升学习效率。它通过语音转文本接收用户目的，使用 YOLO v9 进行场景分析，并利用 LLaVA-v1.5-7B-q4 LLM 推理与目的相关的对象。POEL 通过关注与目的相关的对象的空间邻近性以及自生成奖励来偏置 OEL 探索。在模拟环境中，研究表明 POEL 在与定义目的相关的任务中显著优于现有方法如 LEXA 和 ALAN*，展示了增强的性能和学习复杂任务的能力。