大型语言模型推理优化

RSD是一种创新框架，通过结合轻量级草稿模型、强大目标模型和过程奖励模型，动态优化大型语言模型(LLMs)在推理任务中的计算成本与输出质量平衡。该框架在处理复杂推理任务时效率可达目标模型的4.4倍，准确率平均比并行解码方法高3.5%，特别适合资源受限环境。项目基于Qwen2.5-Math和Skywork-o1-PRM等开源模型构建，支持在线(需3个GPU)和离线(需1个GPU)两种运行模式。

IBPO（Inference Budget-Constrained Policy Optimization，推理预算约束策略优化）是一种新算法，旨在提高大型语言模型在数学问题上的推理效率。该算法通过将推理预算建模为带约束的效用最大化问题，使模型能够根据查询的难度自适应地分配推理预算，从而在保证甚至提升性能的同时降低推理成本。研究表明，IBPO在MATH500数据集上实现了显著改进，尤其是在2.16倍和4.32倍推理预算下，分别带来了4.14%和5.74%的绝对性能提升。

CISC（Confidence-Informed Self-Consistency）是一种针对大型语言模型（LLMs）的新型解码策略，通过整合模型为每个推理路径生成的置信度评分来增强自洽性，显著降低计算成本，同时保持甚至提升模型在推理任务上的性能。该方法通过加权多数投票选择最终答案，平均减少超过40%的推理路径数量，适用于数学和常识推理任务。

φ-Decoding 是一种专为大型语言模型（LLM）设计的推理优化算法，通过自适应前瞻采样实现探索与利用的平衡。它将解码定义为前瞻采样，模拟未来步骤以估计全局最优步骤，并结合步骤优势和对齐评估，构建步骤值估计函数。通过宽度内和深度内剪枝策略，φ-Decoding 实现了自适应计算分配，显著提高了推理效率。在多个基准测试中，φ-Decoding 在性能和效率方面均优于自回归 CoT、Tree-of-Thoughts 和 MCTS 等基线方法，并展示了在各种 LLM 上的泛化能力。

Flash Attention推理助手是一个专为大型语言模型（LLM）推理场景设计的工具，主要研究Flash Attention及其v2版本的C++接口性能。该工具通过优化和简化推理过程中的注意力机制，支持多种注意力推理模式，从而显著提高推理效率。它适用于需要高效处理大型语言模型推理任务的场景，帮助用户更好地理解和优化注意力机制的性能。