AirRAG是一种由阿里提出的检索增强生成(RAG)方法,旨在通过树状搜索激活大型语言模型(LLM)的内在推理能力。它特别针对复杂、知识密集型任务设计,通过五种基本推理动作(系统分析、直接回答、检索回答、查询转换、总结回答)并结合蒙特卡洛树搜索(MCTS)和自一致性验证,扩展解空间,处理复杂任务中的推理路径受限问题。该方法在处理知识密集型查询时表现出更高的灵活性和效率。
一个专注于编程任务的O1模型复现项目,结合强化学习(RL)和蒙特卡洛树搜索(MCTS)来增强模型的系统思维能力,包含测试用例生成器(TCG)和自弈强化学习两大核心组件,旨在生成更高效和逻辑性强的代码
一个用于增强LLM推理能力的Python库,提供可组合的推理算法框架。支持自定义评分函数的采样和重排序模式,内置蒙特卡洛树搜索等高级算法,通过vLLM保持高性能,特别适合研究人员快速实验和迭代新想法。
LLaMA-O1 是一个大型推理模型框架,专为 PyTorch 和 HuggingFace 设计,支持训练、推理和评估。它集成了蒙特卡洛树搜索(MCTS)、自我对弈强化学习、PPO 和类似 AlphaGo Zero 的双策略范式,适用于大型语言模型的开发和应用。
一个强大的AI智能体框架,基于树搜索算法提升AI代理的决策能力。支持多种搜索算法如蒙特卡洛树搜索(MCTS)、A*和贪心最佳优先搜索,可帮助AI代理探索和评估不同的工具使用路径,避免错误并做出更好的决策。仅需两行代码即可为代理添加搜索功能
微软推出的数学推理项目,旨在展示小型语言模型(SLM)在数学推理方面可以通过自我演化的深度思考(Deep Thinking)过程达到与大型模型相当甚至更好的性能。
Marco-o1是一个开源的大型推理模型,专注于解决现实世界的开放性问题。它基于Qwen2-7B-Instruct模型,集成了Chain-of-Thought微调、蒙特卡洛树搜索(MCTS)和反思机制。在MGSM数据集上表现优异,英文准确率提升6.17%,中文提升5.60%。
用蒙特卡洛树搜索与大型语言模型结合解决数学问题的演示项目,就像给AI装上了解题的“指南针”,让它能更高效地找到解题路径
本项目探讨了数学在人工智能中的关键作用,强调数学工具如何帮助我们更好地理解和提升AI系统,同时指出AI如何推动新数学的发展。本文聚焦于神经网络架构的建模和优化,鼓励更多数学家投身这一领域。
Multiverse Computing是一家在AI和量子计算领域的领先创新者,致力于通过其先进平台Singularity解决复杂的计算问题和优化挑战,服务于金融、能源、制造等多个行业,旨在通过量子启发算法革新AI应用和过程优化。
mcts-llm是一个集成了蒙特卡洛树搜索(MCTS)和提示工程技术的轻量级项目,旨在提高大型语言模型(LLMs)的性能。该项目通过结合MCTS算法与大型语言模型,优化提示工程,来提升模型的响应质量。其轻量级的设计使得该项目易于集成和使用,并且支持多种语言模型,适用于各种自然语言处理任务。
Math-Verify是一个强大的数学表达式评估系统,专为评估大型语言模型在数学任务中的输出而设计。它能更准确地评估模型的表现,避免因格式或解析问题导致的误判。
基于Flow-Matching的生成模型实现库,提供了多种流匹配生成模型的参考实现,包括RectFlow、LADD、Shortcut等模型,支持文本生成图像、图像反演等功能,并提供了多种求解器和优化方法。