图算法设计

Branches是一个基于图的高级算法原型工具，专为大型语言模型(LLM)的推理和规划设计，旨在提升模型的推理能力和优化决策过程。

Tree of Thoughts (ToT) 是一个强大而灵活的算法，能将模型推理能力提升多达70%。该插件式版本允许用户连接自己的模型，体验超智能的推理能力。

用LLM进行复杂推理的框架，采用先进的推理算法，将多步推理视为规划，并搜索最优的推理链，以实现'世界模型'和'奖励'的最佳平衡。

LLMClient是一个用于构建检索增强生成（RAG）、推理、函数调用代理、LLM智能体、追踪和日志记录的简单库，旨在帮助开发者更加高效地利用大型语言模型。

openlogprobs是一个Python API，旨在通过语言模型API提取完整的下一token概率。它通过使用logit偏置来逆向工程标记的对数概率，支持topk搜索和精确解算法，从而有效提取语言模型API的完整概率向量。

高效LLM推理工具：在Slurm集群上使用vLLM进行高效大型语言模型（LLM）推理，简化了推理服务器的运行和管理，支持自定义配置以适应不同环境

AirLLM 可以让你的 70B 大型语言模型在单个 4GB GPU 卡上运行推理，或者让 405B Llama3.1 在 8G 的 GPU 卡上运行。

一个用C++/CUDA实现的大型语言模型（LLM）推理工具，不依赖额外的库，除了用于输入输出。该工具旨在提供高效的推理能力，支持加载和保存冻结的LLM权重，适合各种应用场景。

Navan.ai是一个无代码平台，允许开发者和企业在几分钟内构建和部署计算机视觉AI模型，节省高达85%的开发时间和成本。用户可以通过nStudio快速构建模型，通过nCloud将模型部署到云端，并获得推理API。此外，用户还可以选择使用预训练的视觉AI模型，如人脸检测等。

一种高效加速大语言模型推理的技术，通过减少内存访问，几乎不损失性能，让模型运行更快更省资源

LLM-Engines是一个统一的大规模语言模型推理引擎，支持多种开源模型（如VLLM、SGLang、Together）和商业模型（如OpenAI、Mistral、Claude），通过不同引擎验证推理的准确性，旨在提供高效和灵活的语言处理解决方案。

Debate Tool 是一个强大的工具，允许不同的语言模型（LLM）根据给定的论点进行辩论。用户可以对每一轮辩论进行评分，并最终选择辩论的胜者。该工具支持多种语言，使其适用于广泛的用户群体。

ULLME是一个统一的框架，旨在通过生成增强学习优化大型语言模型的嵌入，支持双向注意力机制以及多种微调策略，帮助提升模型的性能和效果。

斯坦福大学的研究者提出了一种名为Backpack的模型，以解决语言大模型中存在的偏见问题。该模型通过调整（sense vector）来干预模型的输出，使模型的行为更容易预测和控制，同时保持丰富的表现力。

一个通过模拟面试过程来评估大型语言模型（LLMs）能力的框架，让一个LLM扮演面试官的角色，通过提供反馈和追问问题来全面评估其他LLMs的能力。

AgentBench是一个多维演进基准，评估语言模型作为Agent的能力，包含8个不同环境，专注于LLM在多轮开放式生成场景中的推理和决策能力。