低深度Transformer方法

这项工作从表达能力的角度，为仅解码器的 Transformer 提供了 CoT 的强大功能的理论理解，旨在提高大型语言模型在算术和符号推理任务上的表现，特别是那些固有串行的计算问题。

这是一个专注于大语言模型在数学推理方面应用的资源集合，旨在帮助用户更好地理解和利用这些模型解决各种数学问题。该项目汇集了多种与数学推理相关的大语言模型，提供丰富的示例和应用案例，同时包含使用不同数学工具和库的指南，支持多种数学问题的解决方案。

OpenAI兼容的API，用于TensorRT LLM triton backend，提供了与langchain集成的功能，支持高效推理和灵活后端配置。

Logic-of-Thought（LoT）旨在通过将逻辑注入上下文，提升大型语言模型的推理能力。该项目利用命题逻辑生成扩展的逻辑信息，并与现有的提示方法无缝集成，显著提升了多种提示方法在复杂任务中的性能。

openlogprobs是一个Python API，旨在通过语言模型API提取完整的下一token概率。它通过使用logit偏置来逆向工程标记的对数概率，支持topk搜索和精确解算法，从而有效提取语言模型API的完整概率向量。

该研究调查了小型Transformer如何使用下一个token预测目标有效地学习算术运算和基本函数，包括加法、乘法、平方根等。