Atom of Thoughts (AoT) 是一种新的推理框架，通过将复杂问题分解为原子问题来增强大语言模型的推理能力。该框架显著提高了推理效率，支持多种推理场景，如数学问题、选择题和多跳问答，并在 HotpotQA 等基准测试中表现出色，使 GPT-4o-mini 等模型性能提升 3.4%。AoT 还通过将问题分解为有向无环图（DAG）并迭代压缩子问题，简化推理过程，降低计算成本，同时保持解决方案的质量。
TGI是由HuggingFace开发的开源框架，专注于高效的大语言模型（LLM）推理。它支持GPT、LLaMA、Falcon等模型，提供高吞吐量、低延迟以及优化的KV缓存管理，确保长文本推理的流畅性。
