减少LLM推理延迟

Chain-of-Draft (CoD) 是一种针对大型语言模型（LLM）推理延迟问题的创新策略。它通过生成简洁且信息密集的推理步骤，大幅减少了冗长的中间推理过程，同时保持了强大的性能。这一策略在数学、常识等基准测试中表现出色，能够减少80%的响应Token数量，并且保持核心逻辑的可见性，便于调试。