该项目提出了一种通过混合潜在Token(由VQ-VAE生成)和文本Token来优化语言模型推理过程的方法。传统链式思维(CoT)数据因冗长的文本Token导致计算资源消耗大,而该方法通过抽象初始推理步骤为潜在Token,显著缩短推理痕迹长度(平均减少17%),同时在数学和逻辑推理任务中性能优于基线模型(如Math、GSM8K等数据集)。支持从头训练模型或微调现有LLMs,适用于数学推理、迷宫问题求解等场景。