代码生成优化

BitDistiller 是一个基于自我蒸馏的量化感知训练框架，旨在通过低比特量化提升大语言模型的推理效率，同时保持模型性能。它采用定制的非对称量化技术、Clipping 技术以及置信度感知的 Kullback-Leibler 散度（CAKLD）目标，显著优化了模型在低比特量化下的表现，尤其在3比特和2比特量化配置下超越了现有的后训练量化（PTQ）和量化感知训练（QAT）方法。此外，BitDistiller 在复杂代码生成任务中展现了显著优势，并支持资源受限设备上的高效部署，减少训练数据和资源需求。