TAID

TAID（Temporally Adaptive Interpolated Distillation，时间适应插值蒸馏）是一种新型知识蒸馏方法，专为从大型语言模型（LLM）高效转移知识到小型语言模型（SLM）而设计。它通过时间依赖的中间分布动态地在学生和教师分布之间进行插值，解决了由于教师模型和学生模型之间能力差距过大、模式平均和模式崩溃等问题导致的知识转移效率低下问题。研究表明，TAID通过渐进式和自适应的知识转移过程，提升了蒸馏的性能和稳定性，并在指令调整和预训练场景中表现出色。