无数据知识蒸馏

本项目提出了一种新型的无数据知识蒸馏（DFKD）方法，通过结合特征合成和空间一致性来提升合成数据的质量并增强学生模型的性能。该方法生成多样且信息丰富的特征来指导学生模型，并使用空间一致性损失来鼓励学生模型在合成数据上产生空间一致的预测。这种方法允许在没有原始训练数据的情况下有效地从教师模型向学生模型转移知识，解决了隐私或存储限制的问题。