知识蒸馏优化

该项目是Kullback-Leibler（KL）散度的扩展版本，通过数学证明将其解耦为加权均方误差损失和带软标签的交叉熵损失。 主要解决了传统KL损失在知识蒸馏中的不对称优化问题，引入类别全局信息减少样本偏差，显著提升了模型训练的稳定性和对抗鲁棒性。 在RobustBench排行榜上达到最先进水平，并在CIFAR-10/100、ImageNet等数据集的知识蒸馏任务中表现优异。

该项目研究利用扩散模型发现复杂数据集中的因果关系，通过拓扑排序改进推理，支持基于因果洞察的决策过程。