机器学习损失函数

该项目是Kullback-Leibler（KL）散度的扩展版本，通过数学证明将其解耦为加权均方误差损失和带软标签的交叉熵损失。 主要解决了传统KL损失在知识蒸馏中的不对称优化问题，引入类别全局信息减少样本偏差，显著提升了模型训练的稳定性和对抗鲁棒性。 在RobustBench排行榜上达到最先进水平，并在CIFAR-10/100、ImageNet等数据集的知识蒸馏任务中表现优异。