损失函数

Harmonic Loss 是一种新型的损失函数，旨在替代传统交叉熵损失函数，用于训练神经网络和大型语言模型。它通过引入尺度不变性和有限收敛点等特性，提升模型的可解释性并加速收敛。研究表明，Harmonic Loss 在减少模型泛化延迟（'grokking'现象）和数据效率方面表现优异，并在算法、视觉和语言数据集上验证了其有效性。