MoE范式改进

HoME是快手开发的一种创新多任务学习模型，旨在解决推荐系统中的Mixture of Experts（MoE）范式中的专家崩溃、退化和欠拟合问题。通过引入专家归一化和Swish机制、层次掩码机制以及特征门和自门机制，显著提高了模型的稳定性和效率。该模型已广泛应用于快手的短视频推荐服务，每天服务4亿活跃用户。