低秩优化

COMPACTER是一种用于大语言模型微调的技术，通过引入适配器、低秩优化和参数化超复数乘法层，在任务性能和可训练参数数量之间取得更好的平衡。它通过低秩超复数适配器减少内存占用，并在GLUE和SuperGLUE基准测试上达到了与标准微调相当或更好的性能。COMPACTER在机器翻译、文本摘要等领域能有效增强模型的泛化能力。技术原理包括在预训练模型中插入特定于任务的权重矩阵，通过共享的“慢”权重和每个COMPACTER层定义的“快”秩一矩阵之间的Kronecker积降低参数复杂度，利用超复数乘法层（PHM）和低秩参数化来减少模型参数，同时保持或提高模型性能。