GLUE基准测试

Gemma Encoder 是一种新的编码器架构，改编自基于解码器的 Gemma 语言模型，适用于分类、回归和排序任务。通过系统研究注意力机制、池化策略、dropout 和填充策略，Gemma Encoder 在 GLUE 和 MS MARCO 基准测试中表现出色。当前代码尚未公开，但用户可根据论文方法自行实现，预计未来将发布代码。

COMPACTER是一种用于大语言模型微调的技术，通过引入适配器、低秩优化和参数化超复数乘法层，在任务性能和可训练参数数量之间取得更好的平衡。它通过低秩超复数适配器减少内存占用，并在GLUE和SuperGLUE基准测试上达到了与标准微调相当或更好的性能。COMPACTER在机器翻译、文本摘要等领域能有效增强模型的泛化能力。技术原理包括在预训练模型中插入特定于任务的权重矩阵，通过共享的“慢”权重和每个COMPACTER层定义的“快”秩一矩阵之间的Kronecker积降低参数复杂度，利用超复数乘法层（PHM）和低秩参数化来减少模型参数，同时保持或提高模型性能。