Gemma Encoder 是一种新的编码器架构，改编自基于解码器的 Gemma 语言模型，适用于分类、回归和排序任务。通过系统研究注意力机制、池化策略、dropout 和填充策略，Gemma Encoder 在 GLUE 和 MS MARCO 基准测试中表现出色。当前代码尚未公开，但用户可根据论文方法自行实现，预计未来将发布代码。
