SuperBPE 是一种创新的分词算法，扩展了传统的字节对编码（BPE），通过学习跨越空格的‘超词’分词，显著提高了语言模型的编码效率和性能。它通过两阶段预分词课程，首先学习子词，然后学习超词，从而在固定词汇量下减少最多 33% 的分词数量，并在 30 个下游任务中平均提升 4.0% 的表现，推理时间计算量减少 27%。
