低资源语言研究

Babel是阿里巴巴开源的多语言大模型，支持25种主流语言，覆盖全球90%以上的人口。它提供了9B和83B两个版本，9B专为高效的多语言大模型推理和微调设计，适合研究和本地部署；而83B性能更好，但消耗的资源也更多。Babel的创新之一是采用了层扩展技术，通过在模型中插入额外的层来增加参数数量从而提升模型的性能。预训练方面，Babel采用了两阶段预训练策略：第一阶段是恢复阶段，目标是恢复模型在扩展过程中可能损失的性能；第二阶段是持续训练阶段，重点提升模型的多语言能力，尤其是低资源语言。Babel在多个主流基准测试中表现出色，尤其是在多语言推理、理解和翻译方面。