BERT模型

ModernBERT 是一个开源项目，旨在通过架构变更和扩展将 BERT 带入现代化。它引入了 FlexBERT，一种模块化编码器构建方法，并依赖于 YAML 配置文件来构建模型。ModernBERT 扩展了 MosaicBERT 的功能，包括 Flash Attention 2，并在各种 NLP 任务中显示出比传统 BERT 模型更高的准确性和效率。该项目提供了用于预训练和评估的代码，并支持与 PyLate 和 Sentence Transformers 集成的检索模型训练和评估。