编码器模型

ModernBert是由Hugging Face、NVIDIA和Johns Hopkins University联合开发的新型编码器模型，旨在取代原始BERT模型。它显著提升了效率，支持长达8192个token的上下文处理，并提供基础版（149百万参数）和大型版（395百万参数）两个版本。ModernBert在分类、检索和问答任务中表现出色，特别适合处理复杂任务。