xet-core是HuggingFace开源的存储框架,主要用于检测上传和下载的模型中重复的部分,从而避免重复存储和下载。该框架能够显著节省存储空间,并提升模型的上传和下载速度,特别适用于大规模模型的分发和共享。