在AI技术的快速发展中，大规模模型训练和推理对存储系统的性能提出了更高要求。DeepSeek在“开源周”期间发布的高性能并行文件系统Fire-Flyer File System（3FS），正是为应对这一挑战而生。作为一款专为AI工作负载设计的分布式文件系统，3FS以其卓越的性能和先进架构，成为AI领域的存储新引擎。
3FS的核心优势
3FS是一款并行文件系统，支持AI训练和推理中的多种关键任务，包括训练数据预处理、数据集加载、检查点保存与重载、推理阶段的向量嵌入搜索以及KVCache查找。其核心优势主要体现在以下几个方面：
-
高性能集群吞吐：在180节点集群中，3FS实现了高达6.6 TiB/s的聚合读取吞吐量，充分满足大规模数据处理需求。
-
优异的基准测试表现：在25节点集群的GraySort基准测试中，3FS的吞吐量达到3.66 TiB/min，展现了其在复杂场景下的高效性能。
-
单节点高性能：每个客户端节点的KVCache查找峰值吞吐量超过40 GiB/s，确保单节点任务的高效执行。
先进架构与强一致性语义
3FS采用去中心化架构，具备强一致性语义，能够在分布式环境中提供可靠的存储服务。其设计充分利用现代SSD和RDMA网络技术，为AI工作负载提供高效的共享存储层，简化了分布式应用程序的开发流程。
3FS的应用场景
3FS在DeepSeek的V3/R1版本中得到了广泛应用，覆盖了AI训练和推理的多个关键环节。其高性能和易用性使其成为支持数据准备、数据加载、检查点设置和推理缓存的理想选择。
Smallpond：基于3FS的高效数据处理框架
除了3FS，DeepSeek还开源了基于3FS的数据处理框架Smallpond。Smallpond构建于DuckDB和3FS之上，是一款轻量级、高性能的数据处理框架，可扩展至PB级数据集。其操作简便，无需长期运行的服务，为大规模数据处理提供了高效解决方案。
开源推动AI技术发展
DeepSeek在“开源周”期间发布的3FS和其他AI相关技术，如FlashMLA、DeepEP通信库、DeepGEMM以及优化并行策略，共同推动了大规模模型训练和推理的效率提升。通过开源这些技术，DeepSeek为AI社区提供了强大的工具支持，助力AI技术的快速发展。
3FS的发布不仅是存储技术的一次突破，更是AI领域的重要里程碑。随着AI应用的不断扩展，3FS将成为推动AI训练与推理效率提升的关键力量。
相关文章
