高性能分布式文件系统

3FS（Fire - Flyer文件系统）是专门为AI工作负载优化的高性能分布式文件系统，利用现代SSD和RDMA网络的全部带宽，实现快速数据访问。在180节点集群中，聚合读取吞吐量能达到6.6TiB/s，25节点集群GraySort基准测试的吞吐量为3.66TiB/分钟，每个客户端节点的KVCache查找峰值吞吐量超过40GiB/s。它处理大型数据集时确保跨计算节点的一致性，并且是开源的，致力于实现高性能AI存储的民主化。

SmallPond 是一个基于 DuckDB 和 3FS 构建的轻量级数据处理框架，旨在高效处理大规模数据集。它结合了 3FS 的高性能分布式存储能力和 DuckDB 的强大数据处理能力，支持 PB 级数据扩展，同时保持操作的简单性和零服务依赖。