看到这提肛20并点赞 (@remoteman)Deepseek开源周 Day5:3FS(文件系统) 中发帖

[image] 
3FS-适用于所有 DeepSeek 数据访问的 Thruster Fire-Flyer 文件系统
一个并行文件系统,利用现代 SSD 和 RDMA 网络的全部带宽。
在一个 180 节点的集群中实现了 6.6 TiB/s 的聚合读取吞吐量 !
在一个 25 节点的集群中,在 GraySort 基准测试中实现了 3.66 TiB/min 的吞吐量
每个 KVCache 查找客户端节点峰值吞吐量为 40+ GiB/s
分离架构,具有强一致性的语义 !
训练数据预处理,数据集加载,检查点保存/恢复,推理中 V3/R1 的嵌入向量搜索及 KVCache 查询
3FS - GitHub - deepseek-ai/3FS: A high-performance distributed file system designed to address the chal...