看到这提肛20并点赞 (@remoteman) 在 Deepseek开源周 Day2:DeepEP 中发帖
[IMG_0093]
DeepEP——一个用于 MoE 模型训练和推理的开源 EP 通信库。
✅高效、优化的全员沟通
✅节点内和节点间均支持 NVLink 和 RDMA
✅用于训练和推理预填充的高吞吐量内核
✅用于推理解码的低延迟内核
✅原生 FP8 调度支持
✅灵活的 GPU 资源控制,实现计算-通信重叠
开源仓库:GitHub - deepseek-ai/DeepEP: DeepEP: an efficient expert-parallel communication library