寒武纪宣布已在 V4 发布当天完成 285B DeepSeek-V4-Flash 和 1.6T DeepSeek-V4-Pro 两款模型的适配，基于 vLLM 推理框架，适配代码已开源至 GitHub。 
适配速度依赖两个前提：一是寒武纪自研 NeuWare 软件栈原生支持 PyTorch、vLLM 等主流框架，模型可快速迁移；二是寒武纪芯片原生支持主流低精度数据格式，无需额外格式转换即可完成精度验证。针对 V4 的新结构，寒武纪通过自研融合算子库 Torch-MLU-Ops，对 Compressor、mHC 等模块做了专项加速，并用 BangC 编写了稀疏/压缩 Attention、GroupGemm 等热点算子内核。 
在推理框架层面，寒武纪在 vLLM 中支持 TP/PP/SP/DP/EP 五维混合并行、通信计算并行、低精度量化和 PD 分离部署。V4 技术报告仅提及了在 NVIDI...