BobbyZZY 在 来发一个dgx spark部署大模型的经验 中发帖
最近公司要做一个本地部署大模型的项目,配了dgx spark,用了一周的时间去尝试了各种模型,踩了各种坑,现在给大家汇报DGX Spark 部署 Qwen3.5 / NVFP4 大模型实战记录
这篇文档记录的是我在 NVIDIA DGX Spark(GB10,128GB unified memory) 上部署 Qwen3.5 系列模型,尤其是 NVFP4 量化模型 的完整踩坑过程、结论和推荐方案。
我最想部署的模型就是qwen3.5-122b-a10b,总参数量够大,激发参数够小,模型最强,fp4量化以后正好能在spark上跑起来
用了一周的时间去尝试了各种模型,踩了各种坑,现在给大家汇报:
哪些组合我真的跑起来了
哪些组合虽然部署成功了但实际上会崩
哪些镜像/框架最完美
哪些可以跑起来
哪些方案在 Spark 上跑不起来
我实际用过的镜像主要有: ...