心若向阳 (@sirgao) 在 DGX Spark本地跑Qwen3.6-27B-nvfp4速度分享 中发帖
模型选择,请自行下载并准备好以下两个模型
1、Qwen/Qwen3.6-27B-FP8,作用:用来给下方的模型开启MTP
2、sakamakismile/Huihui-Qwen3.6-27B-abliterated-NVFP4
docker镜像
docker pull scitrera/dgx-spark-sglang:0.5.12
给镜像打补丁
mkdir docker-build
cd docker-build
输入nano Dockerfile,在其中填写以下内容
# 基于你提供的基础镜像
FROM scitrera/dgx-spark-sglang:0.5.12
# 切换到 root 用户(确保有安装权限)
USER root
# 安装你需要的所有 Python 包
RUN pip install --no-cache-dir \
cuda-tile \...