心若向阳 (@sirgao)DGX Spark本地跑Qwen3.6-27B-nvfp4速度分享 中发帖

模型选择,请自行下载并准备好以下两个模型 
1、Qwen/Qwen3.6-27B-FP8,作用:用来给下方的模型开启MTP
2、sakamakismile/Huihui-Qwen3.6-27B-abliterated-NVFP4
docker镜像
docker pull scitrera/dgx-spark-sglang:0.5.12

给镜像打补丁
mkdir docker-build
cd docker-build

输入nano Dockerfile,在其中填写以下内容
# 基于你提供的基础镜像
FROM scitrera/dgx-spark-sglang:0.5.12

# 切换到 root 用户(确保有安装权限)
USER root

# 安装你需要的所有 Python 包
RUN pip install --no-cache-dir \
cuda-tile \...