随心录 (@user192)5090D+Qwen3.8-27B+SGLang + WSL 部署方案文档 中发帖

Qwen3.8-27B SGLang 推理服务 · WSL 部署方案文档

项目:darksidewalker/qwen3.8-27b-sglang-dspark-blackwell内容:NVFP4 量化版 Qwen3.8-27B + DSpark 投机解码 drafter,单张 RTX 5090(32GB)高吞吐推理整理日期:2026-08-22(基于实际部署过程复盘)


一、项目概述





说明




模型
Qwen3.8-27B,NVFP4 权重 + NVFP4 lm_head + FP8 KV cache


加速
DSpark drafter 投机解码(草稿块整体验证),实测峰值 ~300 tok/s 级


引擎
SGLang 官方预构建镜像 lmsysorg/sglang:qwen38-27b(免 JIT 编译)


显存占用
godspeed 约 31 GB /...