2 × NVIDIA H100 80GB部署 
单请求下DFlash2加速是MTP-3的两倍，输出TPS能到300+ 
这个输出太爽了 
 [image] 




项目
配置








Target 模型
Qwen3.8-27B-FP8


Draft 模型
Qwen3.8-27B-DFlash2


CUDA
13.0


PyTorch
2.13.0+cu130


vLLM
0.1.dev1+g10ade9397.d20260825


vLLM Commit
10ade939796611915ee481da076a897c0c54fcf3



三种测试模式




模式
Speculative 配置
Draft 并行




Off
不启用推测解码
—


MTP-3
内置 MTP，K=3
TP=2


DFlash2
DFlash2，K=7
TP=1


Target
三...