Paranoia Gu 在 【分享】两张V100(16G)跑千问3.8-27B的最优命令 中发帖
分享一下我的命令,也许并不是最优,但是也是我目前调到最优的状态。欢迎大家提出更好方案。
#!/bin/bash
nohup ./build/bin/llama-server \
-hf unsloth/Qwen3.8-27B-GGUF:Q4_K_M \
--parallel 1 \
--ctx-size 262144 \
--cache-type-k q4_0 \
--cache-type-v q4_0 \
--flash-attn on \
--split-mode tensor \
--spec-type draft-mtp \
--temp 1.0 \
--top-p 0.95 \
--top-k 20 \
--min-p 0.0 \
--presence_penalty 0....