sususu 在 vLLM 本地部署 Qwen/QwQ-32B-AWQ 求指导 中发帖
硬件：单卡4090
目前使用的参数
vllm serve Qwen/QwQ-32B-AWQ --quantization awq \
--enable-reasoning --reasoning-parser deepseek_r1 \
--api-key token-xxx
有懂 vLLM框架的佬友来指导下嘛