@Piscesbody[Qwen3.6]27B-FP8 VLLM本地部署主观个人测评 中发帖

硬件配置




组件
规格




CPU
Intel i5-13600K


GPU
RTX 4090 48G + RTX 4070Ti 12G


内存
DDR4-3600 128G (4x32G)


主板
华硕 Z690-P D4


系统
Windows 11 LTSC


WSL
Ubuntu 22.04



VLLM版本:0.19.1
部署指令:
uv venv vllm-env --python 3.12 --seed --managed-python
source vllm-env/bin/activate
uv pip install vllm --torch-backend=auto
启动参数:
vllm serve /root/LLM/Qwen3.6-27B-FP8 --host 0.0.0.0 --port 8000 --tensor-parall...