@Piscesbody 在 [Qwen3.6]27B-FP8 VLLM本地部署主观个人测评 中发帖
硬件配置
组件
规格
CPU
Intel i5-13600K
GPU
RTX 4090 48G + RTX 4070Ti 12G
内存
DDR4-3600 128G (4x32G)
主板
华硕 Z690-P D4
系统
Windows 11 LTSC
WSL
Ubuntu 22.04
VLLM版本:0.19.1
部署指令:
uv venv vllm-env --python 3.12 --seed --managed-python
source vllm-env/bin/activate
uv pip install vllm --torch-backend=auto
启动参数:
vllm serve /root/LLM/Qwen3.6-27B-FP8 --host 0.0.0.0 --port 8000 --tensor-parall...