行云 (@qbter) 在 Nvidia 4060Ti部署Qwen3.6方案 中发帖
一、硬件
GPU:Nvidia 4060Ti 16G
CPU:Intel 12600KF
内存:64G
二、软件
OS:Debian13
部署:LLamaCPP
2.1 运行命令
taskset -c 0-11 llama-server --api-key "123456" \
-m ./Hermes3.6-35B-A3B-Uncensored-Genesis-Final-MTP-APEX-Compact.gguf \
-a Qwen3.6-35B-A3B \
--reasoning-budget 8192 \
--spec-type draft-mtp \
--spec-draft-n-max 4 \
--spec-draft-p-min 0.80 \
--jinja \
-...