yeyuccaqwen 3.6 27B 单卡部署5090 60+toks/s质量可以,够用了~ 中发帖

使用的是Unsloth家的动态,选的Qwen3.6-27B-UD-Q5_K_XL.gguf量化版本,用的是5090单卡,32G vram,大家可以根据这个表格,快速选配下 
[image]
[image]
目前输出感觉是 qwen 3.6 27B ≈ Jackrong/Qwen3.5-27B-GLM5.1 > qwen 3.6 35B_A3B ≈ qwen 3.5 27B
再期待下 其他家对 qwen 3.6 27B的进一步变种专训结果,有机会在Herems上再跑下~
附上启动参数,
-ngl 99 -c 262144 -np 1 -fa on --cache-type-k q4_0 --cache-type-v q4_0
–no-mmap --mlock --threads 16 --threads-batch 16 --batch-size 256 --ubatch...