xcstg (@xcstgg)本地部署qwen3.8 27b使用体验 中发帖

模型发布的第二天就部署了,vllm环境跑的官方fp8权重+128k的fp16 kv,实际用了几天 
测试了几个agent工具,opencode、reasonix、dsh,只有dsh勉强能跑起来,三档思考强度只有low可用,其他两档会在长上下文中陷入循环思考、问a答b、回答几轮之前的问题之类的种种问题,low下还勉强可用
官方模板的工具调用失败率奇高,用gpt5.6sol查日志,调优了官方模板以后,工具调用勉强可用了
全部调整好以后,用dsh让它做了一个本地vllm的监控网页(就是它自己跑的那台机器),监控一下硬件状态和vllm状态,pp/tp速度,改了几轮后成品还算可用
我的硬件配置是双2080ti 22g nvlink,开的mtp2,decode速度大概能稳定在50tp左右,中文问答场景下40左右
体感上智商比dsfv4还是差了不少,今天看到智力评分那么高,感觉很疑惑,难道是我的...