happyful 在 Qwen3.8-Flash-Next 部署细节(Strata + GSQ-RCO IQ3_S,Windows 单卡 16 GB,视觉 + 128K) 中发帖

接着上篇:Qwen3.8-Flash-Next 部署细节(Strata + GSQ-RCO IQ3_XXS,单卡 16 GB) 

上一篇在 Linux 上跑的是 IQ3_XXS,这次换到 Windows,直接上 IQ3_S,顺手把视觉输入和 128K 上下文也一起开了。机器没换:RTX 4080 SUPER 16G + i9-14900KF + 64G DDR5-6400,模型放在 H 盘 NVMe 上。
这帖把实际用的参数和测出来的数据记一下,文末附了刚才现跑的截图(网页界面、health、模型文件、引擎日志、配置文件),数据都是从日志里抄出来的。
先说结果(thinking 关、temperature 0):

短对话 decode 大概 49~54 tok/s。截图里那条 76 token 的回复是 48.75 t/s;前几天用脚本测的 338 token 回复是 53.5...