行云 (@qbter) 在 Strata部署Qwen3.8-Flash-Next真的成了,速度比qwen3.6-35b-a3b还快 中发帖
配置:intel i5 12600KF,64G,Nvidia 4060Ti 16G
模型:Qwen3.8-Flash-Next IQ3_S
速度:tps最高可到80+,稳定在49t/s,比llamacpp部署qwen3.6-35B-A3B的还要高很多,就是有点费内存,至少需要55G。
[image]
[image]