翎 (@black_ancker) 在 用cot长度堆出来的智力,需要更高的tps才能维持使用体验 中发帖

试了下在5060 8g上跑 Swift-Bonsai-2-GGUF 1bit 量化。 
二三十的tps搭配巨长的思维链,流口水的Qwen3.5-9B Q4_K_M 两三分钟干完的活(50tps左右),它干了快二十分钟。。。