VeroFess双 3090 跑 qwen3.8 27b q4 单会话已经来到了 120t/s! 中发帖

当然是开了 mtp 了,但是 mtp 他也是单会话! 
最佳 120.63 tok/s, 在 omp 跑二十分钟任务平均 96.8 tok/s decode + 1483 tok/s prefill
也就是说现在双 3090 在考虑价格的情况下完全可以说是拉爆 4090 和 5090 了,在 4090 没吃上优化的前提下双 3090 也是比双 4090 快的,更别提 dxg 了,算是一万多块钱吃上好的了,嘿嘿