VeroFess 在 双 3090 跑 qwen 3.8 28b q8 拉爆 4090! 并发 1 - 80.95 t/s + 并发 8 - 124.87 t/s 中发帖
长话短说: 用 llama.cpp 官方版跑 qwen 3.8 28b q8 慢的人头疼, 于是就重写了亿点点…
[image]
来看战绩!
长话短说: 用 llama.cpp 官方版跑 qwen 3.8 28b q8 慢的人头疼, 于是就重写了亿点点…
[image]
来看战绩!