@zhiqing 在 llamacpp使用dflash2是不是在减速 中发帖
rtx3090显卡,unsloth的qwen3.8 27b q4km,dflash是官方q4 gguf。
不用dflash2 42tok/s左右,用了之后只有40tok/s了,并且长文本速度下降明显
rtx3090显卡,unsloth的qwen3.8 27b q4km,dflash是官方q4 gguf。
不用dflash2 42tok/s左右,用了之后只有40tok/s了,并且长文本速度下降明显