asxix 在 单卡16G Qwen3.8 输出速度 中发帖
一天前unsloth/Qwen3.8-27B-GGUF更新，添加大量基于 Unsloth Dynamic 3.0 动态量化的gguf。
RTX 4070TI S 16G VRAM + 32G DDR5，输出速度token/s如下。
[image]
empero-ai/Qwen3.8-9B-Distill-GGUF没有多模态。