梦想成为科学家 (@Btc_Crush) 在 MAC跑大模型是不是真不行啊～ 中发帖
我在本地的 M5 Max 上部署了
QWEN 3.8 27B 8-bit MLX
下面是鹈鹕测试的效果，共用时12分27秒完成任务
推理架构：
推理引擎：Splash 1.4.1
加速：DFlash 2 投机解码
KV Cache：BF16，未量化
循环状态：FP32
思考档位：xhigh
总体质量还是不错的，就是生成速度太慢了 30t/s
[582d1198728851ab7ef68d15c181398f]