欣 郁 (@user1164) 在 暴论:显存带宽:dgx spark 1g/s= mac/amd 4g/s 中发帖
如题。
可能“苹果8g ram=windows 16g ram”是笑话,
但显存带宽的角度,“dgx spark 1g/s= mac/amd 4g/s”绝对不是笑话?
因为:
1)nvfp4的量化格式几乎没有量化损失;
2)dgx spark支持nvfp4的存储和计算;
3)mac和amd显卡仅支持4-bit存储,4bit量化的模型仍需反量化到16bit才能被计算
所以如果认同nvfp4的质量,可认为dgx spark的显存等效800g/s的mac显存。
推论1:
Q4量化对m3 ultra/m4 max无意义。
若不爆显存,则16bit模型比4bit量化版的解码速度更快——因为后者还要额外的反量化时间。
Q4量化对mac仅仅只有存储意义。
但若一个模型在mac上要Q4量化后才能装下,考虑到mac的显存显著高于带宽,则吐字/生图速度极慢,几乎没有使用价值。