Unsloth GLM-5.2 
 [image] 
1位精度能有原模型的约76.2%的能力 
2位精度能有原模型的约82%的能力 
也就损失了约18%，但是能在一个24G显卡和256G内存上部署了。 
我是这样想的，与其抢哪个怎么也抢不到的GLM Coding Plan，不如组个洋垃圾平台再整个魔改的V100或者3090。 




配件
规格
单价
数量
小计




内存
DDR3 32GB
180元
×12
2160元


平台
浪潮M2216 + 双E5 + 电源 + 配件
—
—
≤1500元


GPU
V100（鱼上买改好的）
—
—
3750元


硬盘
自备
—
—
0元



这样总计 384GB 内存 32GB 显存，说不定能跑2精度 
虽然能预想到不光模型加载慢，推理慢，上下文也难说。 
不过万元以下本地跑 GLM5.2（量化版） 
嘿嘿🥹，想想就流口水 
想问问...