@shadow0v0 在 HuggingFace 上扫一眼文件名,3 秒钟就能算出它在你本地电脑上跑多快、聪不聪明 中发帖
铁律一:显存红线法则 —— 模型体积永远不能超过「显存 - 2GB」
这是本地部署最重要的一条物理定律。很多新手看到自己有 16GB 显存,就去找 15.5GB ~ 15.8GB 的模型下,结果速度直接崩盘。
为什么必须留 2GB?
显存里要装三样东西:① 模型权重文件 + ② 上下文记忆(KV Cache) + ③ 显卡计算临时缓冲区 + Windows 桌面占用(约 0.8GB)。
你的 5080 (16GB) 黄金选包公式:
最佳模型文件体积 = **12.5 GB ~ 14.2 GB** 之间
小于 14.2GB:可以无脑开 -ngl 99(100% 全层塞进显存),满血触发 5080 的 GDDR7 显存带宽,还留出近 2GB 跑 16K~32K 长上下文。
一旦超过 14.5GB:哪怕只有 4 层(不到 1GB)被迫甩给 CP...