Cybertronmt 在 unsloth发布1.8bit量化版Kimi K2.5，本机24GB显存可跑 中发帖
Unsloth用它家的Dynamic 1.8bit量化，把 Kimi K2.5 裁剪到了 240GB 大小
然后把MoE专家都放到内存而不是GPU显存里，就只需要24GB显存 + 256GB内存就够了
Unsloth 实测速度可以到 10 tokens/s.
GGUF模型下载：unsloth/Kimi-K2.5-GGUF · Hugging Face