微软终于把 bitnet.cpp 开源了，这对想在本地跑大模型的同学是个好消息。 
这是一个专门用于 1-bit LLM 推理的框架。最大的突破是让 100B 参数级别的模型能直接在 CPU 上跑，不再强制依赖昂贵的 GPU 集群。 
官方给的数据很猛： 

推理速度提升 6.17 倍
CPU 能耗降低 82.2%

以后在 MacBook 或者普通服务器上跑超大模型，可能不需要再为了显存发愁了。 


 [image]