Eric Terminal (@Eric-Terminal) 在 什么?Apple Watch也能本地跑Qwen了? 中发帖
原谅我这个标题感觉有点像营销号但是真做到了
某天写代码的时候我突然灵光一现,Apple Watch可以跑C/C++,llama.cpp就是C++写的,那么能不能让Apple Watch跑llama.cpp呢?
然后我花了几天努力把llama.cpp通过伞头文件桥接进了支持Apple Watch的Swift程序
我刚才把Qwen3.5-0.8B-Q4_K_M.gguf塞进了我的Apple Watch S8里面
能跑哦齁齁齁齁哦齁齁齁齁❤❤❤❤!!
这颗t8301挺耐操的,虽然速度有点感人,才0.27token/s,纯CPU算的,峰值能力应该有iPhone6s的水平
但是如果真上最新的iPhone的话估计可以跑到上百token/s,毕竟有Metal
不要问有啥意义,之前给iPhone刷MIUI没意义不也有人干了嘛hhhhh