Zhihong Huang (@lie5860) 在 球推荐 mac 部署本地模型的方式 中发帖
今天看 gemee4 出了。想尝试一下。之前我用 ollma 部署 qwen 35b 感觉有点难用。而且也没有服务 可能因为是 app 的方式。设备是 m3max64g
有没有什么服务可以比 ollma 效率高一点。而且也方便暴露 api 使用。也方便配置例如关闭思考这种配置的软件嘞?