Kinnikuman 在 现在 mac 跑大模型用啥工具? 中发帖
之前一直用显卡跑 Gemma3,使用 ollama 跑大模型。现在有个 48G 的 mac mini m4 pro 闲置着,想着换到这上面跑,显卡可以释放出来。
所以现在运行大模型使用什么工具?ollama? LM Studio? vLLM? SGLang?
没用过后面这些,仅仅想运行一个大模型,给局域网内设备翻译使用。
佬友们给下建议吧。