Jo174关于本地部署AI大模型 中发帖

目前计划在本地部署一个小型的llm用于一些简单的翻译和敏感数据处理,因为不涉及复杂问题所以更加侧重于稳定性和知识库的利用能力,在考虑使用mac mini搭配ollama或者lmstudio 搭配mlx获得更高的运行效率,由于我个人经验有限,所以想咨询各位佬有没有实测比较好的模型选择和方案,最好是4B量化版本,16G的mac mini可分配的ram有限