@Mav 在 佬友如何看待 Mac mini 和 本地部署 中发帖
如题,我自己前段时间入手了台16+512的M5 mba,日常去图书馆什么的都够用,也是很喜欢Mac的生态,但16G的内存还是太小了,日常担心不敢高负载(或许以后换成24+1T的好些)
最近一段时间在折腾Ollama的本地部署,虽然我很清楚本地部署跟生产力搭不上界,稍微大一点的模型就吃力耗电费力不讨好,我以前对本地部署的态度是“有钱没处使”,尤其是那些为了本地部署想买64G甚至128G的mbp的人,我都是劝退甚至觉得有点傻的。
但今天在Ollama里面部署一个微调的Qwen3.5B的时候,还是给我惊讶到了,内存占用大概7G,却有不小的智慧,解答我的一些复变函数问题(大学生期末周syzd)真就是秒回而且使用的小技巧都对。而且看一个大模型跑在本地,敲下回车就能得到响应,完全不担心任何额度和token的时候,我感觉有点触动。
所以我现在有点改观:
是否现在很多小模型经过蒸馏,量化,微调,...