soycodetrail 在 个人本地部署大模型不靠谱,gpu干到100多度,浇点冷水 中发帖
本地机器:
mac book pro m3 max,64GB统一内存。
模型:
qwen3.5 9B
跑起来,内存倒没占多少,也就十几GB。喂给codex还好,50-60 token/s。喂给cluade code gpu直接干到100多度,而且无响应。
所以,还是在L站登吧,佬友们,自己跑本地模型,就是扯淡,玩一玩还行。有钱不如买更好的coding plan。
就算跑起来,对自己的机器损伤也不小。
再次感谢各位佬友的公益站!