Kinnikuman 在 本地跑大语言模型,单张4090和大内存m4pro哪个更合适? 中发帖
4090 24G显存 只能跑中等及以下,如果上m4pro 大内存,跑模型是不是会强于单独使用4090?
大模型对cuda支持的好,但与 m4 pro 的 metal 对比起来会咋样?
(抛开价格)
4090 24G显存 只能跑中等及以下,如果上m4pro 大内存,跑模型是不是会强于单独使用4090?
大模型对cuda支持的好,但与 m4 pro 的 metal 对比起来会咋样?
(抛开价格)