vfx (@freebsdfx) 在 随着5060ti发售,我对个人本地化AI部署,表现出深深的绝望。 中发帖
原因是看了下面这个youtube视频,UP讨论运行Local AI,是否值得买5060TI。最后UP结论就是暴论:不值得买,24G以下显存,都是战5渣。
[Should You Buy nVidia RTX 5060ti for Local AI? AI Gaming?]
我其实也感同身受,但是没办法,人家NV就是不出廉价版本的大显存,商业策略,要把大显存留给企业版GPU,企业版价格也不是普通个人用户能负担起的。
终其原因,是跑LLM大模型里有个叫Emergence(涌现)的现象。指的是模型在规模、训练数据或复杂性增加时,表现出的一些意外的、无法简单从其组成部分预测的能力或行为。
参数规模的临界点总结
~1B参数:基本语言能力,无明显Emergence。
~10B参数:初步Emergent能力,如简单的上下文学习。
~50B-100B参数:显著Emer...