突然发现moe这种高参数但是低激活的方法能保证速度,又能保证一定的质量,但是最大问题就是太大了…8卡4090估计都跑不起来(4bit勉强,并且还不算上下文占用),那么现在个人如果想跑(不要说充值直接使用…因为就想本地部署),大概什么设备够用? 

mac? 192g都会爆掉把?(2bit?)
epyc 12通道?


但是如果用不满通道,速度也上不去,用满了的话估计也解决爆内存… 


h800?(告辞…)