@panda_l大模型推理卡4090最合适? 中发帖

有没有懂ai大模型的大佬,我们公司目前要自己部署大模型进行推理,做上层应用,两张4090跑32b大模型半精度或者int8量化够不够?