LINUX DO Channel
03:59 · Nov 16, 2024 · Sat
@panda_l
在
大模型推理卡4090最合适?
中发帖
有没有懂ai大模型的大佬,我们公司目前要自己部署大模型进行推理,做上层应用,两张4090跑32b大模型半精度或者int8量化够不够?
Home
Powered by
BroadcastChannel
&
Sepia