guan (@haohao)关于模型私有化部署问题 中发帖

如果是小团队想部署,比如20人左右,如何估算需要多少硬件 

比如单机,加载一个模型把显卡显存占了一半,是不是多人请求,用agent,怎么看能多少人公用?
如果不卡,那另一半显存可以加载另一个模型使用?
谢谢