guan (@haohao) 在 关于模型私有化部署问题 中发帖
如果是小团队想部署,比如20人左右,如何估算需要多少硬件
比如单机,加载一个模型把显卡显存占了一半,是不是多人请求,用agent,怎么看能多少人公用?
如果不卡,那另一半显存可以加载另一个模型使用?
谢谢
如果是小团队想部署,比如20人左右,如何估算需要多少硬件
比如单机,加载一个模型把显卡显存占了一半,是不是多人请求,用agent,怎么看能多少人公用?
如果不卡,那另一半显存可以加载另一个模型使用?
谢谢