Nondirectional 在 大模型私有化部署的成本怎么计算? 中发帖
佬们,公司想搞私有化部署,因为面向的都是医药企业所有有私有化的需求。
但是在组装这么一台算力服务器的的成本不知道该怎么计算,就拿qwen3的32B和235B举例,是首先显存需要满足参数的大小,然后还要考虑并发量?