清皮同学 (@laopi) 在 佬们,单位部门预算10w想本地部署Qwen3.8-27B模型,大概也就十几个人用,有比较好的方案推荐吗 中发帖
目前的是我们部门跟单位抢卡,信息部那边部署的,用了一块A800,然后ld嫌有点慢,我看了下速度大概20tok/s,ld就想预算10w搞一个我们部门自己用的。
看了一些方案,感觉很难比A800快,虽然可能比20tok/s快应该可以,佬们有什么思路吗。
目前考虑的是双路5090,单卡pro6000(可能超了),双路dgx spark(琢磨这个到时候应该换个部署dsf)