@Derican 在 求问有佬做过大模型本地部署解决方案的吗 中发帖
客户需要一个支持本地部署开源大模型的解决方案,预算两三百个吧,我也没做过这么大规模的,找AI生成感觉也就是看着行,不知道有没有佬了解这块的。需求是至少得跑Qwen/Qwen3.5-397B-A17B-FP8或同等级别的模型,并发和吞吐量还不能特别难看。