hhh (@zqhhh) 在 求助-模型部署显卡四张3090 中发帖
手里有四张3090,请问可以部署qwen3.8吗,我用两张使用vllm部署了fp8感觉速度也不快,4张没有nvlink是不是就更慢了,请问各位佬有更好的方案吗
手里有四张3090,请问可以部署qwen3.8吗,我用两张使用vllm部署了fp8感觉速度也不快,4张没有nvlink是不是就更慢了,请问各位佬有更好的方案吗