LDL (@youyouge2705) 在 哪位大佬在昆仑芯下使用vllm部署过大模型 中发帖
现在公司搞了2台H3C UniServer R4930 G5的服务器，每台装了3张昆仑芯RG800 32GB GPU，离线环境，已经安装好了docker
如何使用vllm来部署deepseek呢，vllm的镜像都是nvidia的驱动，要自己弄一个昆仑芯驱动版本的vllm吗