顾迪 (@zengyi) 在
关于国产的一些问题 中发帖
现在要在cpu为海光c86架构的服务器上面部署大模型
驱动:550.144.03
显卡:英伟达4090
[image]
使用docker+vllm的方案部署qwen3.6-35B-A3B-W8A8的模型,我在公司的2张3090(24g)的服务器上面测试过的可以进行部署。
现在是驱动版本太低,没有办法部署千问3.6的模型。所以现在考虑到升级驱动的问题,升级驱动会检测cpu吗?
有佬友更新过吗?会不会出现什么问题?我在公司离线更新没有遇到这个问题