大概是牛马 (@se2mix3)Xinference 1.15.0.post1部署问题排雷 中发帖

前情提要
之前被暗害导致主机中部署的Xinference为cpu版本,运行embedding模型时无法选择GPU,因此打算重新部署Xinference GPU版本,公司主机上已经安装了Docker和Cuda,因此采用Docker容器方式部署Xinference。
部署步骤:

docker pull --platform linux/amd64 xprobe/xinference:v1.5.0.post1 拉取镜像一切正常。
docker save -o xinference.tar xprobe/xinference:v1.5.0.post1因为主机无法连接外网,所以只能愚公搬山。
经过漫长的上船之后,docker load -i xinference.tar 加载镜像
之前已经启动过了,也配置了相关挂载卷和模型,理论上来讲只要替换镜像名就可以了,okgo。

docker run -...