顾迪 (@zengyi) 在 在华为昇腾上面部署过模型的佬友给点建议 中发帖
服务器是910B的,vllm-ascend版本是v0.19.1rc1的,驱动版本是25.2.0 cann的版本不知道
现在驱动没有办法更新(因为部署的有别的项目所以不能升级)
使用docker启动的yaml文件
services:
vllm-ascend:
image: ${IMAGE:-quay.m.daocloud.io/ascend/vllm-ascend:v0.19.1rc1-openeuler}
platform: ${PLATFORM:-linux/arm64/v8}
container_name: ${NAME:-vllm-ascend-qwen36}
pull_policy: never
privileged: true
network_mode: host
shm_size: 100g
restart: unless-stop...