@oodwboo 在 有人帮我看看我的vllm怎么启动不起来了嘛 中发帖
问题
我在使用10.1.1版本的时候使用双卡推理没问题
升级到10.2和11.0的时候就报错了
使用单卡推理倒是都没问题
我用的是wsl cuda12.8
我的配置
▶ 环境信息 vllm collect-env
▶ docker-composed
▶ error log