1. 拉镜像
docker pull nvidia/cuda:12.8.1-cudnn-devel-ubuntu22.04

前置操作是安装gpu驱动，安装 NVIDIA Container Toolkit 
参考笔者文章配置gpu驱动、docker和vllm 
用docker images命令检查拉取结果 
2.编辑配置文件
在你要运行的本地或者服务器目录下创建docker-compose.yaml，宿主机的文件挂载到容器用volumes，这里运行起来去看看目录就知道是怎么回事了 
如下yaml供参考 
services:
  dl:
    image: nvidia/cuda:12.8.1-cudnn-devel-ubuntu22.04
    container_name: dl
    deploy:
      resources:
        reservations:
...