docker中使用GPU

在深度学习训练、推理服务、视频处理和高性能计算场景中，经常需要在 docker 中使用 GPU。容器本身不会虚拟出显卡能力，它需要宿主机具备可用的 GPU 驱动，并通过容器运行时把设备和相关库暴露给容器。

基础条件

首先，宿主机需要有支持的 NVIDIA GPU，并正确安装显卡驱动。可以在宿主机执行：

nvidia-smi

如果命令能看到显卡型号、驱动版本和显存信息，说明宿主机驱动基本可用。如果命令不存在或报错，需要先处理驱动安装问题。某些 Linux 环境还需要确认 nouveau 驱动是否影响 NVIDIA 驱动加载，具体处理方式要结合发行版和驱动版本确认。

容器运行时支持

Docker 使用 GPU 通常依赖 NVIDIA Container Toolkit。安装完成后，Docker 才能识别 --gpus 参数，并在容器启动时挂载 GPU 设备。

常见运行方式如下：

docker run --rm --gpus all nvidia/cuda:12.4.1-base-ubuntu22.04 nvidia-smi

如果容器内也能正常输出显卡信息，说明 Docker 到 GPU 的链路已经打通。实际 CUDA 镜像版本应根据宿主机驱动兼容性和应用框架要求选择，不建议随意混用。

指定 GPU 与资源隔离

当机器上有多张显卡时，可以只把部分 GPU 暴露给容器：

docker run --rm --gpus '"device=0"' your-image

也可以在编排系统中通过资源声明控制 GPU 分配。需要注意，GPU 显存不是普通内存，多个容器共用同一张卡时可能互相抢占显存。训练任务、推理服务和批处理作业最好明确资源隔离策略。

镜像内依赖

容器镜像通常需要包含应用运行所需的 CUDA 用户态库、Python 包、深度学习框架或推理框架。宿主机驱动与容器内 CUDA 组件之间有兼容要求，遇到 CUDA driver version is insufficient 等错误时，应优先检查版本匹配。

不要把“能运行 nvidia-smi”等同于“应用一定能调用 GPU”。还需要在框架层验证，例如 PyTorch、TensorFlow 或其他计算库是否识别到 CUDA 设备。

常见排查方向

如果 docker 中使用 GPU 失败，可以按顺序检查：宿主机 nvidia-smi 是否正常；Docker 版本是否支持 --gpus；NVIDIA Container Toolkit 是否安装并配置；容器镜像 CUDA 版本是否兼容；应用是否显式选择 GPU 设备。

生产环境还应关注监控和稳定性，包括显存使用率、GPU 利用率、温度、任务失败重试和容器退出日志。GPU 容器化的核心不是多加一个参数，而是把驱动、运行时、镜像和任务调度作为一个整体来管理。