在 Kubernetes 上调度 GPU 资源

转载

我和你并没有不同 2022-06-01 09:07:20

文章标签 docker github git 文章分类 Java 后端开发

Kubernetes 支持对节点上的 AMD 和 NVIDIA 的 GPU 进行管理，目前处于实验状态。

用户如何在不同的Kubernetes 版本中使用GPU，以及当前存在的一些限制。

在 Kubernetes 上调度 GPU 资源_git

1. 使用设备插件

Kubernetes 实现了 Device Plugins^[1] 以允许 Pod 访问类似 GPU 这类特殊的硬件功能特性。作为运维管理人员，你要在节点上安装来自对应硬件厂商的 GPU 驱动程序，并运行来自 GPU 厂商的对应的设备插件。

AMD - deploying-amd-gpu-device-plugin^[2]
NVIDIA - deploying-nvidia-gpu-device-plugin^[3]

当以上条件满足时，Kubernetes 将暴露 amd.com/gpu 或 nvidia.com/gpu 为可调度的资源，可以通过请求 <vendor>.com/gpu 资源来使用 GPU 设备。不过，使用 GPU 时，在如何指定资源需求这个方面还是有一些限制的：

GPUs 只能设置在limits 部分，这意味着：

不可以仅指定requests 而不指定limits
可以同时指定limits 和requests，不过这两个值必须相等
可以指定GPU 的limits 而不指定其requests，K8S 将使用限制值作为默认的请求值

容器(Pod)之间是不共享GPU 的，GPU 也不可以过量分配
每个容器可以请求一个或者多个GPU，但是用小数值来请求部分GPU 是不允许的

# need 2 GPUs
apiVersion: v1
kind: Pod
metadata:
  name: gpu-pod
spec:
  containers:
    - name: cuda-container
      image: nvcr.io/nvidia/cuda:9.0-devel
      resources:
        limits:
          nvidia.com/gpu: 2
    - name: digits-container
      image: nvcr.io/nvidia/digits:20.12-tensorflow-py3
      resources:
        limits:
          nvidia.com/gpu: 2

2. 部署 AMD GPU 设备插件

节点需要使用 AMD 的 GPU 资源的话，需要先安装 k8s-device-plugin^[4] 这个插件，并且需要 K8S 节点必须预先安装 AMD GPU 的 Linux 驱动。

# 安装显卡插件
$ kubectl create -f https://raw.githubusercontent.com/RadeonOpenCompute/k8s-device-plugin/r1.10/k8s-ds-amdgpu-dp.yaml

3. 部署 NVIDIA GPU 设备插件

节点需要使用 NVIDIA 的 GPU 资源的话，需要先安装 k8s-device-plugin 这个插件，并且需要事先满足下面的条件：

Kubernetes 的节点必须预先安装了NVIDIA 驱动
Kubernetes 的节点必须预先安装nvidia-docker2.0
Docker 的默认运行时必须设置为nvidia-container-runtime，而不是runc
NVIDIA 驱动版本大于或者等于384.81 版本

# 安装nvidia-docker2.0工具
$ distribution=$(. /etc/os-release;echo $ID$VERSION_ID)
$ curl -s -L https://nvidia.github.io/nvidia-docker/gpgkey | sudo apt-key add -
$ curl -s -L https://nvidia.github.io/nvidia-docker/$distribution/nvidia-docker.list | sudo tee /etc/apt/sources.list.d/nvidia-docker.list
$ sudo apt-get update && sudo apt-get install -y nvidia-docker2
$ sudo systemctl restart docker

# 安装nvidia-container-runtime运行时
$ cat /etc/docker/daemon.json
{
    "default-runtime": "nvidia",
    "runtimes": {
        "nvidia": {
            "path": "/usr/bin/nvidia-container-runtime",
            "runtimeArgs": []
        }
    }
}

# 安装显卡插件
$ kubectl create -f https://raw.githubusercontent.com/NVIDIA/k8s-device-plugin/1.0.0-beta4/nvidia-device-plugin.yml

也可以使用 helm 或 docker 安装:

$ helm repo add nvdp https://nvidia.github.io/k8s-device-plugin
$ helm repo update
$ helm install --version=0.9.0 --generate-name nvdp/nvidia-device-plugin

# 也可以使用docker安装
$ docker run -it \
    --security-opt=no-new-privileges \
    --cap-drop=ALL --network=none \
    -v /var/lib/kubelet/device-plugins:/var/lib/kubelet/device-plugins \
    nvcr.io/nvidia/k8s-device-plugin:devel