NVIDIA GPU Operator的新功能介紹

在 Kubernetes 中使用 GPU 可靠地配置服務(wù)器可能很快變得復(fù)雜，因?yàn)楸仨毎惭b和管理多個(gè)組件才能使用 GPU。 GPU 運(yùn)營商基于運(yùn)營商框架，簡化了 GPU 服務(wù)器的初始部署和管理。 NVIDIA ， Red Hat 和社區(qū)中的其他人合作創(chuàng)建了 GPU 運(yùn)營商。

要在 Kubernetes 群集中配置 GPU 工作節(jié)點(diǎn)，需要以下 NVIDIA 軟件組件：

NVIDIA driver

NVIDIA 容器工具包

Kubernetes 設(shè)備插件

Monitoring

這些組件應(yīng)該在 GPU 資源可用于集群之前進(jìn)行配置，并在集群操作期間進(jìn)行管理。

GPU 操作員通過將所有組件封裝起來，簡化了組件的初始部署和管理。它使用標(biāo)準(zhǔn)的 kubernetes api 來自動(dòng)化和管理這些組件，包括版本控制和升級。 GPU 操作符是完全開源的。它在 NGC 上提供，并且是 NVIDIA EGX Stack和 Red Hat OpenShift 的一部分。

最新的 GPU 操作員版本 1 . 6 和 1 . 7 包括幾個(gè)新功能：

支持使用 NVIDIA 安培體系結(jié)構(gòu)產(chǎn)品自動(dòng)配置 MIG 幾何圖形

支持預(yù)安裝的 NVIDIA 驅(qū)動(dòng)程序和 NVIDIA 容器工具包

更新了對 Red Hat OpenShift 4 . 7 的支持

更新了 GPU 驅(qū)動(dòng)程序版本，包括對 NVIDIA A40 、 A30 和 A10 的支持

使用 Containerd 支持 RuntimeClass

多實(shí)例 GPU 支持

多實(shí)例 GPU （ MIG ）擴(kuò)展了每個(gè) NVIDIA A100 TensorCoreGPU 的性能和價(jià)值。 MIG 可以將 A100 或 A30 GPU 劃分為多達(dá)七個(gè)實(shí)例（ A100 ）或四個(gè)實(shí)例（ A30 ），每個(gè)實(shí)例都用自己的高帶寬內(nèi)存、緩存和計(jì)算核心完全隔離。

如果沒有 MIG ，在同一 GPU 上運(yùn)行的不同作業(yè)（如不同的 AI 推斷請求）將爭奪相同的資源（如內(nèi)存帶寬）。使用 MIG ，作業(yè)在不同的實(shí)例上同時(shí)運(yùn)行，每個(gè)實(shí)例都有專用的計(jì)算、內(nèi)存和內(nèi)存帶寬資源。這將產(chǎn)生可預(yù)測的性能、服務(wù)質(zhì)量和最大 GPU 利用率。因?yàn)橥瑫r(shí)作業(yè)可以操作， MIG 是邊緣計(jì)算用例的理想選擇。

GPU Operator 1 . 7 添加了一個(gè)名為 NVIDIA MIG Kubernetes Manager， 的新組件，它作為守護(hù)程序運(yùn)行，管理每個(gè)節(jié)點(diǎn)上的 MIG 模式和 MIG 配置更改。您可以在節(jié)點(diǎn)上應(yīng)用 MIG 配置，方法是添加一個(gè)指示要應(yīng)用的預(yù)定義配置名稱的標(biāo)簽。應(yīng)用 MIG 配置后， GPU 運(yùn)算符自動(dòng)驗(yàn)證是否按預(yù)期應(yīng)用了 MIG 更改。

預(yù)裝驅(qū)動(dòng)程序和容器工具包

GPU Operator 1 . 7 現(xiàn)在支持有選擇地安裝 NVIDIA 驅(qū)動(dòng)程序和容器工具包（容器配置）組件。這個(gè)新特性為預(yù)安裝驅(qū)動(dòng)程序或 nvidia-docker2 包的環(huán)境提供了極大的靈活性。這些環(huán)境現(xiàn)在可以使用 GPU 操作符簡化對其他軟件組件的管理，如設(shè)備插件、 GPU 功能發(fā)現(xiàn)插件、用于監(jiān)視的 DCGM 導(dǎo)出器或用于 Kubernetes 的 MIG 管理器。

只預(yù)裝驅(qū)動(dòng)程序的 Install 命令：

 helm install --wait --generate-name \
  nvidia/gpu-operator \
  --set driver.enabled=false 

預(yù)裝驅(qū)動(dòng)程序和nvidia-docker2的 Install 命令：

 helm install --wait --generate-name \
  nvidia/gpu-operator \
  --set driver.enabled=false
  --set toolkit.enabled=false 

增加了對 Red Hat OpenShift 的支持

我們繼續(xù)支持 Red Hat OpenShift ，

GPU Operator 1 . 6 和 1 . 7 支持最新的 Red Hat OpenShift 4 . 7 版本。

GPU 運(yùn)算符 1 . 5 支持 Red Hat OpenShift 4 . 6 。

GPU 操作符 1 . 4 和 1 . 3 分別支持 Red Hat OpenShift 4 . 5 和 4 . 4 。

GPU 操作員是經(jīng)過 OpenShift 認(rèn)證的操作員。通過 OpenShift web 控制臺(tái)，只需單擊幾下鼠標(biāo)即可安裝并開始使用 GPU 操作符。作為一名經(jīng)過認(rèn)證的操作員，使用 NVIDIA GPU s 和 Red Hat OpenShift 非常容易。

GPU 對 NVIDIA A40 、 A30 和 A10 的驅(qū)動(dòng)程序支持

我們更新了 GPU 驅(qū)動(dòng)程序版本，包括對 NVIDIA A40 、 A30 和 A10 的支持。

NVIDIA A40

NVIDIA A40 提供了設(shè)計(jì)師、工程師、藝術(shù)家和科學(xué)家所需的基于數(shù)據(jù)中心的解決方案，以應(yīng)對當(dāng)今的挑戰(zhàn)。 A40 基于 NVIDIA 安培架構(gòu)，結(jié)合了最新一代 RT 核、張量核和 CUDA 核。它有 48 GB 的圖形內(nèi)存，用于前所未有的圖形、渲染、計(jì)算和人工智能性能。從功能強(qiáng)大的虛擬工作站到專用的渲染和計(jì)算節(jié)點(diǎn)， A40 旨在處理來自數(shù)據(jù)中心的最苛刻的可視化計(jì)算工作負(fù)載。

NVIDIA A30

NVIDIA A30 張量核 GPU 是用于人工智能推理和企業(yè)工作負(fù)載的最通用的主流計(jì)算機(jī) GPU 。具有 MIG 的 Tensor 內(nèi)核與 165W 低功耗外殼中的快速內(nèi)存帶寬結(jié)合在一起，所有這些都采用 PCIe 外形，是主流服務(wù)器的理想選擇。

A30 是為大規(guī)模人工智能推理而構(gòu)建的，它還可以使用 TF32 快速重新訓(xùn)練人工智能模型，并使用 FP64 張量核加速高性能計(jì)算的應(yīng)用。 NVIDIA 安培體系結(jié)構(gòu)張量內(nèi)核和 MIG 的結(jié)合在不同的工作負(fù)載上提供了安全的加速，所有這些都由一個(gè)多功能的 GPU 提供動(dòng)力，實(shí)現(xiàn)了彈性數(shù)據(jù)中心。多功能 A30 計(jì)算能力為主流企業(yè)提供最大價(jià)值。

NVIDIA A10

NVIDIA A10 張量核 GPU 是具有人工智能的主流媒體和圖形的理想 GPU 。第二代 RT 核和第三代 Tensor 核通過強(qiáng)大的 AI 豐富了圖形和視頻應(yīng)用程序。 NVIDIA A10 為密集服務(wù)器提供了一個(gè)寬、全高、全長 PCIe 外形尺寸和 150W 電源外殼。

NVIDIA A10 Tensor Core GPU 專為具有強(qiáng)大 AI 功能的圖形、媒體和云游戲應(yīng)用程序而設(shè)計(jì)，可提供豐富的媒體體驗(yàn)。與 NVIDIA T4 張量內(nèi)核 GPU 相比，它提供了高達(dá) 4k 的云游戲，圖形性能是 NVIDIA T4 張量內(nèi)核的 2 . 5 倍，推理性能是 GPU 的 3 倍以上。

對 Containerd 的 RuntimeClass 支持

RuntimeClass 為您提供了選擇每個(gè) Pod 的容器運(yùn)行時(shí)配置，然后為每個(gè)節(jié)點(diǎn)上的所有 Pod 應(yīng)用默認(rèn)運(yùn)行時(shí)配置的靈活性。通過這種支持，您可以為運(yùn)行 GPU – 加速工作負(fù)載的 pod 指定特定的運(yùn)行時(shí)配置，并為通用工作負(fù)載選擇其他運(yùn)行時(shí)。

GPU Operator v1 . 7 . 0 現(xiàn)在支持在安裝過程中將默認(rèn)運(yùn)行時(shí)選擇為 containerd 時(shí)自動(dòng)創(chuàng)建 nvidia RuntimeClass 。 運(yùn)行使用 GPU 的應(yīng)用程序時(shí)，可以顯式指定此 RuntimeClass 名稱。

 apiVersion: node.k8s.io/v1beta1
 handler: nvidia
 kind: RuntimeClass
 metadata:
 labels:
  app.kubernetes.io/component: gpu-operator

name: nvidia 關(guān)于作者

Troy Estes 是 NVIDIA Edge 和企業(yè)計(jì)算解決方案的產(chǎn)品營銷經(jīng)理。在加入 Edge & Enterprise 業(yè)務(wù)部門之前，特洛伊曾在自主汽車業(yè)務(wù)部門和 NVIDIA 電網(wǎng)產(chǎn)品集團(tuán)從事營銷活動(dòng)和支持產(chǎn)品 GTM 。

Erik Bohnhorst 是 NVIDIA 的高級產(chǎn)品經(jīng)理，專注于云本地技術(shù)，為 edge 和數(shù)據(jù)中心構(gòu)建一流的解決方案。 Erik 于 2014 年加入 NVIDIA ，以解決方案架構(gòu)師的身份幫助客戶構(gòu)建世界一流的虛擬化遠(yuǎn)程工作站。埃里克領(lǐng)導(dǎo)技術(shù)營銷團(tuán)隊(duì)，直到他加入了 EGX 團(tuán)隊(duì)。

審核編輯：郭婷