NVIDIA網(wǎng)絡(luò)運營商優(yōu)化Kubernetes橫向擴展GPU部署和管理

GPU 加速計算在云計算、企業(yè)計算和邊緣計算領(lǐng)域的日益普及，越來越依賴于強健而強大的網(wǎng)絡(luò)基礎(chǔ)設(shè)施。 NVIDIA ConnectX SmartNICs 和 NVIDIA BlueField DPU 提供了高吞吐量、低延遲的連接，使 GPU 資源能夠跨節(jié)點群擴展。為了滿足對云本地 AI 工作負(fù)載的需求， NVIDIA 提供了 GPU 運營商，旨在簡化 Kubernetes 上的橫向擴展 GPU 部署和管理。

今天， NVIDIA 宣布了 NVIDIA 網(wǎng)絡(luò)運營商的 1.0 版本。作為 NVIDIA GPU 運算符 的一個模擬，網(wǎng)絡(luò)運營商通過自動化網(wǎng)絡(luò)部署和配置的各個方面簡化了 Kubernetes 的擴展網(wǎng)絡(luò)設(shè)計，否則就需要手工操作。它在具有 NVIDIA 網(wǎng)絡(luò)接口的任何集群節(jié)點上加載所需的驅(qū)動程序、庫、設(shè)備插件和 CNI 。

與 GPU 運營商配合，網(wǎng)絡(luò)運營商啟用了 GPU 直接 RDMA ，這是一項關(guān)鍵技術(shù)，可將云本地 AI 工作負(fù)載加速幾個數(shù)量級。該技術(shù)在 NVIDIA GPU 之間提供了高效的零拷貝數(shù)據(jù)傳輸，同時利用了 SmartNICs 和 DPU 中的硬件引擎。圖 1 顯示了兩個 GPU 節(jié)點之間的 GPU 直接 RDMA 技術(shù)。節(jié)點 1 上的 GPU 通過網(wǎng)絡(luò)直接與節(jié)點 2 上的 GPU 通信，繞過 CPU 設(shè)備。

圖 1 。 GPU 兩個 GPU 節(jié)點之間的直接 RDMA 技術(shù)

NGC 網(wǎng)絡(luò)運營商現(xiàn)在可在 NGC 和 NVIDIA 上使用 Kubernetes 自定義資源 （ CRD ）和 操作員框架 來提供實現(xiàn)加速聯(lián)網(wǎng)所需的主機軟件。這篇文章討論了網(wǎng)絡(luò)運營商內(nèi)部的內(nèi)容，包括它的特性和功能。

易于部署和操作的 Kubernetes 網(wǎng)絡(luò)

網(wǎng)絡(luò)運營商致力于使 Kubernetes 網(wǎng)絡(luò)變得簡單和輕松。它是 Apache2 。 0 許可下的一個開源軟件項目。 1.0 版本針對運行在裸機服務(wù)器基礎(chǔ)設(shè)施和 Linux 虛擬化環(huán)境中的 Kubernetes 進(jìn)行了驗證。以下是 1.0 版的主要功能：

在裸機 Kubernetes 環(huán)境中自動部署主機軟件組件，以實現(xiàn)以下功能：

macvlan 輔助網(wǎng)絡(luò)

SR-IOV 二次網(wǎng)絡(luò)（分配給 pod 的 VF ）

主機設(shè)備輔助網(wǎng)絡(luò)（分配給 pod 的 PF ）

GPU 直接 RoCE （使用 NVIDIA GPU 運算符）

在嵌套的 Kubernetes 環(huán)境（在 Linux VMs 中運行的 Kubernetes Pods ）中自動部署主機軟件組件，以創(chuàng)建以下內(nèi)容：

SR-IOV 二級網(wǎng)絡(luò)（分配給 VM 的 VF 的#個，并通過不同的 POD ）

主機設(shè)備輔助網(wǎng)絡(luò)（分配給 Pod 的 PF ）

GPU 直接 RoCE （使用 NVIDIA GPU 運算符）

平臺支持：

Kubernetes v1 。 17 或更高版本

容器運行時： Containerd

裸機主機操作系統(tǒng)/ Linux 來賓操作系統(tǒng)： Ubuntu 20 。 04

Linux KVM 虛擬化

舵圖安裝

雖然啟用了 GPU 的節(jié)點是一個主要用例，但是網(wǎng)絡(luò)運營商對于啟用獨立于 NVIDIA GPU 的加速 Kubernetes 網(wǎng)絡(luò)環(huán)境也很有用。一些示例包括設(shè)置 SR-IOV 網(wǎng)絡(luò)和 DPDK 以加速電信 NFV 應(yīng)用程序、建立 RDMA 連接以快速訪問 NVMe 存儲等等。

NVIDIA 網(wǎng)絡(luò)運營商內(nèi)部

網(wǎng)絡(luò)運營商被設(shè)計成一個 Kubernetes 運營商，它利用多個定制資源為一個節(jié)點添加加速的網(wǎng)絡(luò)功能。 1 。 0 版本支持多種網(wǎng)絡(luò)模型，可適應(yīng)各種 Kubernetes 網(wǎng)絡(luò)環(huán)境和不同的應(yīng)用程序需求。如今，網(wǎng)絡(luò)運營商只為二級網(wǎng)絡(luò)配置 RoCE 。這意味著主吊艙網(wǎng)絡(luò)保持不變。將來的工作可能會允許為主網(wǎng)絡(luò)配置 RoCE 。

以下各節(jié)介紹網(wǎng)絡(luò)運營商打包和使用的不同組件。

節(jié)點功能發(fā)現(xiàn)

節(jié)點功能發(fā)現(xiàn) （ NFD ）是一個 Kubernetes 插件，用于檢測硬件特性和系統(tǒng)配置。網(wǎng)絡(luò)運營商使用 NFD 來檢測安裝了 NVIDIA SmartNICs 和 GPU 的節(jié)點，并將它們標(biāo)記為這樣的節(jié)點?；谶@些標(biāo)簽，網(wǎng)絡(luò)運營商安排適當(dāng)?shù)能浖Y源。

CNI 木耳

Multus CNI 是 Kubernetes 的容器網(wǎng)絡(luò)接口（ CNI ）插件，支持將多個網(wǎng)絡(luò)接口連接到 pod 。通常在庫伯內(nèi)特斯，每個吊艙只有一個網(wǎng)絡(luò)接口。使用 Multus ，您可以創(chuàng)建具有多個接口的多宿主 Pod 。 Multus 充當(dāng)一個 meta-plugin ，一個可以調(diào)用多個其他 CNI 插件的 CNI 插件。 NVIDIA 網(wǎng)絡(luò)運營商安裝 Multus ，將用于高速 GPU – GPU 通信的二級網(wǎng)絡(luò)添加到集裝箱吊艙中。

NVIDIA OFED 驅(qū)動器

NVIDIA OpenFabrics 企業(yè)分銷（ OFED ） 網(wǎng)絡(luò)庫和驅(qū)動程序由 節(jié)點標(biāo)簽 網(wǎng)絡(luò)團隊打包和測試。 NVIDIA OFED 通過 Infiniband 和以太網(wǎng)互連支持 遠(yuǎn)程直接內(nèi)存訪問 （ RDMA ）。網(wǎng)絡(luò)運營商使用 NVIDIA 將預(yù)編譯的 NVIDIA OFED 驅(qū)動程序容器部署到每個 Kubernetes 主機上。容器在啟動或停止時加載和卸載 NVIDIA OFED 驅(qū)動程序。

NVIDIA 對等內(nèi)存驅(qū)動程序

NVIDIA 對等內(nèi)存驅(qū)動程序 是一個客戶端，它與網(wǎng)絡(luò)驅(qū)動程序交互，以在 GPU 和主機內(nèi)存之間提供 RDMA 。網(wǎng)絡(luò)運營商在同時具有 ConnectX 適配器和 NVIDIA GPU 的節(jié)點上安裝 NVIDIA 對等內(nèi)存驅(qū)動程序。當(dāng)容器啟動和停止時，此驅(qū)動程序也會自動加載和卸載。

RDMA 共享設(shè)備插件

Kubernetes 設(shè)備插件框架 向 Kubernetes 節(jié)點上運行的 Kubelet 代理播發(fā)系統(tǒng)硬件資源。網(wǎng)絡(luò)運營商部署 RDMA 共享設(shè)備插件 向 Kubelet 播發(fā) RDMA 資源，并向節(jié)點上運行的 pod 公開 RDMA 設(shè)備。它允許吊艙執(zhí)行 RDMA 操作。節(jié)點上運行的所有 pod 共享對相同 RDMA 設(shè)備文件的訪問。

容器網(wǎng)絡(luò) CNI 插件

Macvlan CNI 公司 和 主機設(shè)備 CNI 是在 CNI 項目下托管的通用容器網(wǎng)絡(luò)插件。 macvlan CNI 創(chuàng)建一個新的 MAC 地址，并將所有通信轉(zhuǎn)發(fā)到容器。主機設(shè)備 CNI 將已經(jīng)存在的設(shè)備移動到容器中。網(wǎng)絡(luò)運營商使用這些 CNI 插件創(chuàng)建 macvlan 網(wǎng)絡(luò)，并將 NIC 物理功能分別分配給容器或虛擬機。

SR-IOV 設(shè)備插件和 CNI

SR-IOV 是一種在虛擬機或容器吊艙與 NIC 硬件之間提供直接接口的技術(shù)。它繞過了主機 CPU 和操作系統(tǒng)，從 I / O 任務(wù)中釋放出昂貴的 CPU 資源，并大大加快了連接速度。 SR-IOV 設(shè)備插件 和 CNI 插件 啟用 Kubernetes 節(jié)點上可用的 SR-IOV 虛擬功能（ VF ）。這兩者都是網(wǎng)絡(luò)運營商創(chuàng)建 SR-IOV VF 并將其分配給處理 GPU -to- GPU 通信的二級網(wǎng)絡(luò)所必需的。

SR-IOV 操作員

SR-IOV 操作符旨在幫助用戶在集群中提供和配置 SR-IOV 設(shè)備插件和 SR-IOV CNI 插件。網(wǎng)絡(luò)運營商使用 SR-IOV 操作員 在 Kubernetes 集群中部署和管理 SR-IOV 。

Whereabouts CNI

Whereabouts CNI 是一個 IP 地址管理（ IPAM ） CNI 插件，可以在 Kubernetes 集群中分配 IP 地址。網(wǎng)絡(luò)運營商使用此 CNI 為承載 GPU -to- GPU 通信的二級網(wǎng)絡(luò)分配 IP 地址。

更好的結(jié)合： NVIDIA 加速計算和網(wǎng)絡(luò)

圖 2 顯示了網(wǎng)絡(luò)運營商如何與 GPU 運營商協(xié)同工作來部署和管理主機網(wǎng)絡(luò)軟件。

圖 2 。網(wǎng)絡(luò)運營商與 NVIDIA GPU 運營商一起安裝，以在 EGX 堆棧上自動化 GPU 直接 RDMA 配置

以下部分描述了支持的網(wǎng)絡(luò)模型和相應(yīng)的主機軟件組件。

RoCE 共享模式

共享模式意味著在節(jié)點上的多個容器 pod 之間共享單個 IB 設(shè)備的方法。此網(wǎng)絡(luò)模型針對需要高性能網(wǎng)絡(luò)的企業(yè)和邊緣環(huán)境進(jìn)行了優(yōu)化，無需多租戶。網(wǎng)絡(luò)運營商安裝以下軟件組件：

Multus CNI

RoCE 共享模式設(shè)備插件

Macvlan CNI

Whereabouts IPAM CNI

網(wǎng)絡(luò)運營商還在 GPU 節(jié)點上安裝 NVIDIA OFED 驅(qū)動程序和 NVIDIA 對等內(nèi)存。

SR-IOV 、 RoCE 和 DPDK 網(wǎng)絡(luò)

如前所述， SR-IOV 是一種提供對 NIC 硬件的直接訪問的加速技術(shù)。此網(wǎng)絡(luò)模型針對運行在裸機上的多租戶 Kubernetes 環(huán)境進(jìn)行了優(yōu)化。網(wǎng)絡(luò)運營商安裝以下軟件組件：

Multus CNI

SR-IOV 設(shè)備插件

SR-IOV CN

Whereabouts IPAM CNI

網(wǎng)絡(luò)運營商還在 GPU 節(jié)點上安裝 NVIDIA OFED 驅(qū)動程序和 NVIDIA 對等內(nèi)存。

NIC PF 直通

這種網(wǎng)絡(luò)模式適合要求極高的應(yīng)用。網(wǎng)絡(luò)運營商可以將 NIC 物理功能分配給 Pod ，以便 Pod 充分利用它。網(wǎng)絡(luò)運營商安裝以下主機軟件組件：

Multus CNI

SR-IOV 設(shè)備插件

主機開發(fā) CNI

Whereabouts IPAM CNI

網(wǎng)絡(luò)運營商還在 GPU 節(jié)點上安裝 NVIDIA OFED 驅(qū)動程序和 NVIDIA 對等內(nèi)存。

為橫向擴展 GPU 集群優(yōu)化 Kubernetes 網(wǎng)絡(luò)

NVIDIA GPU 和網(wǎng)絡(luò)運營商都是 NVIDIA EGX 企業(yè)平臺的一部分，該平臺允許 GPU 加速計算與傳統(tǒng)企業(yè)應(yīng)用程序在同一 IT 基礎(chǔ)設(shè)施上協(xié)同工作?？偠灾?，運營商使 NVIDIA GPU 成為庫伯內(nèi)特斯的一等公民?，F(xiàn)在發(fā)布用于生產(chǎn)環(huán)境，網(wǎng)絡(luò)運營商簡化了 Kubernetes 網(wǎng)絡(luò)，帶來了必要的簡單性和可擴展性級別，以便在企業(yè)中實現(xiàn)擴展培訓(xùn)和邊緣推斷。

關(guān)于作者

Itay Ozery 是 NVIDIA 網(wǎng)絡(luò)產(chǎn)品營銷總監(jiān)。他為 Mellanox 的云網(wǎng)絡(luò)解決方案推動戰(zhàn)略性產(chǎn)品營銷和產(chǎn)品管理計劃。 Itay 在網(wǎng)絡(luò)安全領(lǐng)域領(lǐng)導(dǎo)了大規(guī)模的業(yè)務(wù)和項目，并與數(shù)據(jù)中心和電信服務(wù)提供商在 IT 系統(tǒng)和網(wǎng)絡(luò)工程領(lǐng)域擔(dān)任過多個職位。

審核編輯：郭婷