NVIDIA BlueField DPU提高HPC應(yīng)用程序性能和可擴(kuò)展性

超級(jí)計(jì)算機(jī)用于建模和模擬科學(xué)計(jì)算中最復(fù)雜的過程，通常是為了洞察新發(fā)現(xiàn)，否則這些新發(fā)現(xiàn)在物理上是不切實(shí)際的或不可能演示的。

NVIDIA BlueField DPU（數(shù)據(jù)處理器）正在將高性能計(jì)算（HPC）資源轉(zhuǎn)化為更高效的系統(tǒng)，同時(shí)在從數(shù)學(xué)建模和分子動(dòng)力學(xué)到天氣預(yù)報(bào)、氣候研究，甚至可再生能源的廣泛科學(xué)研究中加速解決問題。

BlueField 已經(jīng)在云網(wǎng)絡(luò)、網(wǎng)絡(luò)安全、通信和邊緣計(jì)算領(lǐng)域產(chǎn)生了顯著影響。此外，在高性能計(jì)算的多個(gè)領(lǐng)域引發(fā)了應(yīng)用程序性能和系統(tǒng)效率方面的創(chuàng)新。

NVIDIA BlueField-3 提供了強(qiáng)大的計(jì)算能力，其基于多個(gè) Arm AArch64 內(nèi)核、多線程數(shù)據(jù)路徑加速器、集成的 NVIDIA ConnectX-7 400Gb/s 網(wǎng)絡(luò) ，以及 I/O 路徑中的各種可編程加速引擎。它配備了雙 DDR 6500MT / s DRAM 控制器，并配有高達(dá) 32 GB 的板載內(nèi)存。BlueField-3 是第三代片上數(shù)據(jù)中心基礎(chǔ)設(shè)施，可實(shí)現(xiàn)從云到核心數(shù)據(jù)中心再到邊緣的、高效且強(qiáng)大的軟件定義、硬件加速基礎(chǔ)設(shè)施。

那么，這一切對(duì)高性能計(jì)算意味著什么呢？

提高 HPC 應(yīng)用程序性能和可擴(kuò)展性

HPC 就是為了提高性能和可擴(kuò)展性。近二十年來，InfiniBand 網(wǎng)絡(luò)在性能和應(yīng)用程序可擴(kuò)展性方面一直處于領(lǐng)先地位，這有幾個(gè)原因。

從高層次來看，InfiniBand 只是最有效的數(shù)據(jù)移動(dòng)方式：直接數(shù)據(jù)放置。在數(shù)據(jù)從網(wǎng)絡(luò)接口通過系統(tǒng)到達(dá)需要它的實(shí)際應(yīng)用程序時(shí)，無需涉及 CPU 或操作系統(tǒng)，也無需制作數(shù)據(jù)的多個(gè)副本。

如果 InfiniBand 已經(jīng)如此高效，BlueField 會(huì)帶來什么好處？

InfiniBand 多年來一直在解決的關(guān)鍵挑戰(zhàn)之一是將網(wǎng)絡(luò)通信開銷從 CPU 移開，使其能夠?qū)r(shí)間集中在最擅長(zhǎng)的事情上：應(yīng)用程序計(jì)算和分支代碼。

當(dāng)今主流服務(wù)器中的 CPU 過于通用，在數(shù)百或數(shù)千個(gè)與實(shí)際計(jì)算幾乎無關(guān)的進(jìn)程中共享其計(jì)算周期、時(shí)間和資源。

BlueField 通過卸載、加速和隔離廣泛的高級(jí)網(wǎng)絡(luò)、存儲(chǔ)和安全服務(wù)，為超級(jí)計(jì)算帶來了前所未有的創(chuàng)新和效率。

為什么人工智能時(shí)代帶來了

對(duì) BlueField DPU 的需求

人工智能研究領(lǐng)域作為一門學(xué)科于 1956 年成立。甚至在那之前的十年，科學(xué)家們就開始討論創(chuàng)造人工大腦的可能性。隨著現(xiàn)代計(jì)算機(jī)硬件和軟件的發(fā)展，這些概念很晚才成為現(xiàn)實(shí)。

2006 年，NVIDIA 推出了業(yè)界首個(gè)針對(duì) GPU 的 C 編譯器開發(fā)環(huán)境 CUDA ，解決復(fù)雜計(jì)算問題的速度比傳統(tǒng)方法快 100 倍。今天，人工智能成果豐碩，幾乎推動(dòng)了科學(xué)研究的每個(gè)領(lǐng)域，改變了我們的生活，塑造了工業(yè)格局。

同樣， 2006 年年中推出了用于非阻塞集合操作的首個(gè)提案。為消息傳遞接口（MPI）的集合組通信功能而提出的非阻塞接口在理論上肯定是成效斐然的。然而，它并沒有在許多應(yīng)用程序中實(shí)現(xiàn)。也許這是因?yàn)?，在引?DPU 之前，無法實(shí)現(xiàn)全部好處。

今天，隨著 BlueField-3 的問世，這項(xiàng)技術(shù)已經(jīng)提供了創(chuàng)新、性能和效率所需的基本要素。為了提高應(yīng)用程序性能和可伸縮性，并消除操作系統(tǒng)抖動(dòng)的影響，非阻塞集合操作重新引起了人們的興趣。

科學(xué)計(jì)算還有幾個(gè)領(lǐng)域，包括早期的例子，BlueField 正在展示其如何將 HPC 轉(zhuǎn)化為高效和可持續(xù)的計(jì)算。

通過網(wǎng)絡(luò)計(jì)算節(jié)省 CPU 周期

NVIDIA 的 Scalable Hierarchical Aggregation and Reduction Protocol（SHARP）技術(shù)通過將許多阻塞集體操作從 CPU 卸載到交換網(wǎng)絡(luò)，且無需在端點(diǎn)之間多次發(fā)送數(shù)據(jù)，從而提高了 MPI 操作的性能。這種創(chuàng)新的方法減少了到達(dá)聚合節(jié)點(diǎn)時(shí)穿越網(wǎng)絡(luò)的數(shù)據(jù)量，并大大減少了 MPI 操作時(shí)間。

BlueField 通過利用其 Arm 內(nèi)核實(shí)現(xiàn)非阻塞操作，擴(kuò)展了額外的網(wǎng)絡(luò)計(jì)算能力。這使系統(tǒng)主機(jī) CPU 能夠執(zhí)行峰值重疊計(jì)算。

圖 2 顯示了一個(gè)使用 MVAPICH2- DPU 庫的示例，該庫正在進(jìn)行優(yōu)化，以充分利用 BlueField 的全部潛力。它顯示了提取主機(jī)上發(fā)生的計(jì)算與 MPI_Ialltoall 通信之間的峰值重疊的能力。

適用于 HPC 工作負(fù)載的計(jì)算存儲(chǔ)

計(jì)算存儲(chǔ)（或稱為存儲(chǔ)計(jì)算）為傳統(tǒng)存儲(chǔ)設(shè)備帶來了 HPC 功能。在計(jì)算存儲(chǔ)中，您可以在存儲(chǔ)設(shè)備內(nèi)或旁邊執(zhí)行選定的計(jì)算任務(wù)，從而減輕主機(jī)處理負(fù)擔(dān)并減少數(shù)據(jù)移動(dòng)。BlueField 提供在單卡上結(jié)合存儲(chǔ)和網(wǎng)絡(luò)計(jì)算的能力。

BlueField 使存儲(chǔ)軟件堆棧能夠從計(jì)算節(jié)點(diǎn)卸載，同時(shí)還可作為網(wǎng)絡(luò)架構(gòu)附加 NVMe 控制器，能夠加速關(guān)鍵存儲(chǔ)功能，如壓縮、校驗(yàn)和計(jì)算以及奇偶校驗(yàn)生成。此類服務(wù)在并行文件系統(tǒng)中提供。

整個(gè)存儲(chǔ)系統(tǒng)堆棧在 Linux 內(nèi)核中透明卸載，同時(shí)在 NVMe 目標(biāo)端由 NVIDIA DOCA 簡(jiǎn)單實(shí)現(xiàn)標(biāo)準(zhǔn)存儲(chǔ)功能。

新一代開放存儲(chǔ)架構(gòu)為加速、隔離和保護(hù)高性能存儲(chǔ)系統(tǒng)提供了一種新的范例。該系統(tǒng)采用硬件和軟件協(xié)同設(shè)計(jì)，使 DPU 對(duì)用戶來說非常高效和透明。

文件系統(tǒng)的加速意味著提高存儲(chǔ)系統(tǒng)中關(guān)鍵功能的性能，而存儲(chǔ)系統(tǒng)性能是基于深入學(xué)習(xí)的科學(xué)探究的關(guān)鍵促成因素。

將存儲(chǔ)客戶端和服務(wù)器完全卸載到 DPU 的能力帶來以前無法實(shí)現(xiàn)的安全和性能隔離級(jí)別。關(guān)鍵數(shù)據(jù)平面和控制平面功能移動(dòng)到 DPU 上的單獨(dú)域。這樣可以免除服務(wù)器 CPU 的工作負(fù)擔(dān)，并在 CPU 或其軟件受損的情況下保護(hù)功能。

NVIDIA DOCA 軟件框架

NVIDIA DOCA SDK 是釋放 BlueField 潛力的關(guān)鍵。NVIDIA DOCA 和 BlueField DPU 通過一個(gè)全面、開放的開發(fā)平臺(tái)，共同實(shí)現(xiàn)了應(yīng)用程序的開發(fā)，這些應(yīng)用程序可以提供突破性的網(wǎng)絡(luò)、安全、存儲(chǔ)和應(yīng)用程序性能。

NVIDIA DOCA 支持一系列操作系統(tǒng)和發(fā)行版，包括驅(qū)動(dòng)程序、庫、工具、文檔和示例應(yīng)用程序。即將發(fā)布的 NVIDIA DOCA 1.5 和 2.0 版本引入了廣泛的網(wǎng)絡(luò)、存儲(chǔ)、安全功能和增強(qiáng)功能，為 HPC 開發(fā)人員提供突破性的性能和高級(jí)編程能力：

全新的通信通道庫

快速訪問主機(jī)內(nèi)存以實(shí)現(xiàn) UCX 加速

存儲(chǔ)仿真（SNAP），包括存儲(chǔ)加密

全新的 NVIDIA DOCA 服務(wù)，包括 UCC 卸載服務(wù)和遙測(cè)服務(wù)

NVIDIA DOCA 安全 SDK

改變 HPC 領(lǐng)域的今天和明天

許多創(chuàng)新領(lǐng)域已經(jīng)初露端倪，BlueField DPU 、NVIDIA DOCA 以及社區(qū)將繼續(xù)為 HPC 領(lǐng)域帶來改變。

有些想法已經(jīng)實(shí)現(xiàn)了，例如在數(shù)據(jù)中心范圍內(nèi)增強(qiáng)性能隔離，或增強(qiáng)作業(yè)調(diào)度程序以實(shí)現(xiàn)更智能的作業(yè)安排。

由于科學(xué)應(yīng)用程序通常是高度同步的，因此系統(tǒng)噪聲對(duì)大型 HPC 系統(tǒng)的負(fù)面影響可能會(huì)對(duì)性能產(chǎn)生更大的影響。減少存儲(chǔ)等其他過程引起的系統(tǒng)噪音至關(guān)重要。

遙測(cè)信息功能強(qiáng)大。它不僅僅是收集有關(guān)路由器、交換機(jī)和網(wǎng)絡(luò)流量的信息。相反，可以通過工作負(fù)載和 I/O 特性收集和共享信息。

AI 框架精確地調(diào)整了 NVIDIA Quantum-2 InfiniBand 平臺(tái)中的性能隔離算法。共享公共數(shù)據(jù)中心資源（如網(wǎng)絡(luò)和存儲(chǔ)）的多應(yīng)用程序環(huán)境可以確保能實(shí)現(xiàn)的最佳性能，就像應(yīng)用程序作為單個(gè)實(shí)例在裸機(jī)上運(yùn)行一樣。

BlueField DPU 完全有能力應(yīng)對(duì)大規(guī)模計(jì)算帶來的挑戰(zhàn)。

審核編輯：湯梓紅