使用DPU迎接HPC和超級計(jì)算性能的新時代

超級計(jì)算機(jī)被用來建模和模擬科學(xué)計(jì)算中最復(fù)雜的過程，通常是為了洞察新發(fā)現(xiàn)，否則這些新發(fā)現(xiàn)將不實(shí)際或不可能在物理上演示。

NVIDIA BlueField data processing unit （ DPU ）正在將 high-performance computing （ HPC ）資源轉(zhuǎn)化為更高效的系統(tǒng)，同時加速從數(shù)學(xué)建模和分子動力學(xué)到天氣預(yù)報(bào)、氣候研究，甚至可再生能源的廣泛科學(xué)研究中的問題解決。

圖 1. NVIDIA BlueField DPU 的創(chuàng)新領(lǐng)域

BlueField 已經(jīng)在 云端網(wǎng)絡(luò) 、 網(wǎng)絡(luò)安全 、 通信 和 邊緣計(jì)算 領(lǐng)域產(chǎn)生了顯著影響。此外，在高性能計(jì)算的幾個領(lǐng)域，它正在激發(fā)應(yīng)用程序性能和系統(tǒng)效率方面的創(chuàng)新。

NVIDIA BlueField-3 提供基于多個 Arm AArch64 核的強(qiáng)大計(jì)算能力、多線程數(shù)據(jù)路徑加速器、集成的 NVIDIA ConnectX-7 400Gb/s 網(wǎng)絡(luò) ，以及 I / O 路徑中廣泛的可編程加速引擎。它配備了雙 DDR 6500MT / s DRAM 控制器，并配有高達(dá) 32 GB 的板載內(nèi)存。 BlueField-3 是第三代芯片上數(shù)據(jù)中心基礎(chǔ)設(shè)施，支持從云到核心數(shù)據(jù)中心再到邊緣的高效、強(qiáng)大的軟件定義、硬件加速基礎(chǔ)設(shè)施。

那么，這一切對高性能計(jì)算意味著什么呢？

提高 HPC 應(yīng)用程序性能和可擴(kuò)展性

HPC 的核心是提高性能和可擴(kuò)展性。近二十年來， InfiniBand 網(wǎng)絡(luò)在性能和應(yīng)用程序可擴(kuò)展性方面一直處于領(lǐng)先地位，這有幾個原因。

從高層次來看， InfiniBand 只是移動數(shù)據(jù)的最有效方式：直接數(shù)據(jù)放置。不需要涉及 CPU 或操作系統(tǒng)，也不需要在數(shù)據(jù)從網(wǎng)絡(luò)接口通過系統(tǒng)到達(dá)需要它的實(shí)際應(yīng)用程序時制作數(shù)據(jù)的多個副本。

如果 InfiniBand 已經(jīng)如此高效， BlueField 會帶來什么好處？

InfiniBand 多年來一直在解決的一個關(guān)鍵挑戰(zhàn)是將網(wǎng)絡(luò)通信開銷從 CPU 移開，使其能夠?qū)r間集中在最擅長的方面：應(yīng)用程序計(jì)算和分支代碼。

當(dāng)今主流服務(wù)器中的 CPU 過于通用，在數(shù)百或數(shù)千個與實(shí)際計(jì)算幾乎無關(guān)的進(jìn)程中共享其計(jì)算周期、時間和資源。

BlueField 通過卸載、加速和隔離廣泛的高級網(wǎng)絡(luò)、存儲和安全服務(wù)，為超級計(jì)算帶來了前所未有的創(chuàng)新和效率。

為什么人工智能時代帶來了對 BlueField DPU 的需求

人工智能研究領(lǐng)域成立于 1956 年，是一門學(xué)術(shù)學(xué)科。甚至在那之前的十年，科學(xué)家們就開始討論創(chuàng)造人工大腦的可能性。隨著現(xiàn)代計(jì)算機(jī)硬件和軟件的發(fā)展，這些概念很晚才成為現(xiàn)實(shí)。

2006 年， NVIDIA 推出了業(yè)界第一個針對 GPU 的 C 編譯器開發(fā)環(huán)境 CUDA ，解決復(fù)雜計(jì)算問題的速度比傳統(tǒng)方法快 100 倍。今天，人工智能豐富多彩，幾乎推動了科學(xué)研究的每個領(lǐng)域，改變了我們的生活，塑造了工業(yè)景觀。

同樣， 2006 年中期引入了對非阻塞集合操作的第一個建議的引用。消息傳遞接口（ MPI ）的集合組通信功能的非阻塞接口在理論上肯定是豐富的。然而，它并沒有在許多應(yīng)用程序中實(shí)現(xiàn)。也許這是因?yàn)?，在引?DPU 之前，無法實(shí)現(xiàn)全部好處。

今天，隨著 BlueField-3 的問世，這項(xiàng)技術(shù)已經(jīng)提供了創(chuàng)新、性能和效率所需的基本要素。為了提高應(yīng)用程序性能和可伸縮性，并消除操作系統(tǒng)抖動的影響，非阻塞集合操作重新引起了人們的興趣。

科學(xué)計(jì)算還有幾個領(lǐng)域，包括早期的例子， BlueField 正在演示如何將 HPC 轉(zhuǎn)化為高效和可持續(xù)的計(jì)算。

使用網(wǎng)絡(luò)計(jì)算節(jié)省 CPU 周期

NVIDIA Scalable Hierarchical Aggregation and Reduction Protocol （SHARP） 技術(shù)通過將許多阻塞的集體操作從 CPU 卸載到交換機(jī)網(wǎng)絡(luò)，并消除了在端點(diǎn)之間多次發(fā)送數(shù)據(jù)的需要，從而提高了 MPI 操作的性能。這種創(chuàng)新的方法減少了到達(dá)聚合節(jié)點(diǎn)時穿越網(wǎng)絡(luò)的數(shù)據(jù)量，并大大減少了 MPI 操作時間。

BlueField 通過利用其 Arm 內(nèi)核實(shí)現(xiàn)非阻塞操作，擴(kuò)展了額外的網(wǎng)絡(luò)計(jì)算能力。這使系統(tǒng)主機(jī) CPU 能夠執(zhí)行峰值重疊計(jì)算。

圖 2 顯示了一個使用 MVAPICH2- DPU 庫的示例，該庫正在進(jìn)行優(yōu)化，以充分利用 BlueField 的潛力。它顯示了提取主機(jī)上發(fā)生的計(jì)算與 MPI_Ialltoall 通信之間的峰值重疊的能力。

圖 2.使用 NVIDIA BlueField 技術(shù)與非阻塞通信和計(jì)算的重疊 全部全部

HPC 工作負(fù)載的計(jì)算存儲

計(jì)算存儲或 in-storage computing 為傳統(tǒng)存儲設(shè)備帶來了 HPC 功能。在存儲計(jì)算中，您可以在存儲設(shè)備內(nèi)或旁邊執(zhí)行選定的計(jì)算任務(wù)，從而減輕主機(jī)處理負(fù)擔(dān)并減少數(shù)據(jù)移動。 BlueField 提供在單個卡上結(jié)合存儲和網(wǎng)絡(luò)計(jì)算的能力。

BlueField 使存儲軟件堆棧能夠從計(jì)算節(jié)點(diǎn)卸載，同時作為連接結(jié)構(gòu)的 NVMe 控制器存在，能夠加速關(guān)鍵存儲功能，如壓縮、校驗(yàn)和計(jì)算和奇偶校驗(yàn)生成。此類服務(wù)在并行文件系統(tǒng)中提供。

整個存儲系統(tǒng)堆棧在 Linux 內(nèi)核中透明卸載，同時在 NVMe 目標(biāo)端實(shí)現(xiàn)標(biāo)準(zhǔn)存儲功能的簡單 NVIDIA DOCA 實(shí)現(xiàn)。

新一代開放存儲體系結(jié)構(gòu)為加速、隔離和保護(hù)高性能存儲系統(tǒng)提供了一種新的范例。該系統(tǒng)采用硬件和軟件協(xié)同設(shè)計(jì)，使得 DPU 對用戶來說非常高效和透明。

文件系統(tǒng)的加速意味著提高存儲系統(tǒng)中關(guān)鍵功能的性能，而存儲系統(tǒng)性能是基于深入學(xué)習(xí)的科學(xué)探究的關(guān)鍵促成因素。

將存儲客戶端和服務(wù)器完全卸載到 DPU 的能力導(dǎo)致以前無法實(shí)現(xiàn)的安全和性能隔離級別。關(guān)鍵數(shù)據(jù)平面和控制平面功能移動到 DPU 上的單獨(dú)域。這樣可以免除服務(wù)器 CPU 的工作，并在 CPU 或其軟件受損的情況下保護(hù)功能。

NVIDIA DOCA 軟件框架

NVIDIA DOCA SDK 是釋放 BlueField 潛力的關(guān)鍵。 NVIDIA DOCA 和 BlueField 通過一個全面、開放的開發(fā)平臺，共同實(shí)現(xiàn)了應(yīng)用程序的開發(fā)，這些應(yīng)用程序可以提供突破性的網(wǎng)絡(luò)、安全、存儲和應(yīng)用程序性能。

NVIDIA DOCA 支持一系列操作系統(tǒng)和發(fā)行版，包括驅(qū)動程序、庫、工具、文檔和示例應(yīng)用程序。即將發(fā)布的 NVIDIA DOCA 1.5 和 2.0 版本引入了廣泛的網(wǎng)絡(luò)、存儲、安全功能和增強(qiáng)功能，為 HPC 開發(fā)人員提供突破性的性能和高級編程能力：

一個新的通信通道庫

快速訪問主機(jī)內(nèi)存以實(shí)現(xiàn) UCX 加速

存儲仿真（ SNAP ），包括存儲加密

新的 NVIDIA DOCA 服務(wù)，包括 UCC 卸載服務(wù)和遙測服務(wù)

NVIDIA DOCA 安全 SDK

改造 HPC 的今天和明天

BlueField 、 NVIDIA DOCA 以及社區(qū)將繼續(xù)改造 HPC 的許多創(chuàng)新領(lǐng)域已經(jīng)初露端倪。

有些想法已經(jīng)過時了，例如在數(shù)據(jù)中心范圍內(nèi)增強(qiáng)性能隔離，或增強(qiáng)作業(yè)調(diào)度程序以實(shí)現(xiàn)更智能的作業(yè)安排。

由于科學(xué)應(yīng)用通常高度同步，系統(tǒng)噪聲對大型 HPC 系統(tǒng)的負(fù)面影響可能對性能產(chǎn)生更大的影響。減少存儲等其他過程引起的系統(tǒng)噪音至關(guān)重要。

遙測信息功能強(qiáng)大。它不僅僅是收集有關(guān)路由器、交換機(jī)和網(wǎng)絡(luò)流量的信息。相反，可以通過工作負(fù)載和 I / O 特性收集和共享信息。

AI 框架精確地調(diào)整了 NVIDIA Quantum-2 InfiniBand 平臺中的性能隔離算法。共享公共數(shù)據(jù)中心資源（如網(wǎng)絡(luò)和存儲）的多應(yīng)用程序環(huán)境可以確保盡可能最佳的性能，就像應(yīng)用程序作為單個實(shí)例在裸機(jī)上運(yùn)行一樣。

關(guān)于作者

Scot Schultz 是 HPC 技術(shù)專家，專注于人工智能和機(jī)器學(xué)習(xí)系統(tǒng)。 Scot 在分布式計(jì)算、操作系統(tǒng)、人工智能框架、高速互連和處理器技術(shù)方面擁有廣泛的知識。在他的整個職業(yè)生涯中，擁有超過 25 年的高性能計(jì)算系統(tǒng)經(jīng)驗(yàn)，他的職責(zé)包括各種工程和領(lǐng)導(dǎo)角色，包括戰(zhàn)略 HPC 技術(shù)生態(tài)系統(tǒng)支持。 Scot 在眾多行業(yè)標(biāo)準(zhǔn)組織的成長和發(fā)展中發(fā)揮了重要作用。

審核編輯：郭婷