使用 NVIDIA BlueField-3 DPU 驅(qū)動下一波應(yīng)用程序

ChatGPT、Stable Diffusion、DALL-E 以及類似的應(yīng)用程序讓生成式 AI 震驚了世界。ChatGPT 是有史以來發(fā)展最快的應(yīng)用程序。其易用性和令人印象深刻的功能在短短幾個(gè)月內(nèi)吸引了超過一億用戶。

生成式 AI 為企業(yè)重塑其產(chǎn)品和商業(yè)模式帶來了緊迫感。正如 NVIDIA 創(chuàng)始人兼首席執(zhí)行官黃仁勛在 GTC 2023 主題演講中所說：“AI 的 iPhone 時(shí)刻已經(jīng)到來?！?NVIDIA 加速計(jì)算正在助力全球企業(yè)通過解決超出普通計(jì)算機(jī)能力的問題來利用人工智能。

NVIDIA BlueField DPU 助力加速計(jì)算

NVIDIA 加速計(jì)算技術(shù)堆棧使每個(gè)行業(yè)都能利用人工智能的強(qiáng)大功能，提供運(yùn)行下一波應(yīng)用程序所需的性能、規(guī)模和能效水平。

加速計(jì)算主要運(yùn)行在三個(gè)基本元素之上：

• CPU：用于串行處理和運(yùn)行超線程應(yīng)用程序。

• GPU：擅長并行處理，并針對加速現(xiàn)代工作負(fù)載進(jìn)行了優(yōu)化。

• DPU：非常適合基礎(chǔ)設(shè)施計(jì)算任務(wù)；用于卸載、加速和隔離數(shù)據(jù)中心網(wǎng)絡(luò)、存儲、安全和管理工作負(fù)載。

在現(xiàn)代軟件定義數(shù)據(jù)中心中，執(zhí)行虛擬化、網(wǎng)絡(luò)、存儲和安全的操作系統(tǒng)可能會消耗近一半的數(shù)據(jù)中心 CPU 核心和相關(guān)電力。數(shù)據(jù)中心必須加速每個(gè)工作負(fù)載以節(jié)省電力，并釋放 CPU 來處理創(chuàng)收工作負(fù)載。

NVIDIA BlueField DPU（數(shù)據(jù)處理器）卸載并加速數(shù)據(jù)中心操作系統(tǒng)和基礎(chǔ)設(shè)施軟件。

NVIDIA 正在其數(shù)據(jù)中心計(jì)算系統(tǒng)中集成 BlueField-3 DPU，包括第三代 NVIDIA OVX 系統(tǒng)，以便在數(shù)據(jù)中心規(guī)模創(chuàng)建和操作 NVIDIA Omniverse 應(yīng)用程序。想了解更多信息，請參閱 NVIDIA 發(fā)布用于驅(qū)動工業(yè)元宇宙應(yīng)用的第三代 OVX 計(jì)算系統(tǒng)，推動 Omniverse 實(shí)現(xiàn)大規(guī)模部署。

使用 DPU 的領(lǐng)先企業(yè)

Oracle 云基礎(chǔ)設(shè)施（OCI）繼在 GTC 2023 發(fā)布之后，最近公布了將 NVIDIA BlueField-3 DPU 集成到其網(wǎng)絡(luò)堆棧中的計(jì)劃。該計(jì)劃旨在通過將網(wǎng)絡(luò)和安全任務(wù)從 CPU 卸載到 DPU 來優(yōu)化數(shù)據(jù)中心性能，從而實(shí)現(xiàn)更快、更高效的處理。

通過利用 BlueField-3 DPU 的強(qiáng)大功能，OCI 隨時(shí)可以增強(qiáng)其基礎(chǔ)設(shè)施，為客戶提供無縫的云體驗(yàn)。想了解更多詳細(xì)信息，請參閱 Oracle 云基礎(chǔ)設(shè)施（OCI）選擇 NVIDIA BlueField 數(shù)據(jù)中心加速平臺。

此外，包括 Check Point、Cisco 、DDN、Dell EMC、Juniper、Palo Alto Networks、Red Hat 和 VMWare 在內(nèi)的二十多個(gè)生態(tài)系統(tǒng)合作伙伴使用 BlueField 數(shù)據(jù)中心加速技術(shù)來更高效地運(yùn)行其軟件平臺。

NVIDIA BlueField -3 平臺概述

NVIDIA BlueField-3 具有 220 億個(gè)晶體管，是第三代 NVIDIA DPU。它是一款片上系統(tǒng)（SoC）設(shè)備，可提供高達(dá) 400Gbps 以太網(wǎng)和 InfiniBand 連接。BlueField -3 DPU 最多支持四個(gè)不同的 MAC 地址，可以提供各種端口配置，從單個(gè) 400Gbps 端口（四通道 PAM4 112）到四個(gè) 25、50 或 100 Gbps端口。

與上一代相比，BlueField-3 DPU 具有 2 倍的網(wǎng)絡(luò)帶寬、4 倍的計(jì)算能力和幾乎 5 倍的內(nèi)存帶寬，同時(shí)通過 NVIDIA DOCA 軟件框架提供完全的向后兼容性。

這些關(guān)鍵進(jìn)步使 BlueField-3 DPU 能夠以高達(dá) 8 倍的速度運(yùn)行工作負(fù)載，同時(shí)降低 TCO 并提高數(shù)據(jù)中心能效。例如，BlueField -3 DPU 可從 CPU 卸載 HPC / AI MPI 集合通信，將速度提高近 20%，這相當(dāng)于為大型超級計(jì)算機(jī)節(jié)省 1800 萬美元的成本。想了解更多信息，請參閱節(jié)能環(huán)保：NVIDIA BlueField DPU 提升數(shù)據(jù)中心效率。

圖 1：與 NVIDIA BlueField -2 DPU 相比，

NVIDIA BlueField -3 DPU 的內(nèi)存帶寬和計(jì)算能力提高了四倍

BlueField-3 DPU 由三個(gè)主要模塊組成：

• 網(wǎng)絡(luò)：集成網(wǎng)絡(luò)和安全硬件加速器的最新一代 NVIDIA ConnectX-7 智能網(wǎng)卡。

• 可編程計(jì)算：具有 16 個(gè) ARM A78 v8.2 核心組成的強(qiáng)大集群，專為控制平面應(yīng)用程序提供優(yōu)化的、完全一致的低延遲網(wǎng)絡(luò)互連技術(shù)。數(shù)據(jù)平面可編程性通過加速管道線（pipeline）和新的可編程數(shù)據(jù)路徑加速器（DPA）實(shí)現(xiàn)。數(shù)據(jù)路徑加速器是一顆由 16 個(gè)超線程核心組成的 I/O 和數(shù)據(jù)包處理器，專為設(shè)備仿真、擁塞控制、自定義協(xié)議等 IO 密集型、低計(jì)算任務(wù)而構(gòu)建。

• 內(nèi)存：雙 64 位 DDR5-5600 內(nèi)存接口（80GB 帶寬）和集成的 32 通道第五代 PCIe 交換機(jī)。PCIe 接口可以分叉并用作服務(wù)器托管（端點(diǎn)）或自托管（根復(fù)合體），以管理 GPU 或直連 SSD 設(shè)備。

作為 “服務(wù)器前面的服務(wù)器”，BlueField-3 DPU 是唯一配備集成式 ASPEED AST2600 基板管理控制器（BMC）的 DPU 平臺。BlueField BMC 是一個(gè)專用處理器，用于監(jiān)控 DPU 板的物理狀態(tài)，并使系統(tǒng)管理員能夠通過獨(dú)立連接來管理平臺。這增強(qiáng)了系統(tǒng)的安全性、可靠性、可用性和可維護(hù)性。

DPU BMC 是一個(gè)受信任的實(shí)體，具有自己的外部信任根，以確保其固件的安全。它支持通過獨(dú)立的帶外管理網(wǎng)絡(luò)調(diào)配和管理 BlueField DPU，并使用標(biāo)準(zhǔn)接口和 Redfish 協(xié)議管理 DPU 的整個(gè)生命周期。

BMC 的一些功能包括：

• 控制臺接口訪問 BlueField DPU

• 設(shè)置 BlueField UEFI 配置

• 監(jiān)測 BlueField DPU 及其資源

• 更新和恢復(fù) BlueField DPU 固件

• 重置控制（即使在 BlueField 操作系統(tǒng)停止時(shí)）

BlueField-3 DPU 全面產(chǎn)品線

NVIDIA 提供了各種 BlueField-3 DPU 平臺，旨在滿足各行各業(yè)和用例的獨(dú)特計(jì)算、內(nèi)存和性能需求。這使客戶能夠選擇符合其特定要求的 BlueField-3 DPU 產(chǎn)品，同時(shí)享受先進(jìn)的功能和尖端的性能。

圖 2：面向不同目標(biāo)市場的

NVIDIA BlueField-3 DPU 旗艦平臺

目標(biāo)市場和旗艦平臺

BlueField-3 DPU 用于幾個(gè)關(guān)鍵旗艦平臺和目標(biāo)市場，具體如下：

超大規(guī)模高性能計(jì)算（HPC）/

人工智能（AI）

高性能計(jì)算和人工智能工作負(fù)載是率先采用 400Gbps（NDR InfiniBand 和 400 GbE）網(wǎng)絡(luò)速度的工作負(fù)載，因?yàn)楦咝阅苡?jì)算就是為了實(shí)現(xiàn)最高性能和巨大規(guī)模的。BlueField DPU 利用其 ARM 核心從系統(tǒng)主機(jī) CPU 卸載消息傳遞接口（MPI）的元素，并實(shí)現(xiàn)了無阻塞集合通信，從而擴(kuò)展了 NVIDIA 網(wǎng)絡(luò)計(jì)算能力。這使得系統(tǒng)主機(jī) CPU 能夠在峰值重疊時(shí)執(zhí)行計(jì)算。

B3240：擁有滿足極具挑戰(zhàn)性的超大規(guī)模高性能計(jì)算/人工智能需求的強(qiáng)大性能和網(wǎng)絡(luò)能力。此 BlueField-3 DPU 平臺為 NVIDIA DGX H100 等系統(tǒng)提供動力，使其能夠承擔(dān)科學(xué)研究或生成人工智能的工作負(fù)載。它使用雙 400Gbps NDR 連接、32GB DDR5 內(nèi)存子系統(tǒng)和 2.3GHz 的 ARM 核心速度。

B3140H：具有半高半長（HHHL）外形規(guī)格，使其與大多數(shù)企業(yè)服務(wù)器兼容。該設(shè)備提供單個(gè) 400Gbps 端口和 16GB DDR5 內(nèi)存，同時(shí)在低功耗范圍內(nèi)運(yùn)行。這使其成為高性能計(jì)算/人工智能環(huán)境的理想選擇，在空間或電源可用性受限的環(huán)境下實(shí)現(xiàn)所需的可擴(kuò)展性能。

云計(jì)算

云行業(yè)正在經(jīng)歷的快速增長要求云提供商不斷創(chuàng)新和定制其服務(wù)產(chǎn)品，以滿足客戶需求。現(xiàn)代云平臺使用基于虛擬機(jī)監(jiān)控程序（Hypervisor）的虛擬化，以最大限度地增加在計(jì)算和數(shù)據(jù)中心層面可分配給租戶的虛擬實(shí)例數(shù)量。BlueField-3 DPU 支持多達(dá) 4096 個(gè)虛擬功能（VF），使云提供商能夠在云計(jì)算平臺上托管比上一代多 4-8 倍的虛擬實(shí)例。

B3220：提供雙 200Gbps 端口、32GB DDR5 內(nèi)存子系統(tǒng)和 2.3GHz 的 ARM 核心速度，具有滿足最具挑戰(zhàn)性的云所需的性能和網(wǎng)絡(luò)功能。因此，超大規(guī)模 Oracle 云基礎(chǔ)設(shè)施（OCI）已在其網(wǎng)絡(luò)堆棧中添加了 BlueField-3 DPU，旨在提供最先進(jìn)、可持續(xù)的云基礎(chǔ)設(shè)施，并提供卓越的性能。B3220 平臺還為 NVIDIA OVX 3.0 系統(tǒng)助力，實(shí)現(xiàn)更高的性能、零信任安全，并在云中無限擴(kuò)展工業(yè)元宇宙應(yīng)用程序。

B3210：100Gbps 速率的 B3210 非常適合滿足領(lǐng)先企業(yè)數(shù)據(jù)中心的需求。B3210 是運(yùn)行企業(yè)工作負(fù)載平臺 VMware vSphere 的目標(biāo) DPU，為成千上萬的公司提高性能、效率和安全性。

儲存

B3220SH：B3220SH 自托管平臺對集成 NVMe-oF、NVMe/TCP 或靜態(tài)數(shù)據(jù)加速器的 NVMe 存儲系統(tǒng)進(jìn)行了優(yōu)化。B3220SH 可通過 32 通道的第五代 PCIe 接口托管多達(dá) 16 個(gè) SSD。

業(yè)界領(lǐng)先的網(wǎng)絡(luò)性能

與上一代產(chǎn)品相比，BlueField-3 DPU 具有顯著的性能提升，使其成為需要高性能網(wǎng)絡(luò)的數(shù)據(jù)密集型人工智能工作負(fù)載的理想解決方案。圖 3 顯示了基準(zhǔn)測試結(jié)果，證明了BlueField-3 DPU 領(lǐng)先的網(wǎng)絡(luò)性能。

圖 3 ：NVIDIA BlueField-3 DPU

和 BlueField-2 DPU 的測試結(jié)果比較

使用 NVIDIA BlueField-3 DPU

為您的應(yīng)用程序助力

在云主導(dǎo)企業(yè) IT 的時(shí)代，生成式 AI、數(shù)據(jù)科學(xué)和元宇宙應(yīng)用程序等現(xiàn)代工作負(fù)載正在蓬勃發(fā)展。為了滿足對人工智能飛速發(fā)展的需求，云構(gòu)建商開始采用 NVIDIA 加速計(jì)算（主要是 GPU 和 DPU）。

NVIDIA BlueField-3 DPU 由 NVIDIA DOCA 軟件提供助力，將傳統(tǒng)的計(jì)算環(huán)境轉(zhuǎn)變?yōu)楦咝?、高性能、安全且可持續(xù)的數(shù)據(jù)中心，從而實(shí)現(xiàn)下一波應(yīng)用程序的交付。

觀看下方視頻

了解更多關(guān)于 NVIDIA BlueField DPU 的信息！

掃描下方二維碼，或點(diǎn)擊“閱讀原文” 查看更多有關(guān) NVIDIA BlueField DPU 的信息。

掃描下方二維碼，即可查看 BlueField-3 DPU 產(chǎn)品手冊和網(wǎng)絡(luò)產(chǎn)品資源。

?

NVIDIA BlueField DPU 往期內(nèi)容 使用 VMware vSphere 8 和 NVIDIA BlueField DPU 加速 Redis 性能
借助 NVIDIA DPU 和 NVIDIA DOCA 為人工智能時(shí)代的數(shù)據(jù)中心帶來變革
GTC23 | Oracle 云基礎(chǔ)設(shè)施 (OCI) 選擇 NVIDIA BlueField 數(shù)據(jù)中心加速平臺
NVIDIA 人工智能開講 | BlueField DPU 如何幫助企業(yè)提升數(shù)據(jù)中心能效
白皮書發(fā)布 | 看 NVIDIA BlueField DPU 如何讓數(shù)據(jù)中心變得更加環(huán)保