NVIDIA SuperNIC推進現(xiàn)代AI基礎設施發(fā)展

在生成式 AI 時代，加速網(wǎng)絡對于為大規(guī)模分布式 AI 工作負載構建高性能計算平臺至關重要。NVIDIA 在加速網(wǎng)絡領域繼續(xù)保持領先地位，提供先進的以太網(wǎng)和 InfiniBand 解決方案，可最大限度地提高 AI 工廠和云數(shù)據(jù)中心的性能和效率。

這些解決方案的核心是NVIDIA SuperNIC，一種專為超大規(guī)模 AI 工作負載而優(yōu)化的新型網(wǎng)絡加速器。這些 SuperNIC 是NVIDIA Spectrum-X 以太網(wǎng)和Quantum-X800 InfiniBand 網(wǎng)絡平臺的關鍵組件，旨在提供前所未有的可擴展性和性能。

ConnectX-8 SuperNIC 是 NVIDIA SuperNIC 產(chǎn)品系列中的新成員，與 BlueField-3 SuperNIC 一起，共同推動加速的大規(guī)模 AI 計算網(wǎng)絡的新一輪創(chuàng)新浪潮。ConnectX-8 SuperNIC 的總數(shù)據(jù)吞吐量為 800 Gb/s，可為萬億級參數(shù)的 AI 模型提供所需的速度、網(wǎng)絡健壯性和可擴展性，并與 NVIDIA 交換機無縫集成，以實現(xiàn)最佳性能。

本文將探討 NVIDIA SuperNIC 的獨特屬性及其在推進現(xiàn)代 AI 基礎設施發(fā)展方面的關鍵作用。

RoCE 對于 AI 工作負載的重要性

對于 AI 模型訓練來說，在數(shù)據(jù)中心內的 GPU 之間高速傳輸龐大的數(shù)據(jù)集是 AI 方案縮短訓練時間和加快上市時間的關鍵。

NVIDIA SuperNIC 具備了出色的硬件 RoCE 加速功能，可實現(xiàn)高達 800 Gb/s 的 GPUDirect RDMA 通信速度，解決了旁路 CPU 在 GPU 之間實現(xiàn)直接數(shù)據(jù)傳輸面臨的挑戰(zhàn)。

這種直接通信的方法可最大限度地減少 CPU 開銷并降低延遲，在 GPU 顯存之間實現(xiàn)更快、更高效的數(shù)據(jù)傳輸。在實際應用中，此功能可實現(xiàn)更高的并行度，在 AI 工作負載多節(jié)點擴展時，不會出現(xiàn)傳統(tǒng)的基于 CPU 的數(shù)據(jù)傳輸常見的的通信瓶頸。

通過 Spectrum-X RoCE 動態(tài)路由

提升 AI 性能

NVIDIA SuperNIC 的直接數(shù)據(jù)放置（DDP）功能是 Spectrum-X 平臺提升 AI 網(wǎng)絡性能的關鍵之一。

隨著生成式 AI 工作負載擴展到了數(shù)千個節(jié)點以上，以等價多路徑（ECMP）為代表的傳統(tǒng) IP 路由協(xié)議再難以處理 AI 模型生成的大規(guī)模、持續(xù)的數(shù)據(jù)流（俗稱大象流）。這些流可能會使網(wǎng)絡資源不堪重負，并導致?lián)砣?，從而降低整體網(wǎng)絡性能。

Spectrum-X RoCE 動態(tài)路由可以在可用的網(wǎng)絡路徑中動態(tài)調整流量的分配，確保需要高帶寬的流以最佳方式路由，以防止網(wǎng)絡擁塞。該方法利用 NVIDIA Spectrum-4 以太網(wǎng)交換機可在多個路徑上均勻分發(fā)數(shù)據(jù)包的負載均衡功能，避免了傳統(tǒng)靜態(tài)路由機制造成的瓶頸。

然而，使用這樣的數(shù)據(jù)包分發(fā)的方式，可能會導致數(shù)據(jù)包亂序問題的出現(xiàn)。

NVIDIA SuperNIC 通過在數(shù)據(jù)包到達接收端時將其直接按序放入緩沖區(qū)來解決了這一問題，確保了應用能收到正確順序的數(shù)據(jù)。這種 NVIDIA 交換機和 SuperNIC 之間的緊密合作，實現(xiàn)了高效、高速的 AI 工作負載通信，確保大規(guī)模 AI 模型能夠持續(xù)地處理數(shù)據(jù)，而不會中斷或降低性能。

解決 AI 網(wǎng)絡的擁塞問題

由于 AI 工作負載的突發(fā)性，因此極易受到網(wǎng)絡擁塞的影響。AI 模型訓練（尤其是通過集合通信在多個 GPU 之間進行同步和共享數(shù)據(jù)時）會產(chǎn)生頻繁且短暫流量峰值，這需要先進的擁塞管理機制來保持網(wǎng)絡的性能。傳統(tǒng)的擁塞控制方法（例如基于 TCP 的流量控制）無法處理這種 AI 獨特的流量模型。

為了解決這一問題，Spectrum-X 采用了基于 Spectrum-4 交換機的實時遙測功能的先進擁塞控制機制，使得 SuperNIC 能夠根據(jù)當前的網(wǎng)絡利用率主動地調整數(shù)據(jù)發(fā)送的速率，防止擁塞，避免問題的發(fā)生。

通過使用帶內高頻遙測數(shù)據(jù)，SuperNIC 可以以微秒級精度作出反應，確保即使在高流量條件下也能優(yōu)化網(wǎng)絡帶寬并盡可能降低延遲。

使用增強的可編程 I/O 加速 AI 網(wǎng)絡

隨著 AI 工作負載日益復雜，網(wǎng)絡基礎設施不僅必須在速度上不斷發(fā)展，還需要在適應性方面進步，以支持數(shù)千個節(jié)點之間的各種通信模式。

NVIDIA SuperNIC 處于這項創(chuàng)新的前沿，提供增強的可編程 I/O 功能，這些功能對于現(xiàn)代 AI 數(shù)據(jù)中心環(huán)境至關重要。這些 SuperNIC 具有加速數(shù)據(jù)包處理管線，能夠以線速運行，吞吐量高達 800 Gb/s。

通過將數(shù)據(jù)包處理任務從 CPU 卸載到 SuperNIC，此管道可顯著降低網(wǎng)絡延遲并提高整體系統(tǒng)效率。管道的可編程性由 NVIDIA DOCA 軟件框架提供支持，為網(wǎng)絡專業(yè)人員提供了大規(guī)模構建和優(yōu)化網(wǎng)絡的靈活性。

NVIDIA SuperNIC 采用數(shù)據(jù)路徑加速器（DPA），可增強可編程性。DPA 是一種高度并行的 I/O 處理器，配備 16 個超線程核心，專為處理 I/O 密集型工作負載而設計。它可以通過 DOCA 針對設備仿真、擁塞控制和流量管理等各種低代碼應用程序輕松進行編程。這種可編程性使組織能夠根據(jù)其 AI 工作負載的特定需求定制網(wǎng)絡基礎設施，確保數(shù)據(jù)在保持峰值性能的同時跨網(wǎng)絡高效流動。

保護 AI 網(wǎng)絡連接

保護 AI 模型對于保護敏感數(shù)據(jù)和知識產(chǎn)權免遭潛在的漏洞和對抗性攻擊至關重要。當您的組織構建 AI 工廠和云數(shù)據(jù)中心時，您需要有效的安全解決方案來解決可能損害模型性能和可信度的漏洞，最終保護競爭優(yōu)勢和用戶隱私。

傳統(tǒng)的網(wǎng)絡加密方法通常難以擴展到 100 Gb/s 以上，從而使關鍵數(shù)據(jù)處于危險之中。相比之下，NVIDIA SuperNIC 可提供加速網(wǎng)絡和在線加密加速，速度高達 800 Gb/s，確保數(shù)據(jù)在傳輸過程中保持加密狀態(tài)，同時實現(xiàn)峰值 AI 性能。

NVIDIA SuperNIC 為 IPsec、TLS 和可擴展的 PSP 加密操作提供硬件加速支持，為保護人工智能網(wǎng)絡環(huán)境提供成熟的解決方案。

PSP 由 Google 開發(fā)，并為開源社區(qū)做出了貢獻。PSP 從一開始就采用無狀態(tài)設計，非常適合支持超大規(guī)模數(shù)據(jù)中心環(huán)境的需求。該架構允許獨立處理每個請求，從而增強在分布式系統(tǒng)中管理加密操作的可擴展性和彈性。

結束語

在生成式 AI 的動態(tài)格局中，NVIDIA SuperNIC 作為 NVIDIA Spectrum-X 和 Quantum-X800 網(wǎng)絡平臺不可或缺的一部分，為網(wǎng)絡的變革時代奠定了基礎。