RDMA在高速網(wǎng)絡(luò)中的應(yīng)用及其實(shí)現(xiàn)策略

遠(yuǎn)程直接內(nèi)存訪問（RDMA）作為超高速網(wǎng)絡(luò)內(nèi)存訪問技術(shù)的領(lǐng)軍者，徹底顛覆了傳統(tǒng)程序?qū)h(yuǎn)程計(jì)算節(jié)點(diǎn)內(nèi)存資源的訪問模式。其卓越性能的核心在于巧妙地繞過了操作系統(tǒng)內(nèi)核層（如套接字、TCP/IP協(xié)議棧）對數(shù)據(jù)傳輸?shù)母深A(yù)，實(shí)現(xiàn)了網(wǎng)絡(luò)通信范式的革新性躍遷。這一戰(zhàn)略性的架構(gòu)優(yōu)化有效地減輕了與內(nèi)核操作相關(guān)的CPU開銷，使得數(shù)據(jù)可以直接從一個(gè)節(jié)點(diǎn)的網(wǎng)絡(luò)接口卡（NIC）內(nèi)存讀寫至另一個(gè)節(jié)點(diǎn)，這種硬件設(shè)備在特定場景下也被稱為主機(jī)通道適配器（HCA）。

在硬件實(shí)現(xiàn)方面，RDMA技術(shù)主要依托三種關(guān)鍵技術(shù)手段得以具體實(shí)施：InfiniBand、RoCE和iWARP。其中，InfiniBand與RoCE兩種技術(shù)因其出色的性能表現(xiàn)及廣泛應(yīng)用，已被前沿技術(shù)專家廣泛認(rèn)可為行業(yè)主流選擇。通過這兩種技術(shù)，特別是在訓(xùn)練大型模型等對帶寬和延遲有嚴(yán)苛要求的應(yīng)用場景中，能夠充分利用RDMA所賦予的高效低延遲特性構(gòu)建高性能的高速網(wǎng)絡(luò)系統(tǒng)，從而顯著提高數(shù)據(jù)傳輸效率，并整體上優(yōu)化系統(tǒng)的運(yùn)行性能。

揭秘InfiniBand：卓越帶寬的巔峰之作

目前，InfiniBand生態(tài)系統(tǒng)已經(jīng)覆蓋了100G和200G高速傳輸?shù)闹髁骷夹g(shù)。在這其中，增強(qiáng)數(shù)據(jù)速率（EDR，100G）和高數(shù)據(jù)速率（HDR，200G）成為該領(lǐng)域的一些專有名詞。InfiniBand技術(shù)正迅速演進(jìn)。 盡管InfiniBand擁有出色的性能，但由于其昂貴的成本，它經(jīng)常被很多IT專業(yè)人士忽視，導(dǎo)致其在一般應(yīng)用中的普及率相對較低。然而，在各大高校和科研機(jī)構(gòu)的超級計(jì)算機(jī)中心，InfiniBand幾乎成為不可或缺的標(biāo)配，尤其是對于支持關(guān)鍵的超級計(jì)算任務(wù)而言。 與傳統(tǒng)交換機(jī)不同，InfiniBand網(wǎng)絡(luò)采用了獨(dú)特的“胖樹”網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)，以確保任意兩個(gè)計(jì)算節(jié)點(diǎn)之間的網(wǎng)絡(luò)卡能夠?qū)崿F(xiàn)無縫通信。這種胖樹結(jié)構(gòu)包括兩個(gè)層次：核心層負(fù)責(zé)流量轉(zhuǎn)發(fā)并與計(jì)算節(jié)點(diǎn)分離，而接入層則連接各類計(jì)算節(jié)點(diǎn)。 在實(shí)施InfiniBand網(wǎng)絡(luò)中的胖樹拓?fù)鋾r(shí)，其高昂的成本主要源于具有36個(gè)端口的匯聚交換機(jī)。其中，一半的端口必須連接到計(jì)算節(jié)點(diǎn)，而另一半則需要與上層核心交換機(jī)相連以實(shí)現(xiàn)無損通信。值得注意的是，每根電纜的價(jià)格大約為1.3萬美元，并且為了保證無損通信，冗余連接是必需的。

正如俗話所說：“一分錢一分貨”，這正是InfiniBand的真實(shí)寫照。毫無爭議地，它提供了無與倫比的高帶寬和低延遲。根據(jù)維基百科的資料，相比以太網(wǎng)，InfiniBand的延遲顯著更低，分別為100納秒和230納秒。這卓越的性能使得InfiniBand成為全球頂尖超級計(jì)算機(jī)中不可或缺的核心技術(shù)之一，受到微軟、NVIDIA等行業(yè)巨頭以及美國國家實(shí)驗(yàn)室的廣泛采用。

釋放RoCE潛力：經(jīng)濟(jì)高效的RDMA解決方案探索

在計(jì)算機(jī)網(wǎng)絡(luò)技術(shù)領(lǐng)域中，RoCE（以太網(wǎng)融合上的RDMA）以其較高的性價(jià)比嶄露頭角，特別是在與成本高昂的InfiniBand等技術(shù)對比時(shí)。盡管RoCE并非低成本選項(xiàng)，但它為用戶提供了更為經(jīng)濟(jì)的途徑，在以太網(wǎng)上實(shí)現(xiàn)RDMA功能。近年來，RoCE技術(shù)迅速發(fā)展，并逐漸成為一種有競爭力的InfiniBand替代方案，尤其在對成本控制要求嚴(yán)苛的應(yīng)用場景中表現(xiàn)突出。 然而，盡管具備性價(jià)比優(yōu)勢，要借助RoCE實(shí)現(xiàn)真正的無損網(wǎng)絡(luò)仍面臨挑戰(zhàn)，整體網(wǎng)絡(luò)成本難以低于采用InfiniBand方案的50%。

解鎖大規(guī)模模型訓(xùn)練潛能：GPUDirect RDMA的關(guān)鍵作用

在大規(guī)模模型訓(xùn)練的過程中，節(jié)點(diǎn)間通信的成本至關(guān)重要。通過整合InfiniBand與GPU技術(shù)，GPUDirect RDMA這一顛覆性解決方案應(yīng)運(yùn)而生。該創(chuàng)新技術(shù)使得不同計(jì)算節(jié)點(diǎn)間的GPU能夠直接進(jìn)行數(shù)據(jù)交互，無需經(jīng)過內(nèi)存和CPU層級。簡而言之，兩個(gè)節(jié)點(diǎn)上GPU之間的復(fù)雜通信過程可直接經(jīng)由InfiniBand網(wǎng)絡(luò)接口卡完成，從而繞過了傳統(tǒng)路徑中必須通過CPU和內(nèi)存的傳輸步驟。 在大規(guī)模模型訓(xùn)練背景下，GPUDirect RDMA的重要性尤為顯著，因?yàn)槟Ｐ屯ǔ４鎯τ贕PU內(nèi)存中。傳統(tǒng)的將模型復(fù)制至CPU并進(jìn)一步傳輸至其他節(jié)點(diǎn)的過程耗時(shí)頗多，而使用GPUDirect RDMA則可以實(shí)現(xiàn)GPU間的直接信息交換，大幅度提升大規(guī)模模型訓(xùn)練的效率和性能表現(xiàn)。

優(yōu)化大型模型網(wǎng)絡(luò)架構(gòu)：戰(zhàn)略配置策略分析

在大型模型應(yīng)用領(lǐng)域，要獲得最佳性能，關(guān)鍵在于精密配置，特別是當(dāng)GPU與InfiniBand網(wǎng)卡協(xié)同工作時(shí)。這里參考了合作伙伴NVIDIA推出的DGX系統(tǒng)，它倡導(dǎo)了一種GPU與InfiniBand網(wǎng)卡一對一配對的設(shè)計(jì)理念，并樹立了行業(yè)標(biāo)桿。在此架構(gòu)下，一個(gè)標(biāo)準(zhǔn)計(jì)算節(jié)點(diǎn)能夠集成9個(gè)InfiniBand網(wǎng)絡(luò)接口控制器（NIC），其中一個(gè)用于連接存儲系統(tǒng)，其余8個(gè)則分別對應(yīng)單個(gè)GPU卡。 雖然這種配置方式理論上最為理想，但其成本相對較高，因此有必要探尋更具性價(jià)比的替代方案。一種有效的折衷策略是采用1:4的InfiniBand網(wǎng)卡與GPU卡的比例。 實(shí)際部署中，GPU和InfiniBand網(wǎng)卡均通過PCI-E交換機(jī)進(jìn)行互聯(lián)，一般情況下每個(gè)交換機(jī)可支持2塊GPU。理想的狀況是每塊GPU都能精準(zhǔn)分配到專屬的InfiniBand網(wǎng)卡資源。然而，當(dāng)兩塊GPU共享同一個(gè)InfiniBand網(wǎng)卡和PCI-E交換機(jī)時(shí)，會由于對共享資源的競爭而產(chǎn)生挑戰(zhàn)。

InfiniBand網(wǎng)卡的數(shù)量直接影響著競爭程度及節(jié)點(diǎn)間通信效率，這一點(diǎn)可以通過附帶圖表生動(dòng)展示。值得注意的是，在僅配備一塊100 Gbps網(wǎng)卡的情況下，帶寬可達(dá)12 GB/s，隨著網(wǎng)卡數(shù)量增加，帶寬幾乎呈現(xiàn)線性增長趨勢。設(shè)想一下，如果采用8塊H100 GPU卡搭配8塊400G InfiniBand NDR卡的配置方案，則能帶來極為震撼的數(shù)據(jù)傳輸速率。

為每塊GPU配備一張獨(dú)立的網(wǎng)卡是最理想的配置情況：這樣可以最大限度地減少資源爭搶，提高節(jié)點(diǎn)間的通信效率和整體性能表現(xiàn)。

構(gòu)建卓越：大型模型網(wǎng)絡(luò)架構(gòu)的軌式優(yōu)化設(shè)計(jì)

在大規(guī)模模型運(yùn)算的前沿領(lǐng)域，構(gòu)建卓越性能的關(guān)鍵在于精心設(shè)計(jì)一套定制化的“軌式”網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)，該結(jié)構(gòu)是對傳統(tǒng)高性能計(jì)算（HPC）中胖樹架構(gòu)的一種革新與優(yōu)化。

此架構(gòu)示意圖生動(dòng)展示了基礎(chǔ)版胖樹拓?fù)渑c經(jīng)過軌式優(yōu)化后的對比。系統(tǒng)內(nèi)核心組件包括兩臺MQM8700系列HDR（高數(shù)據(jù)速率）交換機(jī)，它們通過四條HDR電纜實(shí)現(xiàn)高速互聯(lián)，確保了極高的帶寬和低延遲通信。每個(gè)DGX GPU節(jié)點(diǎn)裝備了九塊InfiniBand（IB）網(wǎng)卡，這些網(wǎng)卡在圖中標(biāo)注為主機(jī)通道適配器（HCAs），以滿足不同功能需求。 其中特別指派一塊IB卡作為存儲連接專用接口（Storage Target），其余八塊則專為大規(guī)模模型訓(xùn)練任務(wù)提供服務(wù)。具體布線策略如下：HCA1、HCA3、HCA5以及HCA7分別對接至第一個(gè)HDR交換機(jī)，而HCA2、HCA4、HCA6及HCA8則對應(yīng)地與第二個(gè)交換機(jī)建立鏈接，以此形成了一種對稱且高效的多路徑傳輸體系，有力支撐了大規(guī)模并行計(jì)算環(huán)境下復(fù)雜模型的高效訓(xùn)練和數(shù)據(jù)交換。

為了營造高效流暢的網(wǎng)絡(luò)環(huán)境，建議采用如圖所示的全無阻塞、深度優(yōu)化的軌式網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)。在該設(shè)計(jì)中，每個(gè)DGX GPU節(jié)點(diǎn)均配備了八個(gè)InfiniBand (IB) 網(wǎng)卡，且每一個(gè)網(wǎng)卡都直接對接到一個(gè)獨(dú)立的交換機(jī)單元，這些被稱作葉交換機(jī)的設(shè)備總計(jì)部署了八臺。連接布局極其精細(xì)：例如，HCA1與第一臺葉交換機(jī)相連，HCA2與第二臺相接，以此遞增模式確保每張網(wǎng)卡都能專享一條高速鏈路。 后續(xù)的網(wǎng)絡(luò)架構(gòu)圖清晰地揭示了底層細(xì)節(jié)，其中兩臺綠色標(biāo)識的交換機(jī)代表脊交換機(jī)，它們負(fù)責(zé)實(shí)現(xiàn)四臺藍(lán)色標(biāo)識的葉交換機(jī)之間的高速互聯(lián)。整個(gè)系統(tǒng)通過80條線纜將藍(lán)色和綠色交換機(jī)緊密耦合在一起，而藍(lán)色葉交換機(jī)則策略性地設(shè)置于下層，直接與計(jì)算節(jié)點(diǎn)建立物理連接。 這種配置的核心優(yōu)勢在于其出色的可擴(kuò)展性和低延遲特性，它能有效消除潛在的數(shù)據(jù)傳輸瓶頸，確保每一張IB卡都能夠以最優(yōu)速率與網(wǎng)絡(luò)中的任何其他IB卡進(jìn)行直接通信。這意味著任意GPU能夠以前所未有的效率實(shí)現(xiàn)無縫、實(shí)時(shí)的遠(yuǎn)程內(nèi)存訪問，從而極大地提升了大規(guī)模并行計(jì)算環(huán)境中GPU間的協(xié)同工作效率。

在追求高性能且零損失的復(fù)雜網(wǎng)絡(luò)環(huán)境中，選用InfiniBand或RoCE作為基礎(chǔ)架構(gòu)的核心決策應(yīng)緊密貼合您的特定應(yīng)用需求和現(xiàn)有設(shè)施條件。兩者皆為業(yè)界翹楚，憑借低延遲、高吞吐量以及對CPU資源的極低占用率，在高性能計(jì)算（HPC）領(lǐng)域中展現(xiàn)出了卓越的適應(yīng)性。

審核編輯：黃飛

?