轉(zhuǎn)載｜數(shù)據(jù)中心網(wǎng)絡(luò)持續(xù)進(jìn)階，超融合以太技術(shù)正當(dāng)其時(shí)

隨著數(shù)字經(jīng)濟(jì)進(jìn)入“算力時(shí)代”，在算力蓬勃發(fā)展的同時(shí)，打造一張與時(shí)俱進(jìn)的高水平數(shù)據(jù)中心網(wǎng)絡(luò)顯得尤為重要。近日，華為聯(lián)合中國(guó)信息通信研究院共同發(fā)布的數(shù)據(jù)中心超融合以太技術(shù)白皮書(shū)，就為我們擘畫(huà)了一張高水平數(shù)據(jù)中心網(wǎng)絡(luò)的新藍(lán)圖。

決定一個(gè)木桶能裝多少水的往往是最短的那塊木板，那么，算力時(shí)代的數(shù)據(jù)中心最短的那塊木板是什么呢？

數(shù)據(jù)中心網(wǎng)絡(luò)是實(shí)現(xiàn)數(shù)據(jù)傳輸?shù)闹匾ǖ溃彩峭苿?dòng)數(shù)據(jù)中心算力服務(wù)能力升級(jí)，實(shí)現(xiàn)算力充分釋放的關(guān)鍵。數(shù)據(jù)中心網(wǎng)絡(luò)主要負(fù)責(zé)連接用戶終端以及數(shù)據(jù)中心內(nèi)部的計(jì)算、存儲(chǔ)等設(shè)備，保障數(shù)據(jù)通信網(wǎng)絡(luò)鏈路上高效、安全的傳輸。

《中國(guó)綜合算力指數(shù)（2022年）》報(bào)告中明確指出計(jì)算、存儲(chǔ)和網(wǎng)絡(luò)是算力最重要的組成部分，在數(shù)字經(jīng)濟(jì)發(fā)展新時(shí)期，要更加關(guān)注構(gòu)建集算力、存力和運(yùn)力于一體的數(shù)據(jù)中心。由于網(wǎng)絡(luò)設(shè)備算力水平無(wú)法滿足要求而引發(fā)的“木桶效應(yīng)”，可能會(huì)拉低整個(gè)數(shù)據(jù)中心的實(shí)際算力水平。因此，要提升數(shù)據(jù)中心算力服務(wù)能力，就需要進(jìn)一步提升數(shù)據(jù)中心網(wǎng)絡(luò)性能。

IDC分析報(bào)告顯示，以太網(wǎng)是當(dāng)前以及未來(lái)數(shù)據(jù)中心的主要技術(shù)，當(dāng)前數(shù)據(jù)中心以太網(wǎng)占比已經(jīng)接近95%。眾所周知，標(biāo)準(zhǔn)以太網(wǎng)絡(luò)采用盡力而為的工作機(jī)制，天然有丟包的特性對(duì)存儲(chǔ)的性能穩(wěn)定性帶來(lái)了極大的影響。算力時(shí)代，0.1%的丟包會(huì)導(dǎo)致50%的算力損失。因此傳統(tǒng)以太網(wǎng)已經(jīng)不適應(yīng)現(xiàn)在算力時(shí)代數(shù)據(jù)中心的要求。推動(dòng)以太網(wǎng)進(jìn)化從而搭建先進(jìn)網(wǎng)絡(luò)架構(gòu)的時(shí)代已然來(lái)臨，以太網(wǎng)正在從“盡力而為”型向“性能敏感”型網(wǎng)絡(luò)演進(jìn)。

從網(wǎng)絡(luò)架構(gòu)、帶寬、時(shí)延、可靠性、應(yīng)用加速、網(wǎng)絡(luò)技術(shù)演進(jìn)六個(gè)方面來(lái)看，數(shù)據(jù)中心網(wǎng)絡(luò)正在從傳統(tǒng)以太、無(wú)損以太向超融合以太升級(jí)。

具體來(lái)看，超融合以太技術(shù)具備五大優(yōu)勢(shì)。

01 網(wǎng)絡(luò)級(jí)負(fù)載均衡算法，釋放AI算力

AI集群訓(xùn)練過(guò)程中，參數(shù)通過(guò)高速互聯(lián)網(wǎng)絡(luò)在不同的服務(wù)器間進(jìn)行同步交互，這些通信流量具有共同的特征：流量成周期性、流數(shù)量少、流量長(zhǎng)連接、并行任務(wù)間有強(qiáng)實(shí)時(shí)同步性要求，通信效率取決于最慢的節(jié)點(diǎn)，并且AI集群訓(xùn)練場(chǎng)景下，傳輸?shù)臄?shù)據(jù)量較大。上述的流量特征導(dǎo)致網(wǎng)絡(luò)較易出現(xiàn)負(fù)載分擔(dān)不均、整網(wǎng)吞吐下降的問(wèn)題，從而影響AI集群訓(xùn)練的性能。

現(xiàn)有創(chuàng)新的網(wǎng)絡(luò)均衡技術(shù)NSLB是面向AI訓(xùn)練場(chǎng)景量身打造的，根據(jù)該場(chǎng)景下的流量特征，將搜集到的整網(wǎng)信息作為創(chuàng)新算路算法的輸入，從而得到最優(yōu)的流量轉(zhuǎn)發(fā)路徑，實(shí)現(xiàn)AI訓(xùn)練場(chǎng)景下整網(wǎng)流量100%的均衡度和AI訓(xùn)練性能的提升。

02 端網(wǎng)協(xié)同擁塞控制實(shí)現(xiàn)存儲(chǔ)算力優(yōu)化

高性能計(jì)算、AI模型訓(xùn)練等應(yīng)用場(chǎng)景，以及數(shù)據(jù)中心網(wǎng)絡(luò)/云網(wǎng)絡(luò)在架構(gòu)上的發(fā)展（資源池化），均要求網(wǎng)絡(luò)傳輸排隊(duì)時(shí)延和吞吐上的進(jìn)一步性能提升。

端網(wǎng)協(xié)同擁塞控制技術(shù)采用“端（智能網(wǎng)卡）網(wǎng)（交換機(jī)）”配合的方式達(dá)到交換機(jī)上的近似“零排隊(duì)”時(shí)延，使得端到端傳輸時(shí)延接近靜態(tài)時(shí)延。

端網(wǎng)協(xié)同主要根據(jù)網(wǎng)絡(luò)可用帶寬，調(diào)整端側(cè)發(fā)送速率，這種源端與交換機(jī)之間的密切配合使網(wǎng)絡(luò)中的隊(duì)列近乎為空，同時(shí)能保持接近100%的利用率。和當(dāng)前業(yè)界主流的協(xié)同算法相比，端網(wǎng)協(xié)同算法C-AQM能夠把排隊(duì)時(shí)延控制得極低，接近于0，同時(shí)瓶頸鏈路達(dá)到接近100%利用率。

03

數(shù)據(jù)面快速收斂
提供分布式數(shù)據(jù)庫(kù)高可靠算力

隨著業(yè)務(wù)發(fā)放速度的不斷加快，以及引入了VM、容器等虛擬化技術(shù)，網(wǎng)絡(luò)流量的不確定性增加。而當(dāng)前運(yùn)維手段有限，仍然依靠傳統(tǒng)網(wǎng)管和命令行方式進(jìn)行查看、監(jiān)控，分鐘級(jí)的網(wǎng)絡(luò)監(jiān)控已經(jīng)無(wú)法滿足業(yè)務(wù)秒級(jí)體驗(yàn)保障的要求，往往被動(dòng)感知故障。故障發(fā)生后，定位仍主要依賴專家經(jīng)驗(yàn)，利用多種輔助工具，逐段定界、逐流分析、抓包定位，效率十分低下。

網(wǎng)絡(luò)故障收斂慢對(duì)業(yè)務(wù)穩(wěn)定性產(chǎn)生的負(fù)面影響，尤其會(huì)造成高性能數(shù)據(jù)庫(kù)類業(yè)務(wù)性能的嚴(yán)重下降。為了解決上述故障收斂慢的問(wèn)題，華為提出了一種基于網(wǎng)絡(luò)設(shè)備數(shù)據(jù)面的鏈路故障快速自愈技術(shù)，稱為DPFF（Data Plane Fast Failover）。該技術(shù)基于轉(zhuǎn)發(fā)芯片的硬件可編程能力構(gòu)建。DPFF從傳統(tǒng)的基于控制面軟件協(xié)議的收斂方式演進(jìn)到基于數(shù)據(jù)面硬件極速感知故障和快速換路的收斂方式，并且基于數(shù)據(jù)面硬件實(shí)現(xiàn)遠(yuǎn)程通告和快速換路，可達(dá)到亞毫秒級(jí)（<1ms）的收斂速度，將對(duì)業(yè)務(wù)性能的影響降至最低。該技術(shù)為高性能數(shù)據(jù)庫(kù)、存儲(chǔ)以及超算等關(guān)鍵應(yīng)用提供了極致的高可靠性保證和穩(wěn)定性體驗(yàn)。

測(cè)試結(jié)果表明，DPFF收斂方案比傳統(tǒng)的OSPF收斂方案在鏈路故障下，每100ms周期內(nèi)完成交易事務(wù)數(shù)量下降減少60%~80%。

04

網(wǎng)絡(luò)架構(gòu)創(chuàng)新
構(gòu)建E/10E級(jí)超大規(guī)模算力集群

5G、萬(wàn)物互聯(lián)智能時(shí)代產(chǎn)生海量數(shù)據(jù)，智能訓(xùn)練大模型部署，國(guó)家新一代超級(jí)計(jì)算中心的規(guī)劃建設(shè)……爆炸式增長(zhǎng)的算力需求與實(shí)際算力增長(zhǎng)速度之間存在巨大鴻溝。在后摩爾時(shí)代，通過(guò)構(gòu)建大規(guī)模并行計(jì)算集群滿足不斷增長(zhǎng)的算力需求，如10E級(jí)計(jì)算集群其計(jì)算服務(wù)器規(guī)模達(dá)到20萬(wàn)以上。

計(jì)算集群網(wǎng)絡(luò)傳統(tǒng)采用CLOS架構(gòu)，以業(yè)界常見(jiàn)的64口盒式交換機(jī)為例，3級(jí)CLOS架構(gòu)，最大可支持6.5萬(wàn)服務(wù)器接口，不滿足10E級(jí)計(jì)算集群規(guī)模訴求。如果增加網(wǎng)絡(luò)層數(shù)則會(huì)帶來(lái)網(wǎng)絡(luò)跳數(shù)增加，通信時(shí)延不滿足業(yè)務(wù)需求。

業(yè)界針對(duì)該問(wèn)題開(kāi)展了多樣的架構(gòu)研究和新拓?fù)涞脑O(shè)計(jì)。直連拓?fù)湓诔笠?guī)模組網(wǎng)場(chǎng)景下，因?yàn)榫W(wǎng)絡(luò)直徑短，具備低成本、端到端通信跳數(shù)少的特點(diǎn)。以64口盒式交換機(jī)構(gòu)建10萬(wàn)個(gè)節(jié)點(diǎn)超大規(guī)模集群為例，傳統(tǒng)的CLOS架構(gòu)需要部署4層組網(wǎng)，端到端通信最大需要跨7跳交換機(jī)。使用無(wú)阻塞直連拓?fù)浣M網(wǎng)，端到端交換機(jī)轉(zhuǎn)發(fā)跳數(shù)最少只3跳，交換機(jī)臺(tái)數(shù)(整體投資)下降40%。

05

業(yè)務(wù)級(jí)SLA保障
實(shí)現(xiàn)數(shù)據(jù)中心一張網(wǎng)

為了解決這個(gè)難題，華為提出超融合智能無(wú)損網(wǎng)絡(luò)方案，將業(yè)務(wù)級(jí)SLA智能保障技術(shù)引入到交換機(jī)中，用iLossless智能無(wú)損算法代替專家經(jīng)驗(yàn)，對(duì)網(wǎng)絡(luò)流量的變化進(jìn)行基于隊(duì)列級(jí)捕獲和預(yù)測(cè)，實(shí)現(xiàn)細(xì)粒度動(dòng)態(tài)差異化優(yōu)化。結(jié)合不同業(yè)務(wù)的流量變化情況以及業(yè)務(wù)特征，實(shí)現(xiàn)不同業(yè)務(wù)流量差異化動(dòng)態(tài)優(yōu)化保障。

根據(jù)實(shí)驗(yàn)室測(cè)試，采用3臺(tái)華為交換機(jī)組成2級(jí)Spine-Leaf組網(wǎng)，每臺(tái)接入層交換機(jī)下掛16臺(tái)100GE服務(wù)器，Spine與每個(gè)Leaf之間采用4個(gè)400G互聯(lián)(1:1收斂)。在計(jì)算和存儲(chǔ)benchmark流量混跑的測(cè)試環(huán)境下，智能無(wú)損算法相比于傳統(tǒng)算法配置，在保持存儲(chǔ)持平前提下，能夠有效降低計(jì)算任務(wù)的總體完成時(shí)間，在測(cè)試場(chǎng)景中實(shí)現(xiàn)最高20%以上的計(jì)算時(shí)延降低。

隨著數(shù)字產(chǎn)業(yè)智能化向智能世界發(fā)展，未來(lái)數(shù)據(jù)中心將朝著多云異構(gòu)算力演進(jìn)，要構(gòu)建強(qiáng)大的算力，需要各類資源高度協(xié)同，深度融合。新算力，對(duì)網(wǎng)絡(luò)提出了新的訴求，下一代數(shù)據(jù)中心需要超融合以太技術(shù)給新算力進(jìn)行新的賦能，以應(yīng)對(duì)新的挑戰(zhàn)。作為數(shù)據(jù)中心動(dòng)脈血管新的路標(biāo)，一張開(kāi)放、自主的超融合以太網(wǎng)絡(luò)將多維度與各類算力資源協(xié)同，全面提升網(wǎng)絡(luò)性能，通過(guò)網(wǎng)絡(luò)全棧技術(shù)的持續(xù)創(chuàng)新，為新算力賦能，釋放更高算力，從而助力“高算力、高安全、高效能、高可靠”的新型算力中心建設(shè)。