華山論劍：AI大模型時(shí)代的高性能網(wǎng)絡(luò)如何演進(jìn)？

不出意外，AI是今年云棲大會(huì)的絕對(duì)主角，無(wú)論是主論壇的主旨演講還是各分論壇的大咖論道，無(wú)不充斥著人工智能的青春荷爾蒙。作為資深網(wǎng)工，我們重點(diǎn)帶大家探秘10.31日下午的《可預(yù)期網(wǎng)絡(luò)：AI Infra》專場(chǎng)?？深A(yù)期網(wǎng)絡(luò)專場(chǎng)邀請(qǐng)了英偉達(dá)SVP Gilad，博通VP Mohan，以及阿里云基礎(chǔ)網(wǎng)絡(luò)負(fù)責(zé)人蔡德忠等行業(yè)頂級(jí)專家齊聚云棲小鎮(zhèn)，頗有些華山論劍的味道。再加上IB和以太網(wǎng)在AI集群市場(chǎng)上的激烈廝殺，以及近期國(guó)際上成立UEC聯(lián)盟來(lái)構(gòu)建新一代高性能網(wǎng)絡(luò)等最熱門的話題，顯而易見(jiàn)的結(jié)果就是兩個(gè)字，“火爆“。幾百人的會(huì)場(chǎng)，3個(gè)小時(shí)，從始至終座無(wú)虛席。

主旨演講1：阿里云《端網(wǎng)融合的可預(yù)期網(wǎng)絡(luò)》

言歸正傳，論壇的第一個(gè)主旨演講是阿里云的蔡德忠，付斌章和席永青帶來(lái)的《端網(wǎng)融合的可預(yù)期網(wǎng)絡(luò)》。這個(gè)演講對(duì)阿里云針對(duì)AI集群網(wǎng)絡(luò)的設(shè)計(jì)理念以及當(dāng)前的解決方案做了深入的闡述，干貨滿滿，尤其是很多AI大模型實(shí)際的訓(xùn)練數(shù)據(jù)和流量模型是第一次向外披露，充分展示了阿里云基礎(chǔ)設(shè)施團(tuán)隊(duì)的硬核創(chuàng)新能力，體現(xiàn)了阿里云作為業(yè)界頭部云廠商推動(dòng)業(yè)界進(jìn)步的技術(shù)擔(dān)當(dāng)。整個(gè)演講內(nèi)容分為三部分：

Part 1： 為什么需要AI集群網(wǎng)絡(luò)？

首先，傳統(tǒng)數(shù)據(jù)中心網(wǎng)絡(luò)內(nèi)的東西向流量呈現(xiàn)“多、小、相對(duì)穩(wěn)定“的特點(diǎn)，而AI集群內(nèi)的東西向流量則呈現(xiàn)”少，大、突發(fā)/并發(fā)“的特點(diǎn)。根據(jù)演講中的示例，某ECS大客戶的鏈接規(guī)模達(dá)到了100K規(guī)模，而靈駿大客戶訓(xùn)練任務(wù)的鏈接數(shù)只有60多個(gè)。正是因?yàn)橛?000倍的數(shù)量上的差異，所以原本在通用計(jì)算場(chǎng)景下無(wú)法實(shí)現(xiàn)的per-flow的流量工程，在AI場(chǎng)景都變得順理成章了。

另外，因?yàn)镋CS集群內(nèi)同時(shí)運(yùn)行的任務(wù)種類和數(shù)量更多，很多個(gè)小流匯總在一起，反而在統(tǒng)計(jì)學(xué)意義上呈現(xiàn)出一種“相對(duì)穩(wěn)定”的狀態(tài)，但是總的帶寬利用率也仍然只有20%左右。

靈駿集群內(nèi)的流量則完全不同，因?yàn)橛?xùn)練任務(wù)是周期性迭代的，導(dǎo)致網(wǎng)絡(luò)上的流量也是周期性的突發(fā)，并且每次突發(fā)都可以打滿網(wǎng)絡(luò)帶寬。這就給網(wǎng)絡(luò)設(shè)計(jì)帶來(lái)了很大的挑戰(zhàn)，因?yàn)榫W(wǎng)工們都知道“少量大象流”是ECMP的噩夢(mèng)，非常容易導(dǎo)致Hash不均的問(wèn)題出現(xiàn)。

阿里云的解決辦法是多級(jí)的流量工程，從最上層的任務(wù)調(diào)度一直到最底層的Adaptive Routing，根據(jù)實(shí)際部署實(shí)踐，這套“降龍十八掌”打下來(lái)，很好的解決上面這些問(wèn)題，最后展示的大幅度性能提升也佐證了這種多級(jí)流量工程帶來(lái)的效果。

Part2： 如何構(gòu)建AI集群網(wǎng)絡(luò)？

其次，并行訓(xùn)練需要的GPU數(shù)量越來(lái)越大，并且GPU服務(wù)器有NVLINK提供機(jī)內(nèi)高速互聯(lián)。

基于這兩個(gè)前提，阿里云的HPN7.0架構(gòu)基于博通 51.2T的TH5交換芯片搭建了一個(gè)單層1K GPU，2層16K GPU的極致性能網(wǎng)絡(luò)架構(gòu)，并且已經(jīng)在上個(gè)月正式開(kāi)服了，這也是全球第一個(gè)實(shí)現(xiàn)51.2T交換機(jī)大規(guī)模商用的云廠商，一方面說(shuō)明阿里云有足夠的前瞻性，準(zhǔn)確預(yù)測(cè)了需求，同時(shí)也證明其強(qiáng)大的研發(fā)能力。

另外，演講中比較有意思的一點(diǎn)是關(guān)于集群最大規(guī)模的討論。因?yàn)闃I(yè)界也有可以支持更大規(guī)模的集群架構(gòu)，但是阿里云的架構(gòu)師強(qiáng)調(diào)這些更大規(guī)模的集群架構(gòu)在當(dāng)前IDC功耗限制下是沒(méi)有意義的。這個(gè)觀點(diǎn)與英偉達(dá)的首席科學(xué)家Bill Dally在今年的某次演講中表達(dá)的觀點(diǎn)不謀而合，即當(dāng)前的AI集群是“power gating”的。

如果國(guó)內(nèi)的IDC的總功率仍停在每棟樓10MW左右的能力，那么單集群搞10W卡或者更大其實(shí)意義也不大。畢竟因?yàn)闀r(shí)延的關(guān)系，我們一般不會(huì)跨樓構(gòu)建集群。但是這里有個(gè)變量，在新的法規(guī)限制下，單芯片算力下降了，那么是否就需要更大規(guī)模的網(wǎng)絡(luò)架構(gòu)可能是一個(gè)需要重新討論的問(wèn)題。此外，在強(qiáng)大的需求推動(dòng)下，相信未來(lái)也會(huì)有超高功率的IDC出現(xiàn)。

最后就是面向serverless場(chǎng)景的技術(shù)挑戰(zhàn)。事實(shí)上，阿里云在容器網(wǎng)絡(luò)領(lǐng)域也有很深的技術(shù)積累。Nimitz容器網(wǎng)絡(luò)從2017年開(kāi)始在阿里內(nèi)部服務(wù)ODPS業(yè)務(wù)，21年開(kāi)始和高網(wǎng)相結(jié)合，構(gòu)成了一套完整的支持多租的高性能網(wǎng)絡(luò)解決方案。在AI這個(gè)場(chǎng)景下，由于并行訓(xùn)練任務(wù)對(duì)高性能網(wǎng)絡(luò)的性能有極致追求，而傳統(tǒng)的SRIOV+VxLAN的標(biāo)準(zhǔn)解決方案會(huì)帶來(lái)不可忽略的性能損失，所以阿里云提出了全新的vSolar+RDMAv6的解決方案。

vSolar是對(duì)Solar RDMA的擴(kuò)展，也是Solar RDMA從存儲(chǔ)走向計(jì)算的一個(gè)重要優(yōu)化。通過(guò)基于virtio的混合虛擬化技術(shù)，既保證了租戶隔離的安全需求，同時(shí)確保性能敏感的數(shù)據(jù)通路沒(méi)有任何性能損失，再配合基于IPv6的地址編碼技術(shù)RDMAv6實(shí)現(xiàn)了網(wǎng)絡(luò)地址的隔離。最終在這套解決方案的加持下，阿里云自研的高性能網(wǎng)卡EIC雖然是基于FPGA實(shí)現(xiàn)的（underlay性能不如ASIC方案），其overlay網(wǎng)絡(luò)性能完全可以媲美ASIC方案，這就是架構(gòu)創(chuàng)新的優(yōu)勢(shì)吧。再疊加阿里云自研的HPCC擁塞控制和多路徑傳輸技術(shù)，應(yīng)用的端到端性能可以更上一層樓。

Part3：未來(lái)展望

由于時(shí)間的關(guān)系，未來(lái)展望部分講的比較簡(jiǎn)短。核心的觀點(diǎn)是堅(jiān)定的基于開(kāi)放的以太網(wǎng)生態(tài)打造新的高性能網(wǎng)絡(luò)技術(shù)，特別提到了GPU的互聯(lián)部分。當(dāng)前以英偉達(dá)為主導(dǎo)的異構(gòu)計(jì)算生態(tài)下，GPU的IO分為PCIe（以太）和NVLINK兩個(gè)部分，其中 PCIe/以太部分用于實(shí)現(xiàn)scale out，NVLINK部分用于實(shí)現(xiàn)scale up。而當(dāng)前國(guó)際上的UEC聯(lián)盟也在探索GPU全出以太網(wǎng)接口，即無(wú)論scale out還是scale up都采用以太網(wǎng)。這種方法的好處是顯而易見(jiàn)的，因?yàn)橐蕴W(wǎng)是開(kāi)放的，可以吸納全球的力量來(lái)促進(jìn)技術(shù)進(jìn)步。

主旨演講2：英偉達(dá)《Networking for AI》

第二個(gè)主旨演講來(lái)自于英偉達(dá)的Gilad，他是Mellanox的聯(lián)合創(chuàng)始人，英偉達(dá)全球高級(jí)副總裁，在HPC和高性能網(wǎng)絡(luò)領(lǐng)域有著豐富的經(jīng)驗(yàn)。同時(shí)Gilad來(lái)自以色列，這一次也是排除了萬(wàn)難（換了3班飛機(jī)）才來(lái)到了中國(guó)參加云棲大會(huì)，說(shuō)明了他對(duì)中國(guó)市場(chǎng)以及云棲大會(huì)的高度重視。對(duì)于他的到來(lái)，現(xiàn)場(chǎng)觀眾也報(bào)以了雷鳴般掌聲，來(lái)表達(dá)了歡迎和感謝。Gilad的演講題目是《Networking for AI》。回想今年在中國(guó)臺(tái)灣舉行的ComputeX大會(huì)上，Jensen Huang就介紹了Spectrum以太網(wǎng)方案。當(dāng)時(shí)業(yè)界就有疑惑，難道英偉達(dá)放棄IB了嗎？這次Gilad演講給出了還算比較清晰的定義，Spectrum面向AI Cloud，而IB面向AI Factory。

關(guān)于設(shè)計(jì)理念部分，Gilad的見(jiàn)解和阿里云基本相同，也強(qiáng)調(diào)了網(wǎng)絡(luò)性能的重要性，特別是長(zhǎng)尾時(shí)延的重要性。因?yàn)锳I訓(xùn)練是典型的并行計(jì)算應(yīng)用，一個(gè)慢節(jié)點(diǎn)就會(huì)導(dǎo)致整個(gè)任務(wù)的性能下降，所以只是峰值性能高是不能滿足要求的。為了解決這個(gè)問(wèn)題，英偉達(dá)在Spectrum+BF3的整體以太網(wǎng)方案率先支持了Adaptive Routing技術(shù)，從而可以實(shí)現(xiàn)穩(wěn)定的、可預(yù)期的網(wǎng)絡(luò)性能。Gilad也多次提到可預(yù)期（Predictable），這一點(diǎn)和阿里云的觀點(diǎn)完全一致，正所謂英雄所見(jiàn)略同。

可以預(yù)料到的是，Gilad最后還是轉(zhuǎn)向推薦他們的IB解決方案。與以太網(wǎng)相比，IB最大的優(yōu)勢(shì)在于對(duì)In-network Computing的支持，例如SHARP技術(shù)。根據(jù)Gilad展示的數(shù)據(jù)，使能SHARP之后集合通信性能是默認(rèn)模式下的1.7倍，這個(gè)收益還是非常具有吸引力的。據(jù)說(shuō)國(guó)內(nèi)不少?gòu)S商都采購(gòu)了IB，并且在積極推動(dòng)SHARP的應(yīng)用。不過(guò)按照UEC披露的信息來(lái)看，未來(lái)以太網(wǎng)交換芯片也會(huì)支持相關(guān)功能，咱們拭目以待吧。

主旨演講3：博通《Unleashing Ethernet： The Ubiquitous choice of Networking for AI/ML Clusters》

第三個(gè)主旨演講來(lái)自于博通的Mohan，他是博通全球副總裁、首席架構(gòu)師。Mohan的演講題目是《Unleashing Ethernet： The Ubiquitous choice of Networking for AI/ML Clusters》。博通作為以太網(wǎng)交換芯片的絕對(duì)領(lǐng)導(dǎo)者，其態(tài)度非常鮮明，即基于以太網(wǎng)打造AI/ML集群網(wǎng)絡(luò)。背景部分不再重復(fù)，直入主題。Mohan演講中重點(diǎn)強(qiáng)調(diào)了“調(diào)度”的重要性，包括switch scheduled和endpoint scheduled兩種方案。

Switch scheduled方案是利用Jericho3-AI作為leaf交換機(jī)，利用Ramon3作為spine交換機(jī)。其核心思想包括幾點(diǎn)：1）在leaf交換機(jī)之間建立credit流控，只有接收端的交換機(jī)有空閑的credit，發(fā)送端交換機(jī)才允許將報(bào)文注入網(wǎng)絡(luò)，2）報(bào)文在注入網(wǎng)絡(luò)時(shí)，會(huì)被切成固定大小的“cell”，并將不同的cell均勻的分發(fā)到不同的網(wǎng)絡(luò)路徑上，實(shí)現(xiàn)負(fù)載均衡，3）用VOQ技術(shù)避免HOL blocking。由于時(shí)間關(guān)系，Mohan在會(huì)上講的細(xì)節(jié)不多，感興趣的同學(xué)可以參考這個(gè)演講（博通交換機(jī)調(diào)度方案）。

端側(cè)調(diào)度的核心思想來(lái)自于NSDI‘22的論文（EQDS論文），基本思路還是receiver-based credit調(diào)度。最近幾年，sender調(diào)速和receiver調(diào)速的爭(zhēng)論很多，其實(shí)Bill Dally教授在《Principles and Practices of Interconnection Networks》一書(shū)中講解input-arbiter和output-arbiter的時(shí)候分析的很清楚，兩者本質(zhì)上沒(méi)有區(qū)別。另外，ACK和credit又有什么區(qū)別呢？ACK的目的不也是用于釋放/增大窗口嗎？那么稍微優(yōu)化一下ACK的反饋機(jī)制就夠了？總體上感覺(jué)，雖然博通和阿里云都在講流量調(diào)度，但是阿里云的視角更寬一些，從集群任務(wù)調(diào)度到底層AR都有涉及，而博通的方案還是局限在網(wǎng)卡和交換機(jī)。當(dāng)然這與兩個(gè)公司在生態(tài)中的站位是有關(guān)的。個(gè)人感覺(jué)阿里云的方案更全面。

當(dāng)然Mohan演講中最吸引眼球還要是UEC話題。UEC最早是在今年OCP大會(huì)上公開(kāi)的，博通、AMD、Intel、Meta、Microsoft是其中的主力成員，目標(biāo)是在AI/ML這個(gè)市場(chǎng)上構(gòu)建基于以太網(wǎng)的網(wǎng)絡(luò)生態(tài)。目前AI集群中，GPU網(wǎng)絡(luò)仍然分為scale out網(wǎng)絡(luò)和scale up網(wǎng)絡(luò)。Scale out網(wǎng)絡(luò)的實(shí)際標(biāo)準(zhǔn)是RoCE和IB，scale up網(wǎng)絡(luò)的事實(shí)標(biāo)準(zhǔn)是NVLINK。UEC的核心目標(biāo)是把兩個(gè)網(wǎng)絡(luò)都統(tǒng)一到以太網(wǎng)。但這也并不是很容易，例如NVLINK需要支持緩存一致性協(xié)議，從而可以實(shí)現(xiàn)一個(gè)“Giant GPU”，以太網(wǎng)是否可以高效的支持緩存一致性協(xié)議是目前主要的問(wèn)題。

圓桌論壇

前面的演講精彩紛呈，圓桌會(huì)議也是熱烈非凡，頗有華山論劍的感覺(jué)。

在AI大模型時(shí)代，數(shù)據(jù)中心網(wǎng)絡(luò)架構(gòu)該如何演進(jìn)，高性能網(wǎng)絡(luò)協(xié)議又該如何演進(jìn)是目前行業(yè)內(nèi)最熱門的話題，針對(duì)這個(gè)問(wèn)題，專家們的觀點(diǎn)總體上是一致的，即網(wǎng)絡(luò)的發(fā)展一定是要滿足應(yīng)用需求來(lái)發(fā)展的，那么當(dāng)前最重要的需求還是支持更大規(guī)模的模型訓(xùn)練，那么協(xié)議的設(shè)計(jì)、AR和CC算法的設(shè)計(jì)都是圍繞這個(gè)目標(biāo)來(lái)展開(kāi)的。

為此，UEC已經(jīng)在嘗試給出自己的答案，但是也有專家提出UEC并不是目前唯一的“努力”，谷歌也提出了Falcon方案并計(jì)劃開(kāi)源。由于UDP提供了一個(gè)最基礎(chǔ)的datagram語(yǔ)義，所以Falcon也是采用了業(yè)界普遍的做法，和SRD、Solar 一樣，采用在UDP之上進(jìn)行擴(kuò)展的方式來(lái)滿足各自的業(yè)務(wù)需求，在高性能網(wǎng)絡(luò)傳輸?shù)暮诵墓δ芊矫?，F(xiàn)alcon 和阿里的 Solar-RDMA，AWS 的SRD 沒(méi)有太多本質(zhì)區(qū)別，都是圍繞多路徑傳輸，更加先進(jìn)的流控，以及支持更大規(guī)模連接方面在增強(qiáng)，但是Falcon在安全性，以及協(xié)議的多樣性支持方面有所增強(qiáng)，從而可以支持多種應(yīng)用，例如RoCE和NVMe，甚至 TCP，但是據(jù)一些渠道獲取的信息，F(xiàn)alcon 在Google 內(nèi)部并沒(méi)有大規(guī)模部署。

關(guān)于NVLINK 和IB 的關(guān)系，Gilad也闡述了自己的觀點(diǎn)，他認(rèn)為NVLINK和IB是面向不同場(chǎng)景下設(shè)計(jì)的，所以兩者之間不存在替換的關(guān)系，所有在未來(lái)不會(huì)看到IB完全取代NVLINK的情況，不過(guò)在需求的推動(dòng)下，目前GH200已經(jīng)支持了256個(gè)GPU通過(guò)NVLINK Switch互聯(lián)，未來(lái)這個(gè)網(wǎng)絡(luò)的規(guī)模可能會(huì)更大，當(dāng)NVLINK大規(guī)模組網(wǎng)時(shí)也會(huì)遇到以前大規(guī)模IB或者以太網(wǎng)已經(jīng)遇到的擴(kuò)展性問(wèn)題，所以NVLINK在某種程度上與IB進(jìn)行協(xié)同甚至融合又是一個(gè)確定性的趨勢(shì)。

在GPU集群如何 scale up 方面，Mohan堅(jiān)持認(rèn)為未來(lái)會(huì)統(tǒng)一到Ethernet，事實(shí)上，AMD和Intel最新的GPU已經(jīng)在使用以太網(wǎng)來(lái)實(shí)現(xiàn)Scale up網(wǎng)絡(luò)了，那么是不是可以說(shuō)技術(shù)上全部基于以太網(wǎng)是可行的，那么剩下的就是商業(yè)選擇了，不同廠家可能會(huì)有不同的選擇。

如果從客戶的角度來(lái)看（云廠商是芯片廠商的客戶），客戶肯定不希望有五花八門的網(wǎng)絡(luò)方案，這一點(diǎn)阿里云的專家也表達(dá)的非常清晰。云廠商的這個(gè)訴求其實(shí)也是比較容易理解的，網(wǎng)絡(luò)不只是一個(gè)個(gè)芯片，實(shí)際上是一個(gè)復(fù)雜的分布式系統(tǒng)，需要配套的監(jiān)控和運(yùn)營(yíng)系統(tǒng)，以及相應(yīng)的運(yùn)營(yíng)團(tuán)隊(duì)。如果每個(gè)GPU廠商都采用自己定義的私有協(xié)議，那么云廠商就需要為每種芯片定制監(jiān)管控系統(tǒng)，并且配置單獨(dú)的運(yùn)營(yíng)團(tuán)隊(duì)。當(dāng)然這些復(fù)雜度和成本最終一定會(huì)轉(zhuǎn)嫁到更下游的消費(fèi)者。

參考白盒交換機(jī)市場(chǎng)，所有交換芯片廠商都支持SONiC，那么下游的云廠商只需要適配SONiC就好了，回顧SONiC的歷史，早期也有其他競(jìng)對(duì)方案，通過(guò)多年的持續(xù)迭代最終逐漸歸一到SONiC，相信GPU互聯(lián)標(biāo)準(zhǔn)這塊也會(huì)有類似的過(guò)程，通過(guò)市場(chǎng)的選擇，最終一定會(huì)出現(xiàn)一個(gè)事實(shí)標(biāo)準(zhǔn)，可能是UEC，也可能是其他，但是一定是一個(gè)開(kāi)放的、大家可以共同參與的生態(tài)。

阿里云早在2019 年就提出了端網(wǎng)融合的可預(yù)期網(wǎng)絡(luò)這個(gè)網(wǎng)絡(luò)發(fā)展方向，這是基于阿里云從2016年就開(kāi)始研發(fā)部署 RDMA 高性能網(wǎng)絡(luò)，并在大規(guī)模部署實(shí)踐中不斷創(chuàng)新而提出來(lái)的理念。

隨著AI大模型的火熱，行業(yè)內(nèi)對(duì)“Predictable” 這個(gè)詞使用的頻率已經(jīng)越來(lái)越高，對(duì)于可預(yù)期網(wǎng)絡(luò)的理解也越來(lái)越具像化了，這次圓桌論道，行業(yè)內(nèi)的多位專家也是多次提及 Predictable， Predictable 可預(yù)期網(wǎng)絡(luò)目的是規(guī)避網(wǎng)絡(luò)“抖動(dòng)”，這對(duì)于高并發(fā)，高帶寬，同步通信等大模型訓(xùn)練的網(wǎng)絡(luò)流量特質(zhì)而言，收益是巨大的，因?yàn)樘嵘笏懔壕€性擴(kuò)展度不僅僅需要絕對(duì)網(wǎng)絡(luò)性能的提升，而且需要降低網(wǎng)絡(luò)長(zhǎng)尾延時(shí)，規(guī)避木桶短板，提供穩(wěn)定的高性能，而這就是可預(yù)期網(wǎng)絡(luò)（Predictable Network）的真正精髓所在。