詳解PCIe和NVLink兩種互聯(lián)技術(shù)

計(jì)算機(jī)網(wǎng)絡(luò)通信中兩個(gè)重要的衡量指標(biāo)是帶寬和延遲，AI 網(wǎng)絡(luò)也是如此。在向百億級(jí)及以上規(guī)模的發(fā)展過(guò)程中，影響AI計(jì)算集群性能的關(guān)鍵并不只在于單個(gè)芯片的處理速度，每個(gè)芯片之間的通信速度也尤為重要。

目前GPU卡間互聯(lián)的主要協(xié)議是PCIe和NVlink，服務(wù)器間互聯(lián)則是RDMA和以太網(wǎng)。之前我們有談過(guò)IB和RoCE（IB和RoCE，誰(shuí)更適合AI數(shù)據(jù)中心網(wǎng)絡(luò)?），本文將主要介紹PCIe和NVLink兩種互聯(lián)技術(shù)。

01PCIe ：高帶寬擴(kuò)展總線

總線是服務(wù)器主板上不同硬件互相進(jìn)行數(shù)據(jù)通信的管道，可以簡(jiǎn)單理解為生活中的各種交通道路?？偩€對(duì)硬件間數(shù)據(jù)傳輸速度起著決定性的作用，目前最流行的總線協(xié)議為PCIe（PCI-Express），最早由Intel于2001年提出。

PCle主要用于連接CPU與各類高速外圍設(shè)備，如GPU、SSD、網(wǎng)卡、顯卡等。與傳統(tǒng)的PCI總線相比，PCIe采用點(diǎn)對(duì)點(diǎn)連接方式，具有更高的性能和可擴(kuò)展性。伴隨著AI、自動(dòng)駕駛、AR/VR等應(yīng)用快速發(fā)展，計(jì)算要求愈來(lái)愈高，處理器I/O帶寬的需求每三年實(shí)現(xiàn)翻番，PCIe也大致按照3年一代的速度更新演進(jìn)，每一代升級(jí)幾乎能夠?qū)崿F(xiàn)傳輸速率的翻倍，并有著良好的向后兼容性。

2003 年P(guān)CIe 1.0 正式發(fā)布，可支持每通道傳輸速率為 250MB/s，總傳輸速率為 2.5 GT/s。

2007 年推出PCIe 2.0 規(guī)范。在 PCIe 1.0 的基礎(chǔ)上將總傳輸速率提高了一倍，達(dá)到 5 GT/s，每通道傳輸速率從 250 MB/s 上升至 500 MB/s。

2022 年 PCIe 6.0 規(guī)范正式發(fā)布，總帶寬提高至 64 GT/s。

2022年6月，PCI-SIG聯(lián)盟宣布PCIe 7.0版規(guī)范，單條通道（x1）單向可實(shí)現(xiàn)128GT/s傳輸速率，計(jì)劃于2025年推出最終版本。

PCIe 1.0 到 6.0 不同 Lane 下的帶寬變化

Retimer

在PCIe標(biāo)準(zhǔn)的迭代過(guò)程中，隨著通信速率的逐步提高，信號(hào)質(zhì)量也會(huì)受到影響，為應(yīng)對(duì)愈演愈烈的信號(hào)衰減問(wèn)題，PCIe從4.0時(shí)期開(kāi)始引入信號(hào)調(diào)理芯片：

PCIe Retimer

Retimer是一種數(shù)模信號(hào)混合芯片，功能主要為重新生成信號(hào)。Retimer 先恢復(fù)抖動(dòng)的時(shí)鐘信號(hào)，再生成新信號(hào)并重新發(fā)送，從而有效解決信號(hào)衰減問(wèn)題，為服務(wù)器、存儲(chǔ)設(shè)備及硬件加速器等應(yīng)用場(chǎng)景提供可擴(kuò)展的高性能PCIe互聯(lián)解決方案。

PCIe Redriver

Redriver是一種信號(hào)放大器，通過(guò)發(fā)射端的驅(qū)動(dòng)器和接收端的濾波器提升信號(hào)強(qiáng)度，從而實(shí)現(xiàn)對(duì)信號(hào)損耗的補(bǔ)償。

從工作原理來(lái)看，Redriver通過(guò)放大信號(hào)來(lái)恢復(fù)數(shù)據(jù)，而Retimer 則重新建立一個(gè)傳輸信號(hào)的新副本。與 Redriver 相比，Retimer 恢復(fù)信號(hào)的效果更好，能夠?qū)崿F(xiàn)比Redriver更優(yōu)的降低信道損耗效果，但由于增加了數(shù)據(jù)處理過(guò)程，時(shí)延有所增加。

PCIe Switch

PCIe 的鏈路通信是一種端對(duì)端的數(shù)據(jù)傳輸，每一條PCIe鏈路兩端只能各連接一個(gè)設(shè)備，在需要高速數(shù)據(jù)傳輸和大量設(shè)備連接的場(chǎng)景中連接數(shù)量和速度受限。因此需要PCIe Switch提供擴(kuò)展或聚合能力，從而允許更多的設(shè)備連接到一個(gè) PCle 端口，以解決 PCIe 通道數(shù)量不夠的問(wèn)題。

PCIe Switch連接多條PCIe總線

PCIe Switch兼具連接、交換功能，具有低功耗、低延遲、高可靠性、高靈活性等優(yōu)勢(shì)，能夠?qū)⒍鄺lPCIe總線連接在一起，形成一個(gè)高速的PCIe互聯(lián)網(wǎng)絡(luò)，從而實(shí)現(xiàn)多設(shè)備通信。從PCIe Switch內(nèi)部結(jié)構(gòu)看，其由多個(gè)PCI-PCI橋接構(gòu)成，實(shí)現(xiàn)從單條線到多條線的發(fā)散。PCIe Switch 芯片與其設(shè)備的通信協(xié)議都是 PCIe。

02NVLink：高速 GPU 互連

算力的提升不僅依靠單張GPU卡的性能提升，往往還需要多GPU卡組合。在多GPU系統(tǒng)內(nèi)部，GPU間通信的帶寬通常在數(shù)百GB/s以上，PCIe總線的數(shù)據(jù)傳輸速率容易成為瓶頸，且PCIe鏈路接口的串并轉(zhuǎn)換會(huì)產(chǎn)生較大延時(shí)，影響GPU并行計(jì)算的效率和性能。

GPU發(fā)出的信號(hào)需要先傳遞到PCIe Switch, PCIe Switch中涉及到數(shù)據(jù)的處理，CPU會(huì)對(duì)數(shù)據(jù)進(jìn)行分發(fā)調(diào)度，這些都會(huì)引入額外的網(wǎng)絡(luò)延遲，限制了系統(tǒng)性能。

為此，NVIDIA推出了能夠提升GPU通信性能的技術(shù)——GPUDirect P2P技術(shù)，使GPU可以通過(guò)PCI Express直接訪問(wèn)目標(biāo)GPU的顯存，避免了通過(guò)拷貝到CPU host memory作為中轉(zhuǎn)，大大降低了數(shù)據(jù)交換的延遲，但受限于PCI Express總線協(xié)議以及拓?fù)浣Y(jié)構(gòu)的一些限制，無(wú)法做到更高的帶寬。此后，NVIDIA提出了NVLink總線協(xié)議。

NVLink的演進(jìn)

NVLink 是一種高速互連技術(shù)，旨在加快 CPU 與 GPU、GPU 與 GPU 之間的數(shù)據(jù)傳輸速度，提高系統(tǒng)性能。NVLink通過(guò)GPU之間的直接互聯(lián)，可擴(kuò)展服務(wù)器內(nèi)的多GPU I/O，相較于傳統(tǒng)PCIe總線可提供更高效、低延遲的互聯(lián)解決方案。

NVLink的首個(gè)版本于2014年發(fā)布，首次引入了高速GPU互連。2016年發(fā)布的P100搭載了第一代NVLink，提供 160GB/s 的帶寬，相當(dāng)于當(dāng)時(shí) PCIe 3.0 x16 帶寬的 5 倍。V100搭載的NVLink2將帶寬提升到300GB/s ，A100搭載了NVLink3帶寬為600GB/s。目前NVLink已迭代至第四代，可為多GPU系統(tǒng)配置提供高于以往1.5倍的帶寬以及更強(qiáng)的可擴(kuò)展性，H100中包含18條第四代NVLink鏈路，總帶寬達(dá)到900 GB/s，是PCIe 5.0帶寬的7倍。

四代 NVLink 對(duì)比

目前已知的NVLink分兩種，一種是橋接器的形式實(shí)現(xiàn)NVLink高速互聯(lián)技術(shù)，另一種是在主板上集成了NVLink接口。

NVSwitch

為了解決GPU之間通訊不均衡問(wèn)題，NVIDIA引入NVSwitch。NVSwitch芯片是一種類似交換機(jī)ASIC的物理芯片，通過(guò)NVLink接口可以將多個(gè)GPU高速互聯(lián)到一起，可創(chuàng)建無(wú)縫、高帶寬的多節(jié)點(diǎn)GPU集群，實(shí)現(xiàn)所有GPU在一個(gè)具有全帶寬連接的集群中協(xié)同工作，從而提升服務(wù)器內(nèi)部多個(gè)GPU之間的通訊效率和帶寬。NVLink和NVSwitch的結(jié)合使NVIDIA得以高效地將AI性能擴(kuò)展到多個(gè)GPU。

NVSwitch 拓?fù)鋱D

第一代 NVSwitch于2018年發(fā)布，采用臺(tái)積電 12nmFinFET 工藝制造，共有 18 個(gè) NVLink 2.0 接口。目前 NVSwitch 已經(jīng)迭代至第三代。第三代 NVSwitch 采用 TSMC 4N 工藝構(gòu)建，每個(gè) NVSwitch 芯片上擁有 64 個(gè) NVLink 4.0 端口，GPU 間通信速率可達(dá) 900GB/s。

三代 NVSwitch 性能對(duì)比

2023 年 5 月 29 日，NVIDIA推出的DGX GH200 AI超級(jí)計(jì)算機(jī)，采用NVLink以及 NVLink Switch System 將256個(gè)GH200 超級(jí)芯片相連，把所有GPU作為一個(gè)整體協(xié)同運(yùn)行。DGX GH200 是第一臺(tái)突破 NVLink 上 GPU 可訪問(wèn)內(nèi)存 100 TB 障礙的超級(jí)計(jì)算機(jī)。

03AI時(shí)代下的網(wǎng)絡(luò)互聯(lián)

在逐步邁向AI時(shí)代網(wǎng)絡(luò)互聯(lián)的過(guò)程中，該選擇PCIe還是NVLink？我們可以先看下NVIDIA 的NVLink版（SXM版）與PCIe版GPU的區(qū)別。

SXM架構(gòu)是一種高帶寬插座式解決方案，用于將 GPU連接到NVIDIA 專有的 DGX 和 HGX 系統(tǒng)。SXM 版GPU通過(guò) NVSwitch 芯片互聯(lián)，GPU 之間交換數(shù)據(jù)采用NVLink，未閹割的A100是600GB/s、H100是900GB/s，閹割過(guò)的A800、H800為400GB/s。PCIe版只有成對(duì)的 GPU 通過(guò) NVLink Bridge 連接，通過(guò) PCIe 通道進(jìn)行數(shù)據(jù)通信。最新的PCIe只有128GB/s。

AI /HPC的計(jì)算需求不斷增長(zhǎng)，因此越來(lái)越需要在 GPU 之間提供更大的互聯(lián)帶寬。總的來(lái)說(shuō)，NVLink的傳輸速度與時(shí)延都要優(yōu)于PCIe，PCIe的帶寬已逐漸無(wú)法滿足AI時(shí)代數(shù)據(jù)互聯(lián)的需求。但PCIe作為通用標(biāo)準(zhǔn)的互聯(lián)技術(shù)，可廣泛應(yīng)用于各種場(chǎng)景，而NVLink為NVIDIA專有，是NVIDIA AI帝國(guó)的護(hù)城河，其他企業(yè)只能采用PCIe或者別的互聯(lián)協(xié)議。

像谷歌是通過(guò)自研的OCS（Optical Circuit Switch）技術(shù)實(shí)現(xiàn)TPU之間的互聯(lián)，解決TPU的擴(kuò)展性問(wèn)題。谷歌還自研了一款光路開(kāi)關(guān)芯片Palomar，通過(guò)該芯片可實(shí)現(xiàn)光互聯(lián)拓?fù)涞撵`活配置。也就是說(shuō)，TPU芯片之間的互聯(lián)拓?fù)洳⒎且怀刹蛔儯梢愿鶕?jù)機(jī)器學(xué)習(xí)的具體模型來(lái)改變拓?fù)?，提升?jì)算性能及可靠性。借助OCS技術(shù)，可以將4096個(gè)TPU v4組成一臺(tái)超級(jí)計(jì)算機(jī)。

據(jù)稱，目前國(guó)外AI芯片初創(chuàng)公司Enfabrica和國(guó)內(nèi)某些企業(yè)正沿著PCIe/CXL Switch方向在努力，結(jié)合CXL協(xié)議規(guī)范和PCIe接口的通用性，打造CPU-CPU直連交換芯片和系統(tǒng)方案。近期，NVIDIA還對(duì)Enfabrica進(jìn)行了投資。有分析師表示，Enfabrica完全具備作為NVIDIA競(jìng)爭(zhēng)對(duì)手的潛力，未來(lái)NVIDIA可能會(huì)考慮收購(gòu)這家初創(chuàng)公司。

市場(chǎng)發(fā)展瞬息萬(wàn)變，未來(lái)具體將如何演變不僅取決于技術(shù)創(chuàng)新，也取決于市場(chǎng)需求和行業(yè)合作。在這個(gè)不斷演變的AI網(wǎng)絡(luò)互聯(lián)時(shí)代，企業(yè)如何抉擇將取決于自身對(duì)性能、成本、應(yīng)用場(chǎng)景和未來(lái)發(fā)展趨勢(shì)等多重因素的考量。

審核編輯：湯梓紅