NVLink技術(shù)之GPU與GPU的通信

計(jì)算機(jī)硬件的通信方式大體分為兩種類型：機(jī)器內(nèi)通信、機(jī)器間通信。

其中：NVLink技術(shù)屬于機(jī)器內(nèi)通信的一種，通常是GPU與GPU之間的通信，也可以用于CPU與GPU之間的通信。

01 技術(shù)背景

算力的提升不僅依靠單張 GPU 卡的性能提升，往往還需要多 GPU 卡組合。在多 GPU 系統(tǒng)內(nèi)部，GPU 間通信的帶寬通常在數(shù)百GB/s以上，PCIe總線的數(shù)據(jù)傳輸速率容易成為瓶頸，且PCIe鏈路接口的串并轉(zhuǎn)換會(huì)產(chǎn)生較大延時(shí)，影響GPU并行計(jì)算的效率和性能。 GPU發(fā)出的信號(hào)需要先傳遞到PCIe Switch, PCIe Switch中涉及到數(shù)據(jù)的處理，CPU會(huì)對數(shù)據(jù)進(jìn)行分發(fā)調(diào)度，這些都會(huì)引入額外的網(wǎng)絡(luò)延遲，限制了系統(tǒng)性能。

image.png 為此，NVIDIA推出了能夠提升GPU通信性能的技術(shù)——GPUDirect P2P技術(shù)，使GPU可以通過 PCI Express 直接訪問目標(biāo)GPU的顯存，避免了通過拷貝到CPU host memory作為中轉(zhuǎn)，大大降低了數(shù)據(jù)交換的延遲，但受限于PCI Express總線協(xié)議以及拓?fù)浣Y(jié)構(gòu)的一些限制，無法做到更高的帶寬。此后，NVIDIA 提出了 NVLink 總線協(xié)議。

02?NVLink簡介

NVLink 是一種高速互連技術(shù)，旨在加快 CPU 與 GPU、GPU 與 GPU 之間的數(shù)據(jù)傳輸速度，提高系統(tǒng)性能。 NVLink通過GPU之間的直接互聯(lián)，可擴(kuò)展服務(wù)器內(nèi)的多GPU I/O，相較于傳統(tǒng)PCIe總線可提供更高效、低延遲的互聯(lián)解決方案。 ? NVLink的首個(gè)版本于2014年發(fā)布，首次引入了高速GPU互連。2016年發(fā)布的P100搭載了第一代NVLink，提供 160GB/s 的帶寬，相當(dāng)于當(dāng)時(shí) PCIe 3.0 x16 帶寬（雙向）的 5 倍。 之后陸續(xù)發(fā)布了很多新版本，V100搭載的 NVLink2 將帶寬提升到300GB/s ，A100搭載了NVLink3帶寬為600GB/s。H100中包含18條第四代NVLink鏈路，總帶寬（雙向）達(dá)到 900 GB/s，是PCIe 5.0 x16帶寬（雙向）的7倍。

image.png

image.png NVLink高速互聯(lián)主要有兩種：

第一種是以橋接器的形式實(shí)現(xiàn)。

另一種是在主板上集成?NVLink?接口。

03?NVSwitch芯片 為了解決GPU之間通訊不均衡問題，NVIDIA引入NVSwitch。 NVSwitch芯片是一種類似交換機(jī)的物理芯片（ASIC），通過NVLink接口可以將多個(gè)GPU高速互聯(lián)到一起，可創(chuàng)建無縫、高帶寬的多節(jié)點(diǎn)GPU集群，實(shí)現(xiàn)所有GPU在一個(gè)具有全帶寬連接的集群中協(xié)同工作，從而提升服務(wù)器內(nèi)部多個(gè)GPU之間的通訊效率和帶寬。 NVLink和NVSwitch的結(jié)合使NVIDIA得以高效地將AI性能擴(kuò)展到多個(gè)GPU。

image.png 第一代 NVSwitch于2018年發(fā)布，采用臺(tái)積電 12nm FinFET 工藝制造，共有 18 個(gè) NVLink 2.0 接口。 目前 NVSwitch 已經(jīng)迭代至第三代。第三代 NVSwitch 采用臺(tái)積電 4N 工藝（臺(tái)積電 4N 工藝專為NVIDIA定制設(shè)計(jì)，并進(jìn)行了一系列優(yōu)化，它與普通臺(tái)積電5nm節(jié)點(diǎn)相比，可實(shí)現(xiàn)更好的電源效率與性能，并且密度有所提升）構(gòu)建，每個(gè) NVSwitch 芯片上擁有 64 個(gè) NVLink 4.0 端口，GPU 間通信速率可達(dá) 900GB/s。

image.png

04?GPU-SXM接口

英偉達(dá) GPU 服務(wù)器可分為 PCIe 版 和 SXM 版，這是因?yàn)橛ミ_(dá)GPU卡間互連的插槽有2種類型：一種是PCIe口，一種是SXM口。

PCIe口是一個(gè)相對通用的協(xié)議，把 PCIe 版 GPU 卡插到 PCIe 插槽上，就可以和CPU、同一個(gè)服務(wù)器上其他的GPU卡進(jìn)行通信，也可以通過網(wǎng)卡與其他的服務(wù)器節(jié)點(diǎn)上的設(shè)備進(jìn)行通信，這種就是PCIe的通信方式，但是這種傳輸速度不快。

SXM口是專門用來做卡間互連的，是英偉達(dá)為高性能計(jì)算和數(shù)據(jù)中心設(shè)計(jì)出的更強(qiáng)的計(jì)算能力和傳輸速度。SXM協(xié)議是鋪在電路板上，SXM協(xié)議做卡間互連會(huì)更快，SXM接口的GPU通常是存在于DGX系統(tǒng)板上，對NVLink原生支持更好，DGX系統(tǒng)板支持4張GPU-SXM或則8張GPU-SXM，顯存帶寬比PCIe高一些。

PCIe和SXM都可以用NVLink，但是SXM是更好使用NVLink的方法。

SXM 架構(gòu)是一種高帶寬插座式解決方案，用于將 GPU 連接到 NVIDIA 專有的 DGX 和 HGX 系統(tǒng)。SXM 版 GPU 通過主板上集成的 NVSwitch 實(shí)現(xiàn) NVLink 的連接，不需要通過主板上的PCIe進(jìn)行通信，它能支持8塊GPU卡的互聯(lián)互通，實(shí)現(xiàn)了GPU之間的高帶寬。未閹割的A100是600GB/s、H100是900GB/s，閹割過的A800、H800為400GB/s。

image.png

如果想要和SXM一樣，有很快的傳輸速度，可以使用NVlink橋接器實(shí)現(xiàn)GPU和CPU之間的通信，但是和SXM不一樣的地方就是它只能實(shí)現(xiàn)2塊GPU卡之間的通信。即 PCIe 版只有成對的 GPU 通過 NVLink Bridge 連接，通過 PCIe 通道進(jìn)行數(shù)據(jù)通信。同時(shí)，最新的PCIe網(wǎng)絡(luò)帶寬有128GB/s的限制。

審核編輯：黃飛

?