PCIe 5.0加速云中的數(shù)據(jù)移動

PCI Express （PCIe） 規(guī)范在 3.0 代保持了近七年（從 2010 年到 2017 年），通道以每秒 8 千兆傳輸 （GT/s） 的速度運行。

在此期間，計算和網(wǎng)絡(luò)帶寬需求繼續(xù)快速增長。在這個時間跨度即將結(jié)束時，PCIe 越來越成為更高系統(tǒng)性能的瓶頸。

隨著數(shù)據(jù)處理需求和帶寬需求的持續(xù)加速，業(yè)界采取了更加積極的方法來提升 PCIe 的性能，以確保其與其他技術(shù)保持同步。PCI-SIG 承諾以兩年的時間來升級標(biāo)準(zhǔn)。2017 年推出的 PCIe 4.0 于 2019 年底隨著 AMD EPYCTM 7002（羅馬）處理器的推出而在主流服務(wù)器中首次亮相。PCIe 4.0 將通道速度提高一倍，達(dá)到 16 GT/s。

然而，由 AI/ML、高性能計算 （HPC） 和其他數(shù)據(jù)中心工作負(fù)載驅(qū)動的對更大帶寬的需求是無法滿足的。云中的網(wǎng)絡(luò)正在從 100 Gb 以太網(wǎng) （GbE） 遷移到 400 GbE。因此，雖然 PCIe 4.0 只是最近才上市，但它已經(jīng)不足以支持這些更快的網(wǎng)絡(luò)速度。因此，在 2022 年初，我們將看到新服務(wù)器架構(gòu)向下一代 PCIe 標(biāo)準(zhǔn)的過渡。

進入 PCIe 5.0。PCIe 5.0 標(biāo)準(zhǔn)進一步提高了性能，以增加帶寬并最大限度地減少數(shù)據(jù)中心和邊緣的通信延遲。它將數(shù)據(jù)速率擴展至高達(dá) 32 GT/s，車道速度比上一代產(chǎn)品翻了一番。這使得具有高性能工作負(fù)載的應(yīng)用程序得到進一步發(fā)展，例如基因組學(xué)、AI/ML 訓(xùn)練、視頻轉(zhuǎn)碼和流游戲，所有這些都越來越復(fù)雜，并且需要越來越多的并行處理。

由于所需的高帶寬，企業(yè)和云數(shù)據(jù)中心有望成為 PCIe 5.0 的早期采用者。然而，鑒于越來越多的低延遲和時間敏感型應(yīng)用程序，PCIe 5.0 在邊緣的采用將很快跟進。典型的超大規(guī)模數(shù)據(jù)中心可以幫助說明接口的部署位置。

超大規(guī)模數(shù)據(jù)中心包含三個主要元素：網(wǎng)絡(luò)、計算和存儲。這是一種非常典型的云架構(gòu)，也稱為數(shù)據(jù)中心的葉脊架構(gòu)。該架構(gòu)的基礎(chǔ)節(jié)點是服務(wù)器機架，這些機架組合成集群?；居嬎愫吞幚砘旧习l(fā)生在這些服務(wù)器中。隨著工作負(fù)載變得越來越復(fù)雜，并行性增加，從而推動了東/西流量（數(shù)據(jù)中心內(nèi)流量）的增加。

此外，應(yīng)用程序現(xiàn)在跨越一個機架或多個機架內(nèi)的多個服務(wù)器。架頂式 （ToR） 交換機負(fù)責(zé)機架內(nèi)服務(wù)器之間的數(shù)據(jù)流量交換。連接這些的是葉交換機，可在集群內(nèi)的機架之間實現(xiàn)數(shù)據(jù)流量。

上一層，有一個主干交換機，使流量能夠在數(shù)據(jù)中心內(nèi)的集群之間流動。ToR 交換機的前面板上是以太網(wǎng) QSFP 節(jié)點，將其連接到機架內(nèi)的服務(wù)器。服務(wù)器在 ToR 交換機的以太網(wǎng)連接的另一端有一個網(wǎng)絡(luò)接口卡 （NIC）。

400 GbE 是雙向鏈路，可在兩個方向上提供每秒 400 千兆位 （Gb/s） 的帶寬。這意味著 800 Gb/s 或 100 GB/秒 （GB/s） 的總帶寬。PCIe 5.0 也是雙向的，通常實例化為 x16 接口。這意味著 32 GT/s，雙工乘以 2，通道乘以 16，除以每字節(jié) 8 位，（32 x 2 x 16）/8 或 124 GB/s。這是足夠的帶寬來支持全速運行的 400 GbE NIC，而 PCIe 4.0 實施的 16 GT/s 數(shù)據(jù)速率則不能。

PCIe 5.0 也在推動對 CPU 和 SSD 控制器之間的 NVMe 驅(qū)動器的快速視頻存儲訪問所需的性能。從存儲的角度來看，視頻的分辨率越來越高，這意味著控制器和 CPU 之間的接口必須越來越快，而 U.2 外形需要 x4 接口。以 PCIe 5.0 的速度運行，這相當(dāng)于 32 GB/s 的總帶寬。

這種對帶寬的貪婪需求永無止境。更多的帶寬可以促進工作負(fù)載的進步，使新的應(yīng)用程序成為可能，而這些應(yīng)用程序在永無止境的良性循環(huán)中再次需要更多的帶寬。PCIe 5.0 代表了系統(tǒng)接口標(biāo)準(zhǔn)的最新一代，它在連接計算設(shè)備內(nèi)部的芯片方面變得無處不在，就像以太網(wǎng)用于設(shè)備之間的連接一樣。隨著 PCI Express 標(biāo)準(zhǔn)的升級周期為兩年，PCIe 5.0 將成為邁向更高水平計算性能之旅的重要組成部分。

審核編輯：郭婷