什么是CXL？一文了解高速互聯(lián)技術(shù)CXL

Compute Express Link（CXL）作為一種先進(jìn)的互連技術(shù)，在當(dāng)今高性能計算領(lǐng)域引起了廣泛關(guān)注，其高帶寬、低延遲的特性使其成為連接處理器、加速器、存儲等關(guān)鍵組件的理想選擇。本文將深入探討CXL技術(shù)，從其起源、特點，到應(yīng)用領(lǐng)域和與其他技術(shù)的比較，全面了解CXL對現(xiàn)代數(shù)據(jù)中心生態(tài)系統(tǒng)的重要性。

什么是CXL？

CXL的起源可追溯到數(shù)據(jù)中心和高性能計算領(lǐng)域?qū)Ω焖佟⒏咝ЩミB技術(shù)的需求。過去，HDD磁盤和內(nèi)存之間差距很多，但隨著SSD、NVMe 設(shè)備的出現(xiàn)逐漸彌補(bǔ)了中間的鴻溝。然而即使采用了NVMe設(shè)備，其與內(nèi)存的差異仍然有10倍以上。傳統(tǒng)數(shù)據(jù)庫對于這一差異已經(jīng)不再敏感，原因是因為系統(tǒng)的瓶頸已經(jīng)來到了CPU側(cè)，因此這幾年所有人都在關(guān)注列存、向量化等技術(shù)來降低內(nèi)存使用。對于許多應(yīng)用而言，盡管NVMe的延遲已經(jīng)足夠滿足要求，但是吞吐依然是很明顯的瓶頸，因此并不能完全替代內(nèi)存，這其中模型訓(xùn)練、向量數(shù)據(jù)都是非常典型的場景。

CXL的出現(xiàn)很好地解決了這個問題，通過將設(shè)備掛載到PCIe總線上，CXL實現(xiàn)了設(shè)備到CPU之間的互聯(lián)，實現(xiàn)了存儲計算分離。CXL 還允許 CPU 以低延遲和高帶寬訪問連接設(shè)備上更大的內(nèi)存池，從而擴(kuò)展內(nèi)存。這可以增加 AI/ML 應(yīng)用程序的內(nèi)存容量和性能。

CXL利用靈活的處理器端口，可以在 PCIe 或 CXL 模式下運(yùn)行。這兩種設(shè)備類別均可在 PCIe5.0 中實現(xiàn) 32 GT/s 的數(shù)據(jù)速率，在 PCIe6.0 中實現(xiàn)高達(dá) 64 GT/s 的數(shù)據(jù)速率，為 AI/ML 應(yīng)用提供了額外的功能和優(yōu)勢。

為什么需要 CXL？

隨著可用數(shù)據(jù)量的增長，數(shù)據(jù)中心必須適應(yīng)更復(fù)雜、要求更高的工作負(fù)載。已有數(shù)十年歷史的服務(wù)器架構(gòu)正在發(fā)生變化，使高性能計算系統(tǒng)能夠處理人工智能/機(jī)器學(xué)習(xí)應(yīng)用程序產(chǎn)生的大量數(shù)據(jù)。

這就是 CXL 的用武之地。CXL提供有效的資源共享/池來提高性能，最大限度地減少對復(fù)雜軟件的需求，并降低系統(tǒng)總成本。

CXL 的好處

# CXL 為企業(yè)和數(shù)據(jù)中心運(yùn)營商帶來多種優(yōu)勢，包括：

實現(xiàn)了計算和存儲資源的分離，不再局限于CPU，GPU、FPGA都可以實現(xiàn)CXL協(xié)議共享內(nèi)存資源并實現(xiàn)跟CPU的數(shù)據(jù)交互。

提供了比內(nèi)存插槽所能容納的更多的容量和帶寬。

通過 CXL 連接設(shè)備，計算資源的擴(kuò)展會變的更加容易。

內(nèi)存變得更加彈性，按需分配、動態(tài)遷移都將變成可能。

允許 CPU 結(jié)合 DRAM 內(nèi)存使用額外內(nèi)存 。

CXL vs. PCIe vs. NVLink

互連技術(shù)在計算領(lǐng)域的進(jìn)步中發(fā)揮著關(guān)鍵作用，而CXL、PCIe和NVLink則代表了當(dāng)前領(lǐng)先的互連標(biāo)準(zhǔn)。以下是它們之間的對比：

# 帶寬和速度

CXL：CXL在帶寬方面表現(xiàn)卓越，CXL2.0支持32 GT/s的數(shù)據(jù)傳輸速率，CXL3.0支持64 GT/s的數(shù)據(jù)傳輸速率。這使得CXL能夠更有效地滿足處理大規(guī)模數(shù)據(jù)和高性能計算工作負(fù)載的需求。

PCIe：PCIe 4.0的速度為16 GT/s，PCIe 5.0為32 GT/s，PCIe 6.0提供了64 GT/s的速度。PCIe一直是計算系統(tǒng)中最廣泛使用的互連技術(shù)之一。

NVLink：NVLink同樣提供高帶寬，適用于連接NVIDIA GPU。其速度通常與PCIe 5.0相當(dāng)，但在GPU之間的通信中具有更低的延遲。

# 內(nèi)存共享

CXL：CXL引入了內(nèi)存共享的概念，使得不同設(shè)備能夠直接訪問共享的內(nèi)存。這大大提高了內(nèi)存訪問的效率，尤其在大規(guī)模數(shù)據(jù)處理的場景中。

PCIe：PCIe通常需要通過額外的數(shù)據(jù)傳輸步驟實現(xiàn)設(shè)備之間的內(nèi)存共享，這可能引入一些額外的延遲。

NVLink：NVLink也支持GPU之間的內(nèi)存共享，優(yōu)化了大規(guī)模并行計算的性能。

# 多用途性

CXL：CXL被設(shè)計成一種通用的互連技術(shù)，可連接處理器、加速器、存儲等多種設(shè)備。其多用途性使得CXL在構(gòu)建靈活且高性能的系統(tǒng)時更具優(yōu)勢。

PCIe：PCIe同樣是一種通用的互連技術(shù)，廣泛應(yīng)用于連接圖形卡、存儲設(shè)備、網(wǎng)絡(luò)適配器等。

NVLink：NVLink主要用于連接NVIDIA GPU，優(yōu)化了GPU之間的通信，適用于圖形處理、深度學(xué)習(xí)等對GPU性能要求較高的領(lǐng)域。

# 生態(tài)系統(tǒng)支持

CXL：CXL的生態(tài)系統(tǒng)正在迅速發(fā)展，越來越多的廠商開始支持CXL，并推出相應(yīng)的硬件和軟件產(chǎn)品。

PCIe：PCIe是當(dāng)前計算領(lǐng)域中最成熟和廣泛應(yīng)用的互連技術(shù)之一，具有龐大的生態(tài)系統(tǒng)。

NVLink：NVLink主要由NVIDIA支持，因此在生態(tài)系統(tǒng)上可能相對受限。

# 應(yīng)用領(lǐng)域

CXL：CXL廣泛適用于數(shù)據(jù)中心、人工智能、科學(xué)計算等多個領(lǐng)域，具有靈活性和高性能的特點。

PCIe：PCIe在各種應(yīng)用場景中都有廣泛應(yīng)用，從個人計算機(jī)到數(shù)據(jù)中心。

NVLink：NVLink主要用于連接NVIDIA GPU，在圖形處理和深度學(xué)習(xí)等領(lǐng)域表現(xiàn)出色。

CXL、PCIe和NVLink各自具有獨特的特點和優(yōu)勢，選擇取決于特定應(yīng)用的需求和硬件架構(gòu)的要求。CXL以其高帶寬、內(nèi)存共享和多用途性等方面的優(yōu)勢，在未來有望在高性能計算領(lǐng)域取得更大的影響。PCIe作為成熟的互連標(biāo)準(zhǔn)在各個層面都有強(qiáng)大的生態(tài)系統(tǒng)。NVLink則在與NVIDIA GPU的協(xié)同工作方面表現(xiàn)突出，適用于對GPU性能要求較高的領(lǐng)域。

CXL協(xié)議和標(biāo)準(zhǔn)

CXL 聯(lián)盟于 2019 年第三季度成立，是一個開放的行業(yè)標(biāo)準(zhǔn)組織，旨在創(chuàng)建技術(shù)規(guī)范，促進(jìn)數(shù)據(jù)中心加速器和其他高速改進(jìn)的開放生態(tài)系統(tǒng)，同時為新的使用模式實現(xiàn)突破性的性能。目前 CXL 已經(jīng)發(fā)布了三個版本。

CXL 1.0 ：CXL 的第一個版本于 2019 年 3 月發(fā)布，基于 PCIe 5.0。它允許主機(jī) CPU 通過緩存一致性協(xié)議 (CXL.cache) 訪問加速器設(shè)備上的共享內(nèi)存，并通過內(nèi)存語義 (CXL.mem) 實現(xiàn)內(nèi)存擴(kuò)展。

CXL 2.0 ：CXL的第二個版本于2020年11月發(fā)布，基于PCIe 5.0。它支持 CXL 交換，將多個 CXL 設(shè)備連接到一個主機(jī)處理器或?qū)⒚總€設(shè)備匯集到多個主機(jī)處理器。它還實現(xiàn)了設(shè)備完整性和數(shù)據(jù)加密功能。

CXL 3.0 ：CXL的第三個版本于2022年8月發(fā)布，基于PCIe 6.0。它支持比 CXL 2.0 更高的帶寬和更低的延遲，并增加了設(shè)備熱插拔、電源管理和錯誤處理等新功能。

CXL 規(guī)范描述了允許設(shè)備相互通信的三種協(xié)議。

CXL.io：PCIe 5.0 協(xié)議的增強(qiáng)版本，可用于初始化、鏈接、設(shè)備發(fā)現(xiàn)、枚舉和寄存器訪問。它為 I/O 設(shè)備提供非一致的加載/存儲接口。

CXL.cache ：一種緩存一致性協(xié)議，定義主機(jī)和設(shè)備之間的交互，允許連接的 CXL 設(shè)備使用請求和響應(yīng)方法以極低的延遲有效地緩存主機(jī)內(nèi)存。

CXL.mem ：一種內(nèi)存協(xié)議，主機(jī)處理器可以使用加載和存儲命令訪問所連接設(shè)備的內(nèi)存，主機(jī) CPU 充當(dāng)主設(shè)備，CXL 設(shè)備充當(dāng)從設(shè)備。它可以支持易失性和持久性內(nèi)存架構(gòu)。

所有 CXL 設(shè)備都必須使用 CXL.io，但可以選擇支持 CXL.cache 或 CXL.mem，或兩者都支持。這些組合派生出三種設(shè)備類型：

類型 1 ：沒有本地內(nèi)存的專用加速器（例如智能網(wǎng)卡）。設(shè)備依賴于使用 CXL.io 和 CXL.cache 協(xié)議對主機(jī) CPU 內(nèi)存的一致訪問。它們可以擴(kuò)展 PCIe 協(xié)議功能（例如原子操作），并且可能需要實現(xiàn)自定義排序模型。

類型 2 ：具有高性能本地內(nèi)存（GDDR 或 HBM）的通用加速器（GPU、ASIC 或 FPGA）。要訪問主機(jī) CPU 和設(shè)備內(nèi)存，設(shè)備可以使用 CXL.io、CXL.cache 和 CXL.mem 協(xié)議。它們可以支持一致和非一致事務(wù)。

類型 3 ：內(nèi)存擴(kuò)展板和沒有本地緩存的持久內(nèi)存設(shè)備。設(shè)備可以使用 CXL.io 和 CXL.mem 協(xié)議，通過加載和存儲命令為主機(jī) CPU 提供對內(nèi)存的訪問。它們可以支持易失性和持久性內(nèi)存架構(gòu)。

由于CXL與PCIe緊密相關(guān)，新版本的CXL依賴于新版本的PCIe，接下來我們仔細(xì)研究一下 CXL 2.0 和 CXL 3.0 的區(qū)別。

什么是 CXL 2.0

如前所述，CXL 建立在 PCIe 物理基礎(chǔ)之上，是一種連接標(biāo)準(zhǔn)，旨在管理比 PCIe 多得多的功能。除了充當(dāng)主機(jī)和設(shè)備之間的數(shù)據(jù)傳輸之外，CXL 還支持三個分支：IO、Cache 和 Memory。

這三者構(gòu)成了CXL 1.0和1.1標(biāo)準(zhǔn)中定義的連接主機(jī)和設(shè)備的新方法的核心。更新后的CXL 2.0標(biāo)準(zhǔn)對其進(jìn)行了改進(jìn)。

CXL 2.0 沒有帶寬或延遲升級，因為它仍然基于相同的 PCIe 5.0 物理標(biāo)準(zhǔn)，但它確實包含了某些急需的 PCIe 特定功能。

相同的 CXL.io、CXL.cache 和 CXL.mem 內(nèi)在特性（處理如何處理數(shù)據(jù)以及在什么上下文中處理數(shù)據(jù)）是 CXL 2.0 的核心，同時還引入了交換功能、更多的加密以及對永久內(nèi)存的支持。

CXL 2.0 特性和優(yōu)點

＞內(nèi)存池

CXL 2.0 支持交換機(jī)啟用內(nèi)存池。主機(jī)可以通過 CXL 2.0 交換機(jī)訪問池中的一臺或多臺設(shè)備。雖然主機(jī)必須支持 CXL 2.0 才能利用此功能，但可以在內(nèi)存設(shè)備中使用支持 CXL 1.0、1.1 和 2.0 的硬件的組合。

在 1.0/1.1 版本下，設(shè)備只能充當(dāng)單個邏輯設(shè)備，一次只能由一臺主機(jī)訪問。而一個2.0級別的設(shè)備可以被劃分為無數(shù)個邏輯設(shè)備，從而使多達(dá)16個主機(jī)能夠同時訪問內(nèi)存的各個部分。

例如，為了將其工作負(fù)載的內(nèi)存需求與內(nèi)存池中的可用容量精確匹配，主機(jī)1 (H1)可以使用設(shè)備1 (D1)中一半的內(nèi)存和設(shè)備2 (D2)中四分之一的內(nèi)存。

最多16臺主機(jī)可以使用D1和D2設(shè)備的剩余空間。只有一臺主機(jī)可以使用設(shè)備D3和D4，分別兼容CXL 1.0和1.1。

＞CXL 2.0交換

了解 PCIe 交換機(jī)的用戶應(yīng)該知道，它們連接到具有一定數(shù)量通道（例如8個或16個通道）的主機(jī)處理器，然后支持下游大量附加通道以增加支持的設(shè)備數(shù)量。

例如，典型的 PCIe 交換機(jī)有 16 個用于 CPU 連接的通道，但下游有 48 個 PCIe 通道以支持六個鏈接的 GPU（每個通道為 x8）。

盡管存在上游瓶頸，但對于依賴 GPU 到 GPU 傳輸?shù)墓ぷ髫?fù)載來說，交換機(jī)是最佳選擇，尤其是在 CPU 通道受限的系統(tǒng)上。CXL 2.0 現(xiàn)在支持交換標(biāo)準(zhǔn)。

＞CXL 2.0 持久內(nèi)存

CXL 2.0持久內(nèi)存幾乎與 DRAM 一樣快，同時可以像 NAND 一樣存儲數(shù)據(jù)。

長期以來，人們一直不清楚這種存儲器是通過 DRAM 接口作為慢速大容量存儲器運(yùn)行，還是通過類存儲接口作為緊湊、快速存儲運(yùn)行。

原始 CXL 標(biāo)準(zhǔn)的 CXL.memory 標(biāo)準(zhǔn)并不直接提供持久內(nèi)存，除非已經(jīng)連接了設(shè)備。但這一次，CXL 2.0 提供了額外的 PMEM 支持。

CXL 2.0 安全

CXL 鏈路的點對點安全性是最重要的功能改進(jìn)。

CXL 2.0標(biāo)準(zhǔn)支持CXL控制器中的硬件加速進(jìn)行任意對任意通信加密。

這是標(biāo)準(zhǔn)的一個可選組件，這意味著芯片提供商不必將其內(nèi)置，如果已經(jīng)內(nèi)置了也可以選擇啟用或禁用它。

CXL 2.0規(guī)范

CXL 2.0 規(guī)范完全向后兼容 CXL 1.1 和 1.0，同時增加了對扇出交換的支持以連接到更多設(shè)備、內(nèi)存池以提高內(nèi)存利用效率、按需提供內(nèi)存容量，以及對持久性內(nèi)存的支持。

# CXL 2.0 規(guī)范的主要亮點

增加了交換功能，支持資源遷移、內(nèi)存擴(kuò)展和設(shè)備扇出。

提供對內(nèi)存池的支持以增加內(nèi)存并減少或消除過度配置內(nèi)存的需要。

通過添加鏈路級完整性和數(shù)據(jù)加密 (CXL IDE)，為通過 CXL 鏈路傳輸?shù)臄?shù)據(jù)提供機(jī)密性、完整性和重放保護(hù)。

什么是 CXL 3.0

處理器、存儲、網(wǎng)絡(luò)和其他加速器都可以通過 CXL 3.0 中的各種主機(jī)和加速器進(jìn)行池化和動態(tài)尋址，從而進(jìn)一步分解服務(wù)器的架構(gòu)。這與 CXL 2.0 處理內(nèi)存的方式類似。

此外，CXL 3.0 支持跨交換機(jī)或交換結(jié)構(gòu)的組件/設(shè)備之間的直接通信。例如，兩個 GPU 可以在不使用主機(jī) CPU、內(nèi)存或網(wǎng)絡(luò)的情況下相互通信。

# CXL 3.0 規(guī)范的亮點

Fabric 功能

多頭和fabric連接設(shè)備

增強(qiáng)的fabric管理

可組合的分解基礎(chǔ)設(shè)施

更好的可擴(kuò)展性和更高的資源利用率

增強(qiáng)的內(nèi)存池

多級交換

新的增強(qiáng)一致性功能

改進(jìn)了軟件功能

帶寬加倍至 64 GT

與 CXL 2.0 相比零延遲

完全向后兼容CXL 2.0、CXL 1.1和CXL 1.0

CXL 3.0的特點

＞ CXL 3.0 開關(guān)和扇出功能

新的 CXL 交換和扇出功能是 CXL 3.0 的主要特性之一。CXL 2.0 中添加了交換功能，使眾多主機(jī)和設(shè)備能夠位于單個 CXL 交換機(jī)級別上。

得益于 CXL 3.0，CXL 拓?fù)洮F(xiàn)在可以支持多交換層?？梢蕴砑痈嘣O(shè)備，每個 EDSFF 機(jī)架除了連接主機(jī)的架頂式 CXL 交換機(jī)外，還可以有一個 CXL 交換機(jī)。

＞CXL 3.0 設(shè)備到設(shè)備通信

CXL 還將 P2P 設(shè)備添加到設(shè)備通信中。P2P 允許設(shè)備直接通信，無需通過主機(jī)進(jìn)行通信。

＞CXL 3.0 一致性內(nèi)存共享

CXL 3.0 支持一致內(nèi)存共享。這很重要，CXL 2.0 只允許在各種主機(jī)和加速器之間劃分內(nèi)存設(shè)備。CXL 3.0 允許一致性域中的所有主機(jī)共享內(nèi)存，內(nèi)存得到了更有效的利用。

＞CXL 3.0：每個根端口支持多個設(shè)備

CXL 3.0 中消除了先前對單個 CXL 根端口下行連接的 Type-1/Type-2 設(shè)備數(shù)量的限制。CXL 2.0 只允許這些處理設(shè)備中的一個出現(xiàn)在根端口的下游。CXL 根端口現(xiàn)在可以實現(xiàn) Type-1/2/3 設(shè)備的完整混合搭配設(shè)置。

這尤其需要增加密度（每個主機(jī)有更多加速器）以及通過將多個加速器連接到單個交換機(jī)來使用新的點對點傳輸功能。

＞CXL 3.0：Fabric

CXL 3.0允許非樹形拓?fù)?，例?a target="_blank">環(huán)形、網(wǎng)狀和其他結(jié)構(gòu)，即使只有兩層交換機(jī)也是如此。各個節(jié)點的類型沒有限制，可以是主機(jī)，也可以是設(shè)備。

CXL 3.0 甚至可以處理spine/leaf設(shè)計，其中流量通過頂部spine節(jié)點進(jìn)行路由，將流量進(jìn)一步路由回較低級別（leaf）節(jié)點，而這些節(jié)點又包含實際的主機(jī)/設(shè)備。

＞CXL 3.0：全局結(jié)構(gòu)附加內(nèi)存（Global Fabric Attached Memory）

全局結(jié)構(gòu)附加內(nèi)存 (GFAM)支持使用新的內(nèi)存、拓?fù)浜徒Y(jié)構(gòu)功能，通過進(jìn)一步分解特定主機(jī)的內(nèi)存，推進(jìn)了 CXL 的Type-3概念。

從這個意義上說，GFAM 設(shè)備本質(zhì)上是主機(jī)和其他設(shè)備可以根據(jù)需要訪問的共享內(nèi)存池。此外，易失性和非易失性存儲器（例如 DRAM 和閃存）可以組合在 GFAM 器件中。

CXL 3.0 如何工作？

CXL 3.0 與早期版本相比提供了多項升級。最重要的是引入了一種稱為混合模式的新模式，它結(jié)合了批處理和實時方法的最佳元素。CXL 3.0 中包含的其他改進(jìn)包括對更大數(shù)據(jù)集的支持、增強(qiáng)的性能等等。

＞CXL 3.0的優(yōu)勢

CXL 3.0 具有多項優(yōu)勢，跨對等點的直接內(nèi)存訪問是最有趣的特性之一（P2P DMA）。借助此功能，許多主機(jī)可以共享相同的內(nèi)存空間和資源。因此，模型靈活性和可擴(kuò)展性的使用以及性能也可以得到改善。

CXL 3.0 的另一個優(yōu)勢是支持更快的速度和更高的電源效率，從而更好地利用資源并提高性能。

此外，CXL 3.0 使設(shè)備能夠更快地相互交互，提高系統(tǒng)吞吐量。

CXL 3.1發(fā)布

近日，CXL最新發(fā)布了3.1版，提供了更快、更安全的計算環(huán)境和更強(qiáng)大的技術(shù)基礎(chǔ)，可將數(shù)據(jù)中心轉(zhuǎn)變?yōu)榫扌头?wù)器。

新規(guī)范將支持 DDR6 內(nèi)存，該內(nèi)存仍在開發(fā)中。DDR 標(biāo)準(zhǔn)制定組織 JEDEC 尚未廣泛討論 DDR6。

CXL 3.1 協(xié)議可以打開更多的點對點通信，將內(nèi)存和存儲分解到單獨的機(jī)箱中。CXL 3.1 規(guī)范提供了一個支持新型內(nèi)存的開放標(biāo)準(zhǔn)，可以更有效地將數(shù)據(jù)重新路由到內(nèi)存和加速器。一項重要的改進(jìn)是將結(jié)構(gòu)上的內(nèi)存資源匯集到一個全局地址下，該功能稱為全局集成內(nèi)存，對于在內(nèi)存和其它資源之間建立更快的連接非常重要。加速器還將能夠直接與內(nèi)存資源通信，基于端口的路由的新功能有助于更快地訪問內(nèi)存資源。

CXL 3.1 還提供了在受保護(hù)環(huán)境中執(zhí)行數(shù)據(jù)的指令，引入這項技術(shù)是為了支持機(jī)密計算。新規(guī)范定義了一種安全協(xié)議，該協(xié)議可保證數(shù)據(jù)在內(nèi)存、處理器和存儲之間移動時擴(kuò)展安全環(huán)境。該協(xié)議將檢測需要對連接進(jìn)行身份驗證以打開硬件保險庫，以訪問代碼或信息的環(huán)境。這些信息可能位于處理器、內(nèi)存或存儲上。

總 結(jié)

總的來說，CXL作為一項創(chuàng)新性的互連技術(shù)，為未來計算的發(fā)展描繪了令人興奮的前景。其高性能、高帶寬、內(nèi)存共享和多用途性等特征，使其在處理大規(guī)模數(shù)據(jù)、高性能計算和人工智能等領(lǐng)域具有獨特的優(yōu)勢。

隨著CXL的逐步成熟和生態(tài)系統(tǒng)的不斷擴(kuò)大，我們可以期待看到更多的廠商加入支持CXL的行列，推動其在不同行業(yè)和應(yīng)用場景中的廣泛應(yīng)用。未來，CXL的發(fā)展將不僅僅局限于數(shù)據(jù)中心，還可以擴(kuò)展到邊緣計算、量子計算等領(lǐng)域，并帶來更大的創(chuàng)新和突破。

審核編輯：劉清