救場(chǎng)服務(wù)器內(nèi)存的CXL

電子發(fā)燒友網(wǎng)報(bào)道（文/周凱揚(yáng)）當(dāng)下服務(wù)器市場(chǎng)在內(nèi)存上面臨的一大挑戰(zhàn)就是成本，截至今日，我們?cè)谶x擇云服務(wù)容器時(shí)，內(nèi)存依然占了很大一部分，往往內(nèi)存用量擴(kuò)大一倍后，價(jià)格也隨之上漲了一倍。這其實(shí)與內(nèi)存本身的擴(kuò)展性有關(guān)，目前服務(wù)器上更大的存儲(chǔ)已經(jīng)成為常態(tài)，但要想實(shí)現(xiàn)更大的內(nèi)存始終存在瓶頸。因此，從2013年開始，每bit內(nèi)存的價(jià)格基本趨于平緩了。

但服務(wù)器CPU的核心數(shù)增加的速度可沒(méi)有因此減緩下來(lái)，加上AI等新型工作負(fù)載的引入，更大的內(nèi)存容量、更大的內(nèi)存帶寬，都成了當(dāng)下服務(wù)器內(nèi)存面臨的痛點(diǎn)。為此，業(yè)界開始考慮從系統(tǒng)層級(jí)上來(lái)解決這些問(wèn)題，比如為CPU增加DDR通道，好讓其支持更大的帶寬和容量。

但這就又引入了一系列新問(wèn)題，為了滿足新增的DDR通道，需要更多的引腳，也提高了成本降低了可靠性，PCB的層數(shù)也開始增加。這也造就了整個(gè)服務(wù)器主板的尺寸變得異常大，甚至難以放進(jìn)1U標(biāo)準(zhǔn)尺寸的機(jī)柜里。

CXL的靈活性和延遲

這時(shí)對(duì)于內(nèi)存媒介無(wú)限制的CXL，就提供了一個(gè)靈活的內(nèi)存接口，讓設(shè)計(jì)者可以從持久性、延遲、帶寬等各個(gè)參數(shù)特性上靈活選擇，讓服務(wù)器CPU不止可以使用常用的DDR內(nèi)存，也能支持LPDDR5和持久內(nèi)存等等。我們此前已經(jīng)多次介紹過(guò)CXL了，這次就來(lái)講下作為內(nèi)存擴(kuò)展，CXL有哪些優(yōu)勢(shì)。
比如一個(gè)80核的CPU，應(yīng)用要求每個(gè)核心配置2GB的DDR5內(nèi)存，也就是需要160GB的DDR5內(nèi)存。如果采用16GB DIMM x8的配置明顯滿足不了，32GB x 8多出了96GB內(nèi)存，徒增了近乎500美元的成本，使用32GB x 5這樣不跑滿通道的配置雖然容量對(duì)了，但是會(huì)降低帶寬和性能。

而這時(shí)我們反觀CXL，CXL可以在配置了原生DDR通道配置了8個(gè)16GB DIMM的情況下，再加入32GB的CXL內(nèi)存，如此一來(lái)不僅滿足了內(nèi)存容量的需求，還增加了額外的帶寬，況且我們已經(jīng)提到了CXL并沒(méi)有內(nèi)存媒介的限制，所以可以用上LPDDR5之類的CXL擴(kuò)展內(nèi)存進(jìn)一步降低成本。

作為一個(gè)分布式內(nèi)存，盡管CXL主打的是低延遲，但要說(shuō)與CPU的內(nèi)存、緩存和寄存器比起來(lái)，延遲還是有一定差距的。今年的Hot Chips上，CXL聯(lián)盟就給出了CXL在延遲上的具體數(shù)字。獨(dú)立于CPU外的CXL內(nèi)存延遲在170-250ns左右，高過(guò)獨(dú)立于CPU的NVM、網(wǎng)絡(luò)連接的解構(gòu)內(nèi)存、SSD和HDD等。

雖然在我們看來(lái)這個(gè)數(shù)字已經(jīng)很小了，但相較原生的主要內(nèi)存，還是把延遲擴(kuò)大了兩倍。來(lái)自Meta和AMD的兩位專家提出了一個(gè)概念，也就是對(duì)內(nèi)存進(jìn)行分層，分為用于實(shí)時(shí)分析等關(guān)鍵任務(wù)的“熱”內(nèi)存、訪問(wèn)不那么頻繁的“暖”內(nèi)存和用于龐大數(shù)據(jù)的“冷”內(nèi)存?！盁帷眱?nèi)存頁(yè)面放在原生DDR內(nèi)存里，而“冷”內(nèi)存頁(yè)面則交給CXL內(nèi)存。

然而在當(dāng)前的軟件眼里，它們才分不清楚什么是“熱”內(nèi)存和“冷”內(nèi)存，原生內(nèi)存用完后，就開始去占用CXL內(nèi)存，如此一來(lái)原本作為“冷”內(nèi)存的CXL，也開始變成“熱”內(nèi)存。所以目前最大的挑戰(zhàn)就是在操作系統(tǒng)和軟件層面，如何檢測(cè)到“冷”內(nèi)存頁(yè)面，將其主動(dòng)轉(zhuǎn)入CXL內(nèi)存里，為原生內(nèi)存留出空間。Meta和AMD的兩位專家表示，他們已經(jīng)在開發(fā)相應(yīng)的軟硬件技術(shù)。

CXL或許不會(huì)成為HPC和AI應(yīng)用的寵兒

固然CXL對(duì)于云服務(wù)廠商和諸多數(shù)據(jù)中心擁有不錯(cuò)的吸引力，然而這種形式的內(nèi)存可能并不適用于HPC與超算應(yīng)用。“富岳之父”松岡聰教授表示CXL這種內(nèi)存解構(gòu)方案還存在不少技術(shù)問(wèn)題，使其不能在主流的HPC甚至是AI負(fù)載中物盡其用。松岡聰教授并沒(méi)有給出具體的細(xì)節(jié)，但他給出了一個(gè)例子，那就是多年前SGI的NUMALINK系統(tǒng)也是采用了分布式內(nèi)存解構(gòu)的方式，但我們也都知道如今市面上的NUMALINK產(chǎn)品基本已經(jīng)銷聲匿跡了。

但他并沒(méi)有徹底否認(rèn)內(nèi)存解構(gòu)這種思路，就連富岳超算本身也用這一技術(shù)，從而將MPI進(jìn)行put/get運(yùn)算時(shí)的遠(yuǎn)程內(nèi)存訪問(wèn)延遲降低至亞微秒級(jí)。但加入一個(gè)單獨(dú)的UMA內(nèi)存池，已經(jīng)在歷史中證明了這對(duì)HPC來(lái)說(shuō)收效甚微。

首先，這需要更高硬件交換機(jī)成本，再者，在超算這種大型配置規(guī)模的系統(tǒng)上，缺乏對(duì)應(yīng)的編程標(biāo)準(zhǔn)。因此，對(duì)于目前的HPC大型系統(tǒng)來(lái)說(shuō)，CXL內(nèi)存或許會(huì)先出現(xiàn)在一小部分節(jié)點(diǎn)上，比如一些需要近存或存內(nèi)計(jì)算AI負(fù)載，而不會(huì)普及到整個(gè)系統(tǒng)。

寫在最后

其實(shí)對(duì)于CXL的擔(dān)心也沒(méi)必要那么多，對(duì)于服務(wù)器市場(chǎng)來(lái)說(shuō)，低核心數(shù)的CPU依然會(huì)繼續(xù)使用原生DDR通道來(lái)配置DIMM內(nèi)存。到了高核心數(shù)CPU上，再根據(jù)系統(tǒng)成本、容量、功耗和帶寬等參數(shù)來(lái)靈活應(yīng)用CXL內(nèi)存，而這才是CXL帶來(lái)的最大優(yōu)勢(shì)，靈活性。況且目前CXL內(nèi)存還沒(méi)有大規(guī)模量產(chǎn)出來(lái)，自然也沒(méi)有普及開來(lái)，大家對(duì)其實(shí)際性能表現(xiàn)還沒(méi)有個(gè)大致了解，也許引入CXL的延遲后，對(duì)性能的損失不會(huì)那么糟糕。