美光高管看2024年AI數(shù)據(jù)中心、AI PC的存儲趨勢

電子發(fā)燒友網(wǎng)報(bào)道（文/黃晶晶）生成式AI帶來的產(chǎn)業(yè)技術(shù)革新不僅在于性能越來越強(qiáng)大的GPU，它同時(shí)正在推進(jìn)存儲產(chǎn)品的變化和技術(shù)的進(jìn)步。近日，美光副總裁暨客戶端存儲事業(yè)部總經(jīng)理Prasad Alluri在接受包括電子發(fā)燒友網(wǎng)在內(nèi)的少數(shù)媒體采訪時(shí)指出，與過往不同，閃存和內(nèi)存曾各自為政，主要致力于提高密度。AI的興起帶來了兩大轉(zhuǎn)變，一是與系統(tǒng)架構(gòu)的協(xié)同優(yōu)化；二是將能效作為關(guān)鍵優(yōu)化參數(shù)。為此，美光科技正積極優(yōu)化存儲產(chǎn)品、賦能AI在數(shù)據(jù)中心、PC、智能手機(jī)乃至汽車等各領(lǐng)域的應(yīng)用與發(fā)展。

AI數(shù)據(jù)中心：兩大存儲池的不同存儲策略

Prasad Alluri表示，在探討AI基礎(chǔ)設(shè)施對數(shù)據(jù)中心存儲的具體影響時(shí)，我們可以將其視為兩個(gè)獨(dú)立的存儲池來分析。

首先，存在一個(gè)龐大的數(shù)據(jù)池，用于存儲供模型訓(xùn)練所需的數(shù)據(jù)。以GPT-4為例，據(jù)估算，其訓(xùn)練過程消耗了互聯(lián)網(wǎng)上約四分之一的數(shù)據(jù)，這足以說明大模型所需數(shù)據(jù)的龐大規(guī)模。為了訓(xùn)練這類模型，必須具備存儲海量數(shù)據(jù)的能力，我們可以形象地稱之為“數(shù)據(jù)湖”，即所有待訓(xùn)練數(shù)據(jù)均匯聚于此。

對于這一存儲場景，最關(guān)鍵的屬性在于能夠高效且經(jīng)濟(jì)地傳輸數(shù)據(jù)。將容量與經(jīng)濟(jì)性相結(jié)合，意味著需要摒棄主要依賴大容量硬盤驅(qū)動器的傳統(tǒng)架構(gòu)，轉(zhuǎn)而采用大容量SSD。此舉不僅能減少物理占用空間，還能降低能耗，從而提升整體能源經(jīng)濟(jì)性。在此方面，美光科技推出的6500 ION系列產(chǎn)品正是針對大容量存儲需求而優(yōu)化的理想解決方案。

另一方面是訓(xùn)練過程實(shí)際發(fā)生的存儲池，即緊鄰GPU的存儲池。此時(shí)，需考慮的是如何將數(shù)據(jù)湖中的數(shù)據(jù)高效送入GPU內(nèi)存以供訓(xùn)練。在此過程中，設(shè)備的讀寫性能至關(guān)重要，尤其是隨機(jī)讀取性能。對于這類靠近GPU訓(xùn)練集群的存儲，美光9550 SSD從設(shè)計(jì)之初便旨在滿足這些需求。9550 SSD隨機(jī)讀取性能領(lǐng)先業(yè)界，速率高達(dá)3,300 KIOPS，這正是訓(xùn)練集群所亟需的。

此外，美光9550 SSD提供業(yè)界領(lǐng)先的能效，并在支持各類AI工作負(fù)載方面表現(xiàn)出眾，包括使用大規(guī)模存儲加速器(BaM)進(jìn)行圖神經(jīng)網(wǎng)絡(luò)(GNN)訓(xùn)練（SSD平均功耗降低高達(dá)43%，整體系統(tǒng)能耗減少高達(dá)29%）、NVIDIA Magnum IO GPUDirect Storage（每傳輸1TB數(shù)據(jù)，SSD能耗降低高達(dá)81%）、MLPerf（SSD能耗降低高達(dá)35%，系統(tǒng)能耗降低高達(dá)13%）以及使用Microsoft DeepSpeed對Llama 大語言模型(LLM)訓(xùn)練進(jìn)行微調(diào)（SSD能耗降低高達(dá) 21%）。

AI PC的存儲需求，將遠(yuǎn)超微軟的“基準(zhǔn)要求”

微軟為AI PC產(chǎn)品Copilot+設(shè)定了基準(zhǔn)要求，其中NPU的算力起始于40 TOPS，內(nèi)存方面則規(guī)定了至少16GB的容量，以及256GB的存儲空間作為最低配置。不過，Prasad Alluri表示，這些僅是基礎(chǔ)指導(dǎo)線，并未全面界定AI PC的真正內(nèi)涵。

“要深入理解AI PC，我們需將焦點(diǎn)放在用戶體驗(yàn)上。AI PC的核心在于通過諸如翻譯或圖像編輯等任務(wù)來提升生產(chǎn)力，且這些任務(wù)需在設(shè)備上高效完成。正是這種整體體驗(yàn)定義了AI PC，而非單純的技術(shù)規(guī)格。為了滿足用戶的這些期望，我們認(rèn)為所需的內(nèi)存量遠(yuǎn)超最低指導(dǎo)線。事實(shí)上，當(dāng)前多數(shù)OEM在打造AI PC時(shí)，已配備了24GB至32GB的DRAM?！?br />
從存儲角度來看，盡管OEM目前提供的最低容量為512GB，但我們認(rèn)為對于AI工作負(fù)載而言，更理想的容量應(yīng)接近1TB。

不過，這不僅僅關(guān)乎容量大小，功耗效率和性能同樣至關(guān)重要。在存儲領(lǐng)域，目標(biāo)是以最高效的方式將AI模型從存儲加載到內(nèi)存中。為此，需要在不增加功耗的前提下，獲得盡可能高的吞吐量。美光高性能客戶端3500 SSD在相同功耗下提供了業(yè)界領(lǐng)先的性能。

針對于AI PC，美光科技加速了LPDDR5X在AI PC中的應(yīng)用普及。與同類SODIMM產(chǎn)品相比，LPDDR5X的性能提升了約1.5倍。此外，還專為AI個(gè)人電腦設(shè)計(jì)了一種新型內(nèi)存模塊——LPCAMM2。與傳統(tǒng)SODIMM產(chǎn)品相比，LPCAMM2不僅性能提升1.5倍，而且功耗降低高達(dá)58%，空間節(jié)省達(dá)64%。這款新產(chǎn)品于今年早些時(shí)候推出，主要圍繞三大目標(biāo)設(shè)計(jì)：提升性能、降低功耗以及減小體積。在標(biāo)準(zhǔn)PC中，通常需要兩個(gè)SODIMM并排放置，占用主板大量空間。而LPCAMM2則將這些功能集成到一個(gè)DIMM中，從而顯著提升了電源效率和性能。

在當(dāng)前的PC環(huán)境中，以我們內(nèi)部使用的Microsoft Copilot為例，它高度依賴云計(jì)算，將大部分復(fù)雜任務(wù)卸載到云端。然而，未來的AI個(gè)人電腦將能夠在本地處理部分工作負(fù)載，減少對云端的依賴。這樣，模型復(fù)雜性將降低，AI個(gè)人電腦能在保持高性能的同時(shí)，實(shí)現(xiàn)更高效的能源利用，提高數(shù)據(jù)處理的靈活性和速率。

在PC的本地存儲中完全可以放置多個(gè)模型，并根據(jù)用戶查詢的上下文加載這些模型。例如，如果用戶需要語音轉(zhuǎn)文本服務(wù)，您可以加載相關(guān)模型；如果用戶需要圖像創(chuàng)建，您可以加載相應(yīng)的模型。在此過程中，關(guān)鍵在于以節(jié)能方式從存儲中加載數(shù)據(jù)，因此，SSD的性能至關(guān)重要，它需在最低功耗下實(shí)現(xiàn)最高吞吐量，即充分利用PCIe 4.0 的四通道。

為此，美光科技的3500 SSD不僅在最低功耗下提供行業(yè)領(lǐng)先的性能。同時(shí)，該SSD中內(nèi)置了啟發(fā)式算法。當(dāng)檢測到AI工作負(fù)載時(shí)，驅(qū)動器可以主動加載所需的正確模型或數(shù)據(jù)。這些就是為實(shí)現(xiàn)高效能和電源效率所做的優(yōu)化。

QLC越發(fā)重要，閃存層數(shù)應(yīng)從縱橫向提升

當(dāng)本網(wǎng)記者問及當(dāng)前QLC對于AI存儲越來越重要，美光的看法與規(guī)劃，以及3D NAND閃存的層數(shù)將如何發(fā)展等問題時(shí)，Prasad Alluri也給出了詳細(xì)的分析。

Prasad Alluri表示，從NAND技術(shù)的視角來看，最關(guān)鍵的因素在于每平方毫米的容量密度。也就是我們最終追求的是比特面密度（Bit Areal Density），因?yàn)檫@將有助于降低成本。

但是，有多種方法可以實(shí)現(xiàn)這一目的。其中一種是對單個(gè)物理單元提升容量。這正是四階存儲單元（QLC）技術(shù)大顯身手的地方，而我們在這一領(lǐng)域始終保持領(lǐng)先地位，特別是在PC市場率先推出了這一技術(shù)。目前，美光科技在該領(lǐng)域的市場占有率位居前列。盡管我們尚未宣布針對數(shù)據(jù)中心的具體計(jì)劃，但我們?nèi)栽诔掷m(xù)投資QLC技術(shù)，并致力于提高容量密度，這是推動技術(shù)進(jìn)步的重要途徑之一。

另外，在NAND技術(shù)中可以通過堆疊更多層來增加單位面積內(nèi)的容量。美光科技最近推出了第九代（G9）TLC NAND技術(shù)。雖然目前尚不清楚3D NAND的層數(shù)何時(shí)會達(dá)到極限，但在未來的幾代產(chǎn)品中，美光的閃存層數(shù)將繼續(xù)增加。



但他也強(qiáng)調(diào)，層數(shù)并非實(shí)現(xiàn)比特面密度提升的唯一關(guān)鍵因素，因?yàn)闄M向擴(kuò)展同樣至關(guān)重要。除了關(guān)注3D堆疊層的數(shù)量外，還需要考慮單元之間水平位置的接近程度。這種橫向優(yōu)化是美光提高比特面密度的另一個(gè)關(guān)鍵領(lǐng)域。