美光內(nèi)存助力未來AI技術更強大、更智能

近日，美光團隊在 NVIDIA GTC 大會上展示了業(yè)界前沿的 AI 內(nèi)存和存儲產(chǎn)品組合。這些產(chǎn)品引起了參展商和與會者的極大興趣和廣泛關注，本博客介紹了其中的一些細節(jié)。美光內(nèi)存正在推動和引領面向未來的 AI 技術，我們來一起了解下吧。

助力未來 AI 技術更強大、更智能

人類正在進入一個新的時代：虛擬世界和真實世界的邊界日趨模糊，且深度交織。未來，推動世界向前發(fā)展的不僅包括當下熱門的 CPU 和 GPU 算力，還包括默默無聞的幕后英雄：內(nèi)存和存儲芯片。這些器件相互配合，共同加速人工智能 (AI) 的發(fā)展，使 AI 融入人們?nèi)粘Ｉ畹姆椒矫婷?。其中?nèi)存更是 AI 加速的關鍵，不僅能夠幫助 AI 從海量數(shù)據(jù)集中學習，還將使未來人類與技術的交互更加直觀、順暢，顯著提高 AI 的智能。

全球各經(jīng)濟體正在競相追逐技術創(chuàng)新以及新技術的應用。以美光為例，從業(yè)界前沿的 232 層 NAND 技術和 1? (1-beta) DRAM 創(chuàng)新，到 NVIDIA H200 Tensor Core GPU 中部署的美光 HBM3E 內(nèi)存，我們見證了技術進步如何助推半導體制造和先進封裝領域取得諸多成就，并推動 AI 邁向超級互聯(lián)的未來。美光 AI 產(chǎn)品組合中的每一次創(chuàng)新和突破，都讓我們向著更加智能的 AI 時代邁進了一步，這標志著內(nèi)存將成為未來 AI 革命的基石。

未來的 AI 不僅能夠模仿現(xiàn)實，還能進一步增強現(xiàn)實，內(nèi)存和半導體則是這一過程的硬件基礎。這是一段創(chuàng)新之旅，過往經(jīng)驗證明，要想突破現(xiàn)有 AI 的局限，硬件技術發(fā)展必不可少。了解硬件的關鍵作用，有助于我們進一步推動技術發(fā)展，為未來創(chuàng)造更多的可能性。

我之所以寫這篇博客，是因為我曾有幸領導美光的企業(yè)營銷團隊，在 20 個月內(nèi)推出了一些突破性產(chǎn)品，大幅加速了 AI 的發(fā)展。我們與產(chǎn)品負責人、銷售人員、工程師和業(yè)務經(jīng)理攜手合作，一直位于產(chǎn)品開發(fā)的最前沿，直至推出這些創(chuàng)新產(chǎn)品，并圍繞這些產(chǎn)品展開了討論。這段經(jīng)歷讓我深刻理解了如何營銷業(yè)界前沿的產(chǎn)品，以及美光的技術如何塑造 AI 的未來。

AI 層次結(jié)構(gòu)：架構(gòu)智能

信息圖表：AI 內(nèi)存和存儲技術層次結(jié)構(gòu)

在 AI 相關硬件中，內(nèi)存和存儲層次結(jié)構(gòu)并非僅是 GPU 和 CPU 的補充，更是決定 AI 能力和潛力的關鍵。近內(nèi)存位于頂部，包括美光的高帶寬內(nèi)存 (HBM) 解決方案 HBM3E 等技術。該層用于直接高速處理與 CPU 或 GPU 相鄰的數(shù)據(jù)，可大幅減少延遲并增加帶寬。借助近內(nèi)存硬件，AI 能夠以前所未有的效率執(zhí)行復雜的計算并處理大量數(shù)據(jù)，對于實時分析和決策應用至關重要。

近內(nèi)存層下方是主內(nèi)存層，主要包括美光單顆粒大容量 DDR5 DIMM 等產(chǎn)品。這一層是 AI 計算的主力，除了出眾的速度之外，還需要有管理大量數(shù)據(jù)的能力，以供 AI 算法分析使用。美光的高速度、低功耗 DDR5 為 AI 系統(tǒng)的運行提供了強大的平臺，支持快速執(zhí)行 AI 模型和模擬。

擴展內(nèi)存層包括各種可擴展系統(tǒng)內(nèi)存容量的解決方案，例如美光的 CZ120，采用 Compute Express Link (CXL) 技術，可提供遠超傳統(tǒng)內(nèi)存的容量。這一層滿足了 AI 應用不斷增長的內(nèi)存需求，能夠訓練和執(zhí)行規(guī)模更大、復雜度更高的 AI 模型。擴展內(nèi)存是一項關鍵創(chuàng)新，克服了傳統(tǒng)內(nèi)存架構(gòu)的物理限制，使 AI 系統(tǒng)能夠在不降低性能的前提下擴大處理能力。

擴展內(nèi)存層下方是 SSD 數(shù)據(jù)緩存層，這是一種重要的中間存儲解決方案，旨在讓應用快速訪問常用數(shù)據(jù)。數(shù)據(jù)緩存層能夠加速數(shù)據(jù)檢索過程，確保 AI 應用不會因數(shù)據(jù)訪問時間過長而卡頓。美光的旗艦 SSD（如 9000 和 7000 系列）可用于數(shù)據(jù)緩存層，其快速存儲能力可大幅縮短 AI 應用的響應時間，提高效率。

金字塔的底部是數(shù)據(jù)湖，也稱為基礎數(shù)據(jù)存儲層。數(shù)據(jù)湖中包含多個巨大的原始數(shù)據(jù)池，可為 AI 算法提供訓練和分析所用的數(shù)據(jù)。高效存儲和管理這些數(shù)據(jù)的能力，對于 AI 發(fā)展舉足輕重。美光 6000 SSD 系列等先進存儲解決方案可用于該層，以應對 AI 生態(tài)系統(tǒng)中呈指數(shù)級增長的數(shù)據(jù)。在這種 AI 驅(qū)動的應用場景中，傳統(tǒng)的機械硬盤 (HDD) 早已過時。

這些層緊密結(jié)合，共同構(gòu)成了支持 AI 革命的底層結(jié)構(gòu)，彰顯出內(nèi)存和存儲技術在充分實現(xiàn) AI 潛力方面不可或缺的作用。美光的行業(yè)前沿創(chuàng)新覆蓋了這一層次結(jié)構(gòu)中的每一層，讓我們能夠了解每一層在推動 AI 發(fā)展方面的獨特作用。這些創(chuàng)新產(chǎn)品互相配合，讓 AI 更加智能，更深入地融入人類的數(shù)字生活。

近內(nèi)存：基于美光 HBM3E 的 AI 加速引擎

信息圖表：美光 HBM3E 近內(nèi)存的性能和功耗優(yōu)勢。

美光 HBM3E 是近內(nèi)存創(chuàng)新的典型代表，可提供前所未有的速度和效率，對于大語言模型 (LLM) 和 AI 應用至關重要。HBM3E 能夠克服內(nèi)存瓶頸，讓 AI 系統(tǒng)充分利用處理器的性能。隨著 LLM 及相關數(shù)據(jù)集的規(guī)模呈指數(shù)級增長，近內(nèi)存將愈發(fā)重要。

美光致力于突破內(nèi)存容量和帶寬的限制（提供 8 層堆疊 24GB HBM3E 和 12 層堆疊 36GB HBM3E 等解決方案）并實現(xiàn)業(yè)界前沿的能源效率，在近內(nèi)存領域擁有明顯的優(yōu)勢地位。與競品相比，美光 HBM3E 的功耗降低 30%，可使 AI 應用更具可持續(xù)性，這是技術開發(fā)中日益關注的一個方面。

HBM3E 的推出，尤其是與 NVIDIA H200 Tensor Core GPU 的集成，標志著內(nèi)存性能的劃時代飛躍。HBM3E 可增強 AI 計算核心，并能夠以更節(jié)能的方式實現(xiàn) AI 加速。美光 HBM3E 為 AI 應用高效運行大模型奠定了基礎，未來的 AI 可以突破當前內(nèi)存限制，充分擴展。這些能力還有助于數(shù)據(jù)中心節(jié)約運營成本，減輕對環(huán)境的影響。

美光 HBM3E 的低功耗優(yōu)勢，對于未來大型 AI 數(shù)據(jù)中心的可持續(xù)發(fā)展至關重要。這種對未來需求的提前關注，展示了美光采用的前瞻性方法，即在滿足 AI 研究和開發(fā)相關緊迫計算需求的同時，優(yōu)先考慮可持續(xù)性和運營的成本效益。通過集成美光的低功耗 HBM3E 解決方案，AI 數(shù)據(jù)中心可節(jié)約大量運營成本。這一節(jié)約舉措十分關鍵，因為高性能計算資源將消耗大量電力，意味著不菲的運營支出。對于大型云服務提供商而言，優(yōu)先考慮能源效率可顯著降低電力消耗和運營成本。因此，在大規(guī)模擴張 AI 基礎設施的過程中，選擇正確的內(nèi)存技術非常重要。

此外，這一旨在提升 AI 計算可持續(xù)性的戰(zhàn)略舉措也符合整個行業(yè)的發(fā)展趨勢，即逐步減輕大規(guī)模計算對環(huán)境的影響。美光在內(nèi)存技術上的進步，不僅為前沿 AI 應用加速帶來了所需的計算能力，還展示了技術創(chuàng)新如何與環(huán)境可持續(xù)發(fā)展目標保持一致。

這一轉(zhuǎn)變反映了整個行業(yè)在追求更高性能的同時，更加注重能效和可持續(xù)性。美光目前正在送樣 12 層堆疊 36GB HBM3E 解決方案，可為 AI 平臺提供更高的容量。作為推動 AI 基礎設施發(fā)展的明星產(chǎn)品，美光 HBM 將技術創(chuàng)新與注重環(huán)保的設計相結(jié)合，將在未來的 AI 時代大顯身手。

主內(nèi)存：美光單顆粒大容量 DDR5 助力 AI 服務器提升“大腦處理器”的計算能力

信息圖表：美光 DDR5 主內(nèi)存的性能和功耗優(yōu)勢。

美光的大容量 DDR5 主內(nèi)存提供前所未有的速度和效率，已成為 AI 處理過程中不可或缺的組成部分，未來將繼續(xù)引領 AI 加速。128GB DDR5 RDIMM 速度高達 8000 MT/s，采用美光業(yè)界前沿的 1? 節(jié)點技術，位密度提高了 45%以上。該產(chǎn)品具有劃時代的性能和能源效率，可滿足 AI 應用嚴苛的數(shù)據(jù)分析和處理需求。此外，該產(chǎn)品還可大幅提升 AI 系統(tǒng)的響應能力和決策速度，并將延遲降低 17%。

美光的 LPDDR5X 和 LPCAMM2 產(chǎn)品進一步豐富了 DDR5 生態(tài)系統(tǒng)，加強了 AI 的發(fā)展勢頭。LPDDR5X 的峰值帶寬高達 9.6 Gb/s，較前代產(chǎn)品提升 12%，功耗降低了 30%，彰顯出美光在低功耗內(nèi)存創(chuàng)新領域的優(yōu)勢地位。美光 LPCAMM2 則為 AI PC 和數(shù)據(jù)中心的主內(nèi)存帶來了新范例。該產(chǎn)品速度高達 9600 Mb/s，功耗大幅降低，擁有更緊湊的模塊化外形尺寸，可助力實現(xiàn)更高效、更強大的 AI 計算能力。

美光的大容量 DDR5 以及創(chuàng)新的 LPDDR5X 和 LPCAMM2 內(nèi)存模塊能夠滿足 AI 和機器學習工作負載不斷提高的需求，標志著美光在內(nèi)存技術上的巨大飛躍。這些創(chuàng)新技術提高了內(nèi)存的速度和效率，降低了內(nèi)存的功耗，這些特性對于全球主要云服務提供商至關重要。

當前，數(shù)據(jù)中心日益成為 AI 云服務的關鍵基礎設施，在保持性能的前提下優(yōu)化能源使用，比以往任何時候都更加重要。通過集成美光的前沿內(nèi)存解決方案，大型云服務提供商能夠以更加可持續(xù)的方式擴張其 AI 能力，同時確保更低的總擁有成本，并展現(xiàn)出他們的承諾：積極擁抱創(chuàng)新技術，推動整個科技行業(yè)邁向更高效、更強大、由 AI 驅(qū)動的未來。

擴展內(nèi)存：美光 CZ120 助力突破內(nèi)存限制

信息圖表：美光 CZ120 擴展內(nèi)存的性能優(yōu)勢。

擴展內(nèi)存是 AI 內(nèi)存和存儲層次結(jié)構(gòu)中的關鍵橋梁，幫助 AI 系統(tǒng)在不降低速度或效率的前提下處理更為復雜的工作負載。CXL 擴展內(nèi)存模塊位于主內(nèi)存層和數(shù)據(jù)緩存層之間，是擴展內(nèi)存層的創(chuàng)新產(chǎn)品，所提供的可擴展內(nèi)存解決方案能夠滿足復雜 AI 應用的需求。該技術可在各種用例中實現(xiàn)無縫擴展和性能提升，展示出擴展內(nèi)存技術在更廣泛的 AI 技術開發(fā)領域產(chǎn)生的變革性影響。

美光 CZ120 內(nèi)存擴展模塊采用 CXL 技術，可滿足 AI 和高性能計算對內(nèi)存容量越來越高的需求，從而大幅提升了數(shù)據(jù)中心的 AI 支持能力。這些模塊的速度高達 36 GB/s，提供 128GB 和 256GB 容量選擇，可為復雜工作負載提供所需的內(nèi)存容量和帶寬，以此提升服務器的性能。擴展內(nèi)存對于 AI 訓練、軟件即服務 (SaaS) 和內(nèi)存數(shù)據(jù)庫等應用至關重要，有望將計算效率提升到新水平。

為滿足數(shù)據(jù)中心不斷增長的需求，美光攜手 Intel、AMD 等行業(yè)知名廠商，合作開發(fā)和測試了采用 CXL 技術的 CZ120 內(nèi)存擴展模塊。這一戰(zhàn)略合作伙伴關系旨在促進 CXL 技術的普及，將服務器內(nèi)存的效率和性能提升到新水平。美光通過技術支持計劃，為合作伙伴提供廣泛的支持和資源，確?；?CXL 技術的內(nèi)存擴展模塊創(chuàng)新能夠顯著提高全球數(shù)據(jù)中心的數(shù)據(jù)處理能力和成本效益。

SSD 數(shù)據(jù)緩存：美光 9000 和 7000 系列數(shù)據(jù)中心 SSD 加速數(shù)據(jù)訪問

信息圖表：美光 7500 和 9400 SSD 展示。

在 AI 計算框架的層次結(jié)構(gòu)中，本地 SSD 數(shù)據(jù)緩存層旨在快速訪問存放在大容量存儲設備上的海量數(shù)據(jù)信息。傳統(tǒng)的 HDD 存儲解決方案通常需要額外的設備協(xié)助，才能滿足數(shù)據(jù)密集型 AI 工作負載所需的吞吐量，從而導致出現(xiàn)數(shù)據(jù)傳輸瓶頸，嚴重影響 AI 應用的性能。

如果這一瓶頸出現(xiàn)在數(shù)據(jù)中心內(nèi)，后果尤為嚴重。從速度較慢的存儲介質(zhì)中獲取數(shù)據(jù)時的延遲，可能會顯著影響 AI 模型在實時決策過程中的效率。美光 9000和 7000 系列 SSD 旨在解決這一挑戰(zhàn)，其高速數(shù)據(jù)訪問能力可毫無延遲地提供 AI 算法所需的數(shù)據(jù)，并確保整個 AI 計算過程順暢高效。這些 SSD 擁有出眾的效率和速度，可確保數(shù)據(jù)密集型 AI 應用（例如機器學習模型和復雜的分析）流暢運行，在減少延遲的同時提高 AI 應用的性能。

美光 9000 和 7000 系列 SSD 進一步提高了 SSD 數(shù)據(jù)緩存在 AI 工作負載中的重要作用，是消除數(shù)據(jù)訪問瓶頸的關鍵解決方案。尤其是美光 9400 SSD，與主流競品相比，其混合工作負載性能可提高 2.3 倍，能源效率提升高達 77%，為 PCIe 4.0 存儲樹立了新的性能基準。該系列 SSD 的容量高達 30.72TB，可為數(shù)據(jù)中心帶來更高的存儲密度和運營效率。這些優(yōu)勢可確保 AI 算法快速訪問所需數(shù)據(jù)，加速實時處理和決策的過程。

憑借出眾的性能和容量，美光 9400 SSD 已成為先進醫(yī)療診斷和 AI 增強客戶體驗等實際應用中的關鍵器件。該款 SSD 在 100% 4K 隨機讀取時每秒可完成 160 萬次輸入/輸出操作 (IOPS)，在混合讀寫工作負載中同樣表現(xiàn)出色，可應對要求嚴苛的數(shù)據(jù)中心任務。美光 9400 SSD 不僅可以縮短機器學習和模型訓練的時間，還可為高頻交易和在線交易提供所需的速度和效率，是現(xiàn)代數(shù)據(jù)密集型工作負載的理想選擇。

此外，美光 9400 SSD 的能源效率同樣出眾，可滿足當今時代數(shù)據(jù)中心嚴格的功耗要求，提升高性能計算的可持續(xù)性。美光 9400 SSD 擁有更高的每瓦 IOPS，可為數(shù)據(jù)中心帶來更高的能源吞吐量，降低數(shù)據(jù)中心的運營費用以及對環(huán)境的影響。美光致力于推動存儲技術發(fā)展，以滿足 AI 和云計算越來越高的要求。作為美光推出的重要解決方案，美光 9400 SSD 實現(xiàn)了性能、容量和功耗的平衡，能夠解決 AI 環(huán)境中長期存在的存儲挑戰(zhàn)。

網(wǎng)絡數(shù)據(jù)湖：美光 6000 系列數(shù)據(jù)中心 SSD 為 AI 奠定基礎

信息圖表：展示美光 6500 ION SSD 的性能、速度和存儲密度。

數(shù)據(jù)湖是 AI 生態(tài)系統(tǒng)中不可或缺的一部分，用于存儲 AI 應用所需的海量數(shù)據(jù)。數(shù)據(jù)湖是 AI 應用的基石，它提供巨大的存儲空間，能夠確保數(shù)據(jù)隨時可用，可供許多 AI 處理流程同時訪問。數(shù)據(jù)湖以原生格式聚合來自不同來源的數(shù)據(jù)，供 AI 應用進行更全面的數(shù)據(jù)分析和機器學習，并為 AI 預測性洞察和決策提供所需的原始材料。

數(shù)據(jù)湖可存儲和管理大量非結(jié)構(gòu)化數(shù)據(jù)，對于希望利用 AI 技術獲得競爭優(yōu)勢的企業(yè)而言，數(shù)據(jù)湖是必不可少的存儲基礎設施。美光 6000 系列數(shù)據(jù)中心 SSD 確保數(shù)據(jù)能夠安全存儲并易于訪問，進一步增強了這一基礎層，支持動態(tài) AI 計算所必需的快速數(shù)據(jù)檢索能力。

美光 6500 ION 系列數(shù)據(jù)中心 SSD 提供至關重要的解決方案，讓 AI 應用能夠快速可靠地訪問底層的數(shù)據(jù)存儲庫。6500 ION 系列是全球首款 200+ 層 NAND 數(shù)據(jù)中心 NVMe SSD，擁有遠超前代產(chǎn)品和競品的性能、安全性和能效，為數(shù)據(jù)存儲樹立了新標準。

性能基準測試顯示，6500 ION 擁有出眾的效率，在處理不同的工作負載時均表現(xiàn)出顯著優(yōu)勢。例如，在 Ceph 對象存儲工作負載中，6500 ION 的順序?qū)懭胄阅鼙韧惍a(chǎn)品高出 3.5 倍，隨機讀取性能高出 49%。此外，6500 ION 也適用于 Cassandra 等 NoSQL 數(shù)據(jù)庫應用程序，在讀取密集型任務中，峰值性能比同類產(chǎn)品高出 2.6 倍，是數(shù)據(jù)中心的理想選擇，可幫助管理要求嚴苛的復雜工作負載。

美光 6500 ION 在性能、效率和可持續(xù)性方面均表現(xiàn)出色。憑借高達 30.72TB 的容量，以及在功耗和散熱方面的提升，6500 ION 可大幅提高服務器的存儲密度，從而減少資本支出、運營支出和碳排放。6500 ION 兼具高性能、大容量和高效率，彰顯出美光的承諾：提升數(shù)據(jù)中心的能力，確保滿足 AI 和機器學習技術不斷增長的需求。

內(nèi)存對于 AI 加速至關重要：美光對創(chuàng)新以及未來的愿景

信息圖表：美光 AI 內(nèi)存和存儲產(chǎn)品組合（HBM3E、GDDR6X）。CXL、大容量 DIMM、DDR5、LPCAMM2、UFS 4.0 和數(shù)據(jù)中心 SSD。

內(nèi)存對于 AI 的發(fā)展舉足輕重，決定了 AI 學習、演進和融入人們生活的速度。在內(nèi)存和存儲層次結(jié)構(gòu)中，每一層都發(fā)揮著關鍵作用。例如，近內(nèi)存負責高速數(shù)據(jù)處理，主內(nèi)存負責管理海量數(shù)據(jù)。同樣，擴展內(nèi)存可提供更多容量，SSD 數(shù)據(jù)緩存有助于快速訪問，數(shù)據(jù)湖則提供基礎的存儲設備。所有這些層共同確保了 AI 應用的無縫運行。未來的 AI 將越發(fā)智能，而內(nèi)存和存儲將在 AI 發(fā)展過程中起到不可或缺的作用。為加速 AI 發(fā)展，必須持續(xù)創(chuàng)新并投資這些關鍵的半導體技術。

從 1978 年博伊西一家牙醫(yī)診所地下室里的初創(chuàng)企業(yè)，到如今內(nèi)存和存儲解決方案領域的全球知名廠商，美光展現(xiàn)了對創(chuàng)新和卓越的不懈追求。在超過 45 年的創(chuàng)新歷程中，美光不斷突破技術界限，包括開發(fā)全球最小的 256K DRAM、業(yè)界前沿的 1? 內(nèi)存節(jié)點和業(yè)界首款 232 層 NAND。

這些里程碑不僅是半導體制造領域的重要成就，也是推動 AI 革命向前發(fā)展的關鍵時刻。展望未來，我們認為，持續(xù)聚焦并投資內(nèi)存和存儲技術，對于充分發(fā)揮 AI 的潛力至關重要。美光對創(chuàng)新的承諾強調(diào)了這些技術在 AI 發(fā)展過程中的重要性，激勵我們心懷謙遜、保持好奇心和遠大目標，推動 AI 向前發(fā)展。美光的未來愿景是通過 AI 技術改善整個世界并豐富所有人的生活。這一愿景基于我們的價值觀：關懷員工、創(chuàng)新為先、堅韌不拔、精誠合作、客戶導向。我們堅信，技術能夠而且應當成為帶來積極改變的力量。我們將秉持這一信念繼續(xù)前行。

本文作者

Rahul Sandil

Vice President of Corporate Marketing