AI服務(wù)器的內(nèi)存接口芯片技術(shù)

本文來自“AI服務(wù)器元年，接口互聯(lián)芯片梳理”，據(jù) TrendForce 數(shù)據(jù)，AI 服務(wù)器出貨約13萬臺，占全球服務(wù)器出貨約1%，展望2023年，Microsoft、Meta、Baidu 與 ByteDance 相繼推出基于生成式 AI 衍生的產(chǎn)品服務(wù)而積極加單，預(yù)估 23 年 AI 服務(wù)器出貨量年增率可望達 15.4%，且隨著未來 ChatGPT 對 AI 服務(wù)器需求用量，預(yù)計 2023-2027 年 AI 服務(wù)器將以 12.2%年復(fù)合增速成長。??

DGX H100 于 2022 年推出，是 NVIDIA 的 DGX 系統(tǒng)的最新迭代產(chǎn)品，也是 NVIDIA DGX SuperPOD 的基礎(chǔ)。DXG 服務(wù)器配備 8 塊 H100 GPU，6400億個晶體管，在全新的 FP8 精度下 AI 性能比上一代高 6 倍，可提供 900GB/s 的帶寬。

在 DGX H100 服務(wù)器內(nèi)部，藍色方塊為 IP 網(wǎng)卡，既可充當網(wǎng)卡又可發(fā)揮PCIe Switch 擴展功能，成為 CPU 與 GPU（H100）之間互聯(lián)的橋梁。其內(nèi)部采用 PCle 5.0 標準。此外，CX7 以網(wǎng)卡芯片的形式做成 2 塊板卡來插入服務(wù)器，每 4 個 CX7 芯片組成一塊板卡并且對外輸出 2 個 800G OSFP 光模塊口。

而 GPU（H100）之間互聯(lián)主要通過 NV Switch 芯片來實現(xiàn)。每個 DGXH100 內(nèi)的一個 GPU 向外伸出 18 個 NVLink ，單鏈雙向帶寬為 50 GB/s，共計18*50GB/s=900GB/s 雙向帶寬，拆分到 4 個板載的 NV Switch 上去，因而每個NV Switch 對應(yīng) 4-5 個 OSFP 光模塊（共計 18 個）。每個 OSFP 光模塊采用 8 個光通道，每個通道的傳輸速率為 100Gbps，因此總速率高達 800Gbps，能夠?qū)崿F(xiàn)高速的數(shù)據(jù)傳輸。

1、CPU、GPU等組件互聯(lián)：PCIE Switch、Retimer芯片

PCIe Switch 即 PCIe 開關(guān)或 PCIe 交換機，主要作用是實現(xiàn) PCIe 設(shè)備互聯(lián)，PCIe Switch 芯片與其設(shè)備的通信協(xié)議都是 PCIe。由于 PCIe 的鏈路通信是一種端對端的數(shù)據(jù)傳輸，因此需要 Switch 提供擴展或聚合能力，從而允許更多的設(shè)備連接到一個 PCle 端口，以解決 PCIe 通道數(shù)量不夠的問題。目前 PCIe Switch 不僅已經(jīng)被廣泛應(yīng)用在了傳統(tǒng)存儲系統(tǒng)中，而且在部分服務(wù)器平臺也逐漸普及，用于提高數(shù)據(jù)傳輸?shù)乃俣取?/p>

PCIe 總線技術(shù)升級，PCIe Switch 每代速率提升。PCIe 總線是 PCI 總線的高速串行替代品。2001 年，Intel 公布取代 PCI 總線的第三代 I/O 技術(shù)——“3GIO”，2002 年該項技術(shù)經(jīng)過 PCI 特殊興趣組織（PCI-SIG）審核后正式改名為“PCI Express”，標志著 PCIe 的誕生。2003 年，PCIe 1.0 正式發(fā)布，可支持每通道傳輸速率為 250MB/s，總傳輸速率為 2.5 GT/s。2007 年 PCI-SIG 宣布推出 PCI Express Base 2.0 規(guī)范。在 PCIe 1.0 的基礎(chǔ)上將總傳輸速率提高了一倍，達到 5 GT/s，每通道傳輸速率從 250 MB/s 上升至 500 MB/s。2022 年 PCI-SIG正式發(fā)布 PCIe 6.0 規(guī)范，將總帶寬提高至 64 GT/s。

隨著PCIe 在服務(wù)器中越來越廣泛地被應(yīng)用，PCIe Switch 的市場需求也被帶動起來。根據(jù) QYResearch（恒州博智）的統(tǒng)計及預(yù)測，2021 年全球 PCIe 芯片市場銷售額達到了 7.9 億美元，預(yù)計 2028 年將達到 18 億美元，年復(fù)合增長率（CAGR）為 11.9%。

中國是 PCIe Switch 最大市場。隨著服務(wù)器對海量數(shù)據(jù)存儲與傳輸?shù)囊笕找嫣岣?，PCIe Switch 市場發(fā)展成為一片藍海。中國是全球最大的電子產(chǎn)品生產(chǎn)和消費國家之一，在大數(shù)據(jù)、云計算、人工智能等領(lǐng)域，需要大量高速互聯(lián)解決方案來實現(xiàn)海量數(shù)據(jù)傳輸。而 PCIe Switch 作為高速互聯(lián)解決方案，在中國市場具有極大的需求。

在 AI 服務(wù)器中，GPU 與 CPU 連接時至少需要一顆 Retimer 芯片來保證信號質(zhì)量。具體而言，很多 AI 服務(wù)器都會配置多顆 Retimer 芯片，例如 Astera Labs在 AI 加速器中配置了 4 顆 Retimer 芯片。

PCIe Retimer 藍海市場三足鼎立，潛在競爭者躍躍欲試。目前譜瑞-KY、Astera labs、瀾起科技是 PCIe Retimer 藍海市場中的三家主要廠商，占據(jù)領(lǐng)先地位。其中瀾起科技布局 PCIe 較早，是全球可量產(chǎn) PCIe 4.0 Retimer 的唯一中國大陸供應(yīng)商，且目前 PCIe 5.0 Retimer 研發(fā)順利。

此外，包括瑞薩，TI，微芯科技等在內(nèi)的芯片廠商也在積極投入 PCIe Retimer 的產(chǎn)品研發(fā)中。根據(jù)官網(wǎng)信息，瑞薩可提供包括 89HT0816AP 和 89HT0832P 在內(nèi)的兩款 PCIe 3.0 Retimer產(chǎn)品；TI 可提供一款 16Gbps 8 通道 PCIe 4.0 Retimer——DS160PT801；同樣地，微芯科技于 2020 年 11 月發(fā)布 XpressConnect 系列 Retimer 芯片，可支持PCIe 5.0 的 32GT/s 速率。

2、GPU與 GPU連接：NVLink、NVSwitch

全球各大芯片廠商均在關(guān)注高速接口的相關(guān)技術(shù)，除了 NVDIA 的 NVLink 之外，AMD 的 Infinity Fabric 和 Intel 的 CXL（Compute Express Link）等也為服務(wù)器內(nèi)部的高速串聯(lián)提供了解決方案。

不斷迭代更新的 NVlink 掀起高速互聯(lián)技術(shù)革命。NVLink 是一種由 NVIDIA開發(fā)的高速互連技術(shù)，旨在加快 CPU 與 GPU、GPU 與 GPU 之間的數(shù)據(jù)傳輸速度，提高系統(tǒng)性能。從 2016 年到 2022 年，NVLink 已經(jīng)迭代至第四代。

2016 年，NVDIA 發(fā)布了 Pascal GP100 GPU 所搭載的新的高速接口芯片—— NVLink ， 這 是 第 一 代 NVLink 。NVLink 采 用 High-Speed Signalinginterconnect（NVHS）技術(shù)，主要用于 GPU 與 GPU 之間、GPU 與 CPU 之間的信號傳輸。GPU 之間傳輸 NRZ（Non-Return-to-Zero）編碼形式的差分阻抗電信號。第一代NVLink單鏈可實現(xiàn)40 GB/s的雙向帶寬，單芯片可支持4鏈路，即 160 GB/s 的總雙向帶寬。

此后，NVLink 歷經(jīng)多次迭代更新，掀起了高速互聯(lián)技術(shù)革新浪潮。2017 年，基于 Volta 架構(gòu)的第二代 NVLink 發(fā)布，單鏈可實現(xiàn) 50 GB/s 的雙向帶寬，單芯片可支持 6 鏈路，即 300 GB/s 的總雙向帶寬。2020 年，基于 Ampere 架構(gòu)的第三代 NVLink 發(fā)布，單鏈可實現(xiàn) 50 GB/s 的雙向帶寬，單芯片可支持 12 鏈路，即 600 GB/s 的總雙向帶寬。2022 年，基于 Hopper 架構(gòu)的第四代 NVLink 發(fā)布，傳輸信號變?yōu)?PAM4 調(diào)制電信號，單鏈可實現(xiàn) 50 GB/s 的雙向帶寬，單芯片可支持 18 鏈路，即 900 GB/s 的總雙向帶寬。

2018 年 NVDIA 發(fā)布了第一代 NVSwitch，為提高服務(wù)器內(nèi)部帶寬、降低延遲、實現(xiàn)多 GPU 間通信提供了解決方案。第一代 NVSwitch 采用臺積電 12nmFinFET 工藝制造，共有 18 個 NVLink 2.0 接口。一臺服務(wù)器內(nèi)部可以通過 12 個NVSwitch 支持 16 個 V100 GPU，實現(xiàn)以 NVLink 最高速率互聯(lián)。

目前 NVSwitch 已經(jīng)迭代至第三代。第三代 NVSwitch 采用 TSMC 4N 工藝構(gòu)建，每個 NVSwitch 芯片上擁有 64 個 NVLink 4.0 端口，GPU 間通信速率可達 900GB/s，這些通過 NVLink Switch 互聯(lián)的 GPU 可用作單個高性能加速器，擁有深度學(xué)習(xí)的功能。

3、CPU 與 DRAM高速互聯(lián)，拉動內(nèi)存接口芯片

服務(wù)器內(nèi)存模組主要類型為 RDIMM、LRDIMM，相較于其他類型內(nèi)存模組，服務(wù)器內(nèi)存模組對穩(wěn)定性、糾錯能力以及低功耗均有較高要求。內(nèi)存接口芯片是服務(wù)器內(nèi)存模組的核心邏輯器件，是服務(wù)器 CPU 存取內(nèi)存數(shù)據(jù)的必由通路。其主要作用是提升內(nèi)存數(shù)據(jù)訪問的速度及穩(wěn)定性，滿足服務(wù)器 CPU 對內(nèi)存模組日益增長的高性能及大容量需求。

從 DDR4 至 DDR5，內(nèi)存接口芯片速率持續(xù)升級。2016 年開始，DDR4 成為內(nèi)存市場的主流技術(shù)，為了實現(xiàn)更高的傳輸速率和支持更大的內(nèi)存容量，JEDEC 組織進一步更新和完善了 DDR4 內(nèi)存接口芯片的技術(shù)規(guī)格。在 DDR4 世代，從 Gen1.0、Gen1.5、Gen2.0 到 Gen2plus，每一子代內(nèi)存接口芯片所支持的最高傳輸速率在持續(xù)上升，DDR4 最后一個子代產(chǎn)品 Gen2plus 支持的最高傳輸已達 3200MT/s。隨著 JEDEC 組織不斷完善對 DDR5 內(nèi)存接口產(chǎn)品的規(guī)格定義，DDR5 內(nèi)存技術(shù)正在逐步實現(xiàn)對 DDR4 內(nèi)存技術(shù)的更新和替代。

目前 DDR5 內(nèi)存接口芯片已經(jīng)規(guī)劃了三個子代，支持速率分別是 4800MT/s、5600MT/s、6400MT/s，行業(yè)內(nèi)預(yù)計后續(xù)可能還會有 1~2 個子代。

內(nèi)存接口芯片按功能分為兩類，分別為是寄存緩沖器（RCD）以及數(shù)據(jù)緩沖器（DB）。RCD 用來緩沖來自內(nèi)存控制器的地址、命令、控制信號，DB 用來緩沖來自內(nèi)存控制器或內(nèi)存顆粒的數(shù)據(jù)信號。

DDR5 內(nèi)存模組升級帶來內(nèi)存接口芯片及模組配套芯片新機遇。2016 年全球內(nèi)存接口芯片市場規(guī)模約 2.8 億美元，2018 年達到約為 5.7 億美元，三年年化增長率為 40%。DDR5 升級，將帶來內(nèi)存接口芯片市場規(guī)模攀升。相較于 DDR4，由于 DDR5 支持速率更高、設(shè)計更為復(fù)雜，DDR5 第一子代內(nèi)存接口芯片的起始單價比 DDR4 內(nèi)存接口芯片更高。同時，隨著 DDR5 內(nèi)存在服務(wù)器、PC 端的滲透率逐步提升，DDR5 相關(guān)內(nèi)存接口芯片市場規(guī)模有望實現(xiàn)高速增長。

內(nèi)存接口芯片行業(yè)壁壘高，三足鼎立格局已經(jīng)形成。內(nèi)存接口芯片是技術(shù)密集型行業(yè)，需要通過 CPU、內(nèi)存和 OEM 廠商的全方位嚴格驗證后，方可進行大規(guī)模使用，新的玩家很難介入。隨著技術(shù)難度不斷升級，內(nèi)存接口芯片玩家從DDR2 世代的 10 多家到 DDR4 世代只剩 3 家，行業(yè)基本出清，三足鼎立格局已經(jīng)形成。在 DDR5 世代，全球只有三家供應(yīng)商可提供 DDR5 第一子代的量產(chǎn)產(chǎn)品，分別是瀾起科技、瑞薩電子（IDT）和 Rambus。

審核編輯：黃飛

?