緩解AI推理算力焦慮，高帶寬GDDR6成殺手锏？

芯東西 5 月 22 日?qǐng)?bào)道，生成式 AI 的日益火爆，正對(duì)數(shù)據(jù)中心內(nèi)存性能提出更加苛刻的要求。無論是云端 AI 訓(xùn)練還是向網(wǎng)絡(luò)邊緣轉(zhuǎn)移的 AI 推理，都需要高帶寬、低時(shí)延的內(nèi)存。邁向高性能 GDDR6 內(nèi)存接口已是大勢(shì)所趨。

近日，推出業(yè)界領(lǐng)先 24Gb/s GDDR6 PHY 的美國(guó)半導(dǎo)體 IP 和芯片供應(yīng)商 Rambus，其兩位高管與芯東西等媒體進(jìn)行線上交流，分享了 Rambus 在 GDDR6 領(lǐng)域的技術(shù)創(chuàng)新及行業(yè)發(fā)展趨勢(shì)。

"ChatGPT 等 AIGC 應(yīng)用與我們公司的產(chǎn)品組合是非常契合的。"Rambus 大中華區(qū)總經(jīng)理蘇雷說，Rambus China 立足于中國(guó)市場(chǎng)，愿意更多、更緊密地支持中國(guó)公司在 ChatGPT 產(chǎn)業(yè)的發(fā)展，為他們保駕護(hù)航，"Rambus 面對(duì)中國(guó)客戶的需求，有最好的技術(shù)、最快的響應(yīng)和最好的技術(shù)支持來服務(wù)中國(guó)市場(chǎng)。"

據(jù) Rambus IP 核產(chǎn)品營(yíng)銷高級(jí)總監(jiān) Frank Ferro 分享，AI 推理應(yīng)用對(duì)帶寬的需求通常在 200 到 500Gb/s 的范圍之間波動(dòng)，每一個(gè) GDDR6 設(shè)備的帶寬都可以達(dá)到 96Gb/s，因此通過將 4-5 個(gè) GDDR6 設(shè)備組合在一起，就能輕松滿足 500Gb/s 及以下的帶寬需求。

他談道，如果用到一個(gè) HBM3 設(shè)備，基本上會(huì)把這個(gè)帶寬需求的數(shù)字翻倍，能夠達(dá)到接近 800Gb/s 的帶寬，而這超過了 AI 推理本身所需要的 400 到 500Gb/s 帶寬，會(huì)使成本增加 3~4 倍。在這種條件下，HBM 并非一個(gè)經(jīng)濟(jì)高效的選擇，GDDR6 則是一個(gè)更好的替代。

他建議按需選擇 HBM 或是 GDDR6 內(nèi)存，對(duì)于對(duì)高帶寬和低延遲有很高要求的 AI 訓(xùn)練場(chǎng)景，HBM 可能是更好的選擇；對(duì)于需要更大容量、更高帶寬的 AI 推理場(chǎng)景，GDDR6 會(huì)是更合適的選擇。

高性能內(nèi)存和互連方案，支持下一代數(shù)據(jù)中心發(fā)展

Rambus 大中華區(qū)總經(jīng)理蘇雷談道，Rambus 主要業(yè)務(wù)包含基礎(chǔ)專利授權(quán)、芯片 IP 授權(quán)和內(nèi)存接口芯片。其中芯片 IP 又主要分為接口 IP 和安全 IP。其技術(shù)和產(chǎn)品面向數(shù)據(jù)密集型市場(chǎng)，包括數(shù)據(jù)中心、5G、物聯(lián)網(wǎng) IoT、汽車等細(xì)分市場(chǎng)，后續(xù)還將推出 CXL 家族各產(chǎn)品組合芯片。

面向數(shù)據(jù)中心，Rambus 非常注重產(chǎn)品和方案的易用性，通過一站式的解決方案以及完善的服務(wù)機(jī)制，使產(chǎn)品方案變得更易在客戶端集成使用。Rambus 陸續(xù)推出了各內(nèi)存子系統(tǒng)、接口子系統(tǒng)，提供業(yè)界領(lǐng)先、可靠的數(shù)據(jù)傳輸。其 GDDR6 接口子系統(tǒng)率先實(shí)現(xiàn)高達(dá) 24Gb/s 的內(nèi)存接口數(shù)據(jù)速率，并能為每個(gè) GDDR6 內(nèi)存設(shè)備提供最高達(dá)到 96Gb/s 的帶寬。

Rambus 的內(nèi)存接口芯片產(chǎn)品不斷提高數(shù)據(jù)中心內(nèi)存模塊的速度和容量，同時(shí)它擁有非常豐富而全面的安全 IP 產(chǎn)品線，對(duì)用于靜態(tài)數(shù)據(jù)以及動(dòng)態(tài)數(shù)據(jù)安全保護(hù)都有著專門安全的產(chǎn)品方案。

總體來說，Rambus 通過領(lǐng)先的高性能內(nèi)存和互聯(lián)解決方案以及硬件級(jí)安全，支持下一代數(shù)據(jù)中心的發(fā)展。其產(chǎn)品應(yīng)用領(lǐng)域聚焦于服務(wù)器主內(nèi)存、人工智能和網(wǎng)絡(luò)加速器、智能網(wǎng)卡、網(wǎng)絡(luò)存儲(chǔ)、網(wǎng)絡(luò)交換機(jī)以及內(nèi)存擴(kuò)展和池化等。

內(nèi)存是未來 AI 性能的關(guān)鍵

Rambus IP 核產(chǎn)品營(yíng)銷高級(jí)總監(jiān) Frank Ferro 著重分享了迄今市場(chǎng)推動(dòng)高性能需求的主要驅(qū)動(dòng)力，以及未來如何更好滿足 AI 性能需求。

數(shù)據(jù)需求依舊呈現(xiàn)上漲趨勢(shì)。ChatGPT 等 AI 相關(guān)應(yīng)用快速發(fā)展，對(duì)內(nèi)存帶寬需求旺盛，因此市面上越來越多公司開始專注于開發(fā)自己個(gè)性化、定制化的處理器產(chǎn)品，以更好地滿足神經(jīng)網(wǎng)絡(luò)以及專屬應(yīng)用的需求。

Frank Ferro 強(qiáng)調(diào)說，盡管算力增長(zhǎng)非常顯著，但帶寬的進(jìn)步與之并不匹配，即現(xiàn)有高算力的基礎(chǔ)之上，很多的 GPU 資源其實(shí)并沒有得到充分的占用和利用，這造成了現(xiàn)在的困境。

AI 訓(xùn)練環(huán)節(jié)需要錄入大量數(shù)據(jù)進(jìn)行分析，需要消耗大量算力。AI 推理環(huán)節(jié)對(duì)算力的需求會(huì)大幅下降，但對(duì)成本和功耗更加敏感。Frank Ferro 談道，一個(gè)重要趨勢(shì)是 AI 推理越來越多地向邊緣設(shè)備上進(jìn)行集成和轉(zhuǎn)移。在這個(gè)變化過程中，擁有更高帶寬、更低時(shí)延特性的 GDDR6 方案，能夠幫助邊緣端更好地處理數(shù)據(jù)。

對(duì)帶寬需求進(jìn)一步的增加，驅(qū)動(dòng)了像 Rambus 這樣的公司不斷地在去打造更加新一代的產(chǎn)品，不斷地提高內(nèi)存帶寬以及接口帶寬的相關(guān)速度。

GDDR6 能夠提供 AI 推理所需的內(nèi)存性能

Rambus 有著豐富的接口 IP 產(chǎn)品組合，同時(shí)也提供像 DDR、LPDDR 以及 HBM 等產(chǎn)品，并非常關(guān)注 SerDes 產(chǎn)品的開發(fā)，主要聚焦于 PCIe 和 CXL 接口，會(huì)開發(fā)配套的 PHY 及控制器。Rambus 的 HBM 產(chǎn)品擁有領(lǐng)先的市占率，同時(shí)其 HBM3 產(chǎn)品已經(jīng)能夠提供高達(dá) 8.4Gbps/s 的數(shù)據(jù)傳輸速率。

其全新 GDDR6 PHY 及控制器的配套產(chǎn)品已達(dá)到業(yè)界領(lǐng)先的 24Gb/s 的數(shù)據(jù)傳輸速率，可為 AI 推理等應(yīng)用場(chǎng)景帶來巨大性能優(yōu)勢(shì)和收益。此外，該產(chǎn)品在功耗管理方面優(yōu)勢(shì)明顯，并實(shí)現(xiàn)了 PHY 以及控制器的完整集成，即客戶收到產(chǎn)品后，可以直接對(duì)其子系統(tǒng)進(jìn)行定制化應(yīng)用。

如圖是 GDDR6 內(nèi)存接口系統(tǒng)，Rambus 提供的是中間標(biāo)藍(lán)的兩個(gè)重要環(huán)節(jié)，也就是完整的子系統(tǒng)。Rambus 會(huì)根據(jù)客戶具體應(yīng)用場(chǎng)景和實(shí)際的訴求對(duì)子系統(tǒng)來進(jìn)行優(yōu)化，并將其作為完整的子系統(tǒng)來交付給客戶。

clamshell 模式指每個(gè)信道可支持兩個(gè) GDDR6 的設(shè)備。換句話說，在 clamshell 模式之下，整個(gè)容量是直接翻倍乘以 2 的。值得一提的是，GDDR6 現(xiàn)已支持先進(jìn)的 FinFET 工藝節(jié)點(diǎn)環(huán)境。

此外，Rambus 也會(huì)針對(duì) PCB 以及封裝提供相關(guān)的參考設(shè)計(jì)，同時(shí)內(nèi)部有信號(hào)完整度和邊緣完整性方面的專家，來幫助客戶完成整個(gè)設(shè)計(jì)工作。

市面上很多 GPU 加速器都已經(jīng)用到 GDDR6。由于在成本和性能之間達(dá)到不錯(cuò)的平衡，GDDR6 成為在 AI 應(yīng)用場(chǎng)景下比較合理的產(chǎn)品和選擇。而 Rambus 擁有領(lǐng)先的 SI/PI 專業(yè)知識(shí)，可以進(jìn)行早期的協(xié)同設(shè)計(jì)和開發(fā)，確保 GDDR6 產(chǎn)品的性能表現(xiàn)，也能更好地去縮短產(chǎn)品的上市時(shí)間。

結(jié)語：在帶寬、成本、方案復(fù)雜性之間實(shí)現(xiàn)平衡

隨著 AI 應(yīng)用趨于盛行，蘇雷談道，下游廠商首先關(guān)注高帶寬，并開始關(guān)注方案的成本和復(fù)雜性，"GDDR 技術(shù)是在帶寬、成本和方案復(fù)雜性的各因素之間提供了一個(gè)非常完美的折中技術(shù)方案。" 他預(yù)計(jì)到 2025 年或 2026 年市場(chǎng)上會(huì)出現(xiàn)使用 GDDR6 IP 的芯片。

進(jìn)入全新的 GDDR6 時(shí)代，相關(guān)產(chǎn)品已開始采用 16 位的雙讀寫通道。雙讀寫通道加起來是 32 位的數(shù)據(jù)寬度，而 GDDR6 內(nèi)存有 8 個(gè)雙讀寫通道，總共可實(shí)現(xiàn) 256 位的數(shù)據(jù)傳輸寬度，所以能夠顯著提高數(shù)據(jù)傳輸?shù)乃俣群托剩到y(tǒng)層效率和功耗管理也能得到進(jìn)一步的優(yōu)化。

除了適用于 AI 推理場(chǎng)景外，F(xiàn)rank Ferro 說，GDDR6 也會(huì)在圖形領(lǐng)域和一些網(wǎng)絡(luò)應(yīng)用場(chǎng)景中起到重要作用，能夠大幅降低網(wǎng)絡(luò)邊緣設(shè)備對(duì) DDR 數(shù)量的需求。

審核編輯 ：李倩