HBM的崛起！

編者按

近年來，因?yàn)?a href="http://www.ttokpm.com/tags/ai/" target="_blank">AI芯片的火熱，HBM作為當(dāng)中一個(gè)核心組件，在近年來的關(guān)注熱度水漲船高。關(guān)于HBM技術(shù)的細(xì)節(jié)，可以參考半導(dǎo)體行業(yè)觀察之前的文章《存儲巨頭競逐HBM》。在本文中，我們將回顧HBM的崛起故事，幫助大家了解這個(gè)高帶寬內(nèi)存的前世今生。

以下為文章正文：

2015年6月17日，AMD中國在北京望京召開發(fā)布會。

這場發(fā)布會上，媒體的目光全集中在某款重磅產(chǎn)品之上，它就是全新的Radeon R9 Fury X顯卡，其采用代號為Fiji XT（斐濟(jì)群島）的28nm制程GPU核心，采用4GB HBM堆疊顯存，擁有64個(gè)計(jì)算單元（CU）、4096個(gè)GCN架構(gòu)流處理器（SP)，核心頻率為1050MHz，單精度浮點(diǎn)性能達(dá)到了8.6TFlops，而 HBM顯存擁有4096 bit帶寬，等效頻率1Ghz，顯存總帶寬達(dá)到了512GB/S，除了顯存容量外，各項(xiàng)配置無愧于旗艦之名。

雖說這是HBM顯存首次亮相，但AMD早已聯(lián)合SK海力士等廠商潛心研發(fā)多年，而Fury X作為首款搭載HBM的顯卡，自然會被AMD寄予厚望。

時(shí)任AMD CEO的蘇姿豐表示，HBM采用堆疊式設(shè)計(jì)實(shí)現(xiàn)存儲速度的提升，大幅改變了GPU邏輯結(jié)構(gòu)設(shè)計(jì)，DRAM顆粒由“平房設(shè)計(jì)”改為“樓房設(shè)計(jì)”，所以HBM顯存能夠帶來遠(yuǎn)遠(yuǎn)超過當(dāng)前GDDR5所能夠提供的帶寬上限，其將率先應(yīng)用于高端PC市場，和英偉達(dá)（NVIDIA）展開新一輪的競爭。

針對R9 Fury X僅有4GB顯存，而R9?290X新版本卻配備了8GB GDDR5顯存這一問題，AMD事業(yè)群CTO?Joe?Macri還特意回應(yīng)表示，顯存容量其實(shí)并不是問題，GDDR5可以做到很大，但也有著很嚴(yán)重的浪費(fèi)，其實(shí)有很多空間都未得到充分利用，AMD未來會深入研究如何更高效率地利用這4GB?HBM顯存。

八年多時(shí)間過去了，AMD官網(wǎng)上掛著的RX 7000系列全部采用GDDR6顯存，當(dāng)初辛辛苦苦和海力士合作多年才得來的HBM顯存早已不見蹤影，只有用于AI計(jì)算的加速卡還殘留著當(dāng)初的豪言壯語。

而曾經(jīng)的對手英偉達(dá)，用A100和H100兩塊顯卡，輕松拿下了萬億美元的市值，坐穩(wěn)了AI時(shí)代的寶座，而它們用的顯存，正是AMD當(dāng)初力推的HBM。

苦研七年作嫁衣

時(shí)間再倒回2015年，AMD事業(yè)群CTO Joe Macri在紐約分析師大會上，接受了媒體的專訪，針對首次落地應(yīng)用的HBM做了一系列回答。

Macri表示，AMD自2009年開始，就已經(jīng)著手HBM的研發(fā)工作，在長達(dá)7年的時(shí)間里，AMD與SK海力士在內(nèi)的眾多業(yè)界伙伴一起完成了HBM的最終落地。

他首先談到了HBM顯存的必要性，2015年主流的顯存規(guī)格是GDDR5，經(jīng)過多年的使用和發(fā)展已經(jīng)進(jìn)入了瓶頸期，迫切需要新的替代技術(shù)，簡單來講，就是GPU的功耗不可能無限制地增長下去，越來越大的高規(guī)格顯存正在擠壓GPU核心的功耗空間，以前一張卡就200W功耗，顯存分到30W，而之后的大容量顯存卻水漲船高，60W、70W、80W……再加上核心的提升，一張顯卡往往有五六百瓦的功耗，也難怪被稱之為核彈卡。

Macri覺得，顯存面臨的關(guān)鍵問題就是顯存帶寬，它卻決于顯存的位寬和頻率，位寬都是GPU決定的，太高了會嚴(yán)重增大GPU芯片面積和功耗，所以高端顯卡一直停留在384/512位。同時(shí)，GDDR5的頻率已經(jīng)超過7GHz，提升空間不大了。另外，GDDR5(包括以前的顯存)都面臨著“占地面積”的問題。一大堆顯存顆粒圍繞在GPU芯片周圍，這已經(jīng)是固定模式，GDDR5再怎么縮小也無法改變，而且已經(jīng)不可能再繼續(xù)大幅度縮小了。

即使在今天來看，AMD這番關(guān)于顯卡功耗的話也挑不出什么毛病，GDDR5的頻率確實(shí)到了上限，而功耗問題也一直困擾著廠商和消費(fèi)者，英偉達(dá)最新的RTX 40系顯卡為了縮減功耗和成本，就對顯存位寬開了刀，功耗倒是小了，但是跑高分辨率游戲又變得不利索了。

事實(shí)上，行業(yè)內(nèi)大部分人都覺得GDDR已經(jīng)不行了到頭了，但還是捏著鼻子繼續(xù)用，因?yàn)榇蠹业墓沧R是，成熟且落后的技術(shù)總比先進(jìn)但不可靠的技術(shù)好，只有AMD徹底改變了思路，畢竟這家公司從誕生起，就不缺乏改變的勇氣。

勇氣是有了，不過AMD能夠在顯存上革新，還是極大程度上受到了大洋彼岸日本的啟發(fā)。

1999年，日本超尖端電子技術(shù)開發(fā)機(jī)構(gòu)（ASET）開始資助采用TSV技術(shù)開發(fā)的3D IC芯片，該項(xiàng)目名為“高密度電子系統(tǒng)集成技術(shù)研發(fā)”；2004年，爾必達(dá)開始研發(fā)TSV技術(shù)，同時(shí)接受了來自日本政府的新能源與產(chǎn)業(yè)技術(shù)開發(fā)組織(NEDO)的資助；2006年，爾必達(dá)與NEC、OKI共同開發(fā)出采用TSV技術(shù)的堆棧8顆128Mb的DRAM架構(gòu)……

什么是TSV呢？TSV全稱為Through Silicon Via，是一種新型三維堆疊封裝技術(shù)，主要是將多顆芯片(或者晶圓)垂直堆疊在一起，然后在內(nèi)部打孔、導(dǎo)通并填充金屬，實(shí)現(xiàn)多層芯片之間的電連接。相比于傳統(tǒng)的引線連接多芯片封裝方式，TSV能夠大大減少半導(dǎo)體設(shè)計(jì)中的引線使用量，降低工藝復(fù)雜度，從而提升速度、降低功耗、縮小體積。

這項(xiàng)技術(shù)不光能運(yùn)用于DRAM領(lǐng)域，在NAND和CIS上也有廣闊的前景，其最早就是在閃存上得以實(shí)踐：東芝在2007 年 4 月推出了具有 8 個(gè)堆疊芯片的 NAND 閃存芯片，隨后海力士又在 2007 年 9 月推出了具有 24 個(gè)堆疊芯片的 NAND 閃存芯片。

2009年，爾必達(dá)宣布已成功開發(fā)業(yè)內(nèi)第一款TSV DRAM芯片，其使用8顆1GB DDR3 SDRAM堆疊封裝而來，并在2011年6月開始交付樣品，TSV技術(shù)正式走上內(nèi)存這個(gè)大舞臺。

緊隨其后的是韓國與美國廠商，2011年3月，SK海力士宣布采用TSV技術(shù)的16GB DDR3內(nèi)存（40nm級）研發(fā)成功， 9月，三星電子推出基于TSV技術(shù)的3D堆疊32GB DDR3（30nm級），10月，三星電子和美光科技聯(lián)合宣布推出基于 TSV 技術(shù)的混合內(nèi)存立方(HMC) 技術(shù)。

AMD在收購ATI后，就已經(jīng)打起了顯存的主意，但想要從頭研發(fā)全新的顯存標(biāo)準(zhǔn)，光靠自己的GPU部門閉門造車顯然是不夠的，于是AMD拉來了幾個(gè)至關(guān)重要的合作伙伴：有3D 堆疊內(nèi)存經(jīng)驗(yàn)的韓廠海力士，做硅中介層的聯(lián)電，以及負(fù)責(zé)封裝測試的日月光和Amkor。

HBM應(yīng)運(yùn)而生，前面提到了GDDR陷入到了內(nèi)存帶寬和功耗控制的瓶頸，而HBM的思路，就是用TSV技術(shù)打造立體堆棧式的顯存顆粒，讓“平房”進(jìn)化為“樓房”，同時(shí)通過硅中介層，讓顯存連接至GPU核心，并封裝在一起，完成顯存位寬和傳輸速度的提升，可謂是一舉兩得。

2013年，經(jīng)過多年研發(fā)后，AMD和SK海力士終于推出了HBM這項(xiàng)全新技術(shù)，還被定為了JESD235行業(yè)標(biāo)準(zhǔn)，HBM1的工作頻率約為1600 Mbps，漏極電源電壓為1.2V，芯片密度為2Gb（4-hi），其帶寬為4096bit，遠(yuǎn)超GDDR5的512bit。

除了帶寬外，HBM對DRAM能耗的影響同樣重要，同時(shí)期的 R9 290X在DRAM上花費(fèi)了其250W額定功耗的15-20%，即大約38-50W的功耗，算下來GDDR5每瓦功耗的帶寬為10.66GB/秒，而HBM每瓦帶寬超過35GB/秒，每瓦能效提高了3倍。

此外，由于GPU核心和顯存封裝在了一起，還能一定程度上減輕散熱的壓力，原本是一大片的散熱區(qū)域，濃縮至一小塊，散熱僅需針對這部分區(qū)域，原本動輒三風(fēng)扇的設(shè)計(jì)，可以精簡為雙風(fēng)扇甚至是單風(fēng)扇，變相縮小了顯卡的體積。

反正好處多得數(shù)不清楚，不論是AMD和SK海力士，還是媒體和眾多玩家，都認(rèn)定了這才是未來的顯存，英偉達(dá)主導(dǎo)的GDDR已經(jīng)過時(shí)了，要被掃進(jìn)歷史的垃圾堆了。

壞處嘛，前文中提到的旗艦顯卡僅支持4GB顯存算一個(gè)，畢竟高帶寬是用來跑高分辨率的，結(jié)果顯存大小縮水直接讓HBM失去了實(shí)際應(yīng)用意義。

而價(jià)格更是壓倒AMD的最后一根稻草：HBM1的成本已不可考，但8GB HBM2的成本約150美元，硅中介層成本約25美元，總計(jì)175美元，同時(shí)期的8GB GDDR5僅需52美元，在沒有考慮封測的情況下，HBM成本已經(jīng)是GDDR的三倍左右，一張RX Vega 56零售價(jià)才400美元，一半的成本都花在了顯存之上，GPU部門本來是要補(bǔ)貼CPU部門的，結(jié)果現(xiàn)在情況卻要反過來，誰又能擔(dān)待得起呢？

因而AMD火速取消了后續(xù)顯卡的HBM顯存搭載計(jì)劃，老老實(shí)實(shí)跟著英偉達(dá)的步伐走了，在RX 5000系列上直接改用了GDDR6顯存，HBM在AMD的游戲顯卡上二世而亡。

反觀英偉達(dá)，卻是以逸待勞，2016年4月，英偉達(dá)發(fā)布了Tesla P100顯卡，內(nèi)置16GB HBM2顯存，帶寬可達(dá)720GB/s，具備21 Teraflops的峰值人工智能運(yùn)算性能。

英偉達(dá)在HBM上并未像AMD一樣深耕多年，怎么突然反手就是一張搭載了HBM2的顯卡，對AMD發(fā)起了反攻的號角呢？

背后的原因其實(shí)還頗有些復(fù)雜，Tesla P100顯卡所用的HBM2顯存，并非來自于AMD的合作伙伴SK海力士，而是隔壁的三星電子，同樣是韓廠的它，在基于TSV技術(shù)的3D堆疊內(nèi)存方面的開發(fā)并不遜色于海力士多少，在奮起直追的情況下，很快就縮小了差距，而英偉達(dá)正有開發(fā)HBM相關(guān)顯卡之意，二者一拍即合。

至于AMD與聯(lián)電、日月光、Amkor等好不容易搞定的硅中介層與2.5D封測，英偉達(dá)則是找到了業(yè)界的另一個(gè)大佬——臺積電，看上了它旗下的先進(jìn)封裝技術(shù)CoWoS（Chip-on-Wafer-on-Substrate），其早在2011年就推出了這項(xiàng)技術(shù)，并在2012年首先應(yīng)用于Xilinx的FPGA上，二者同樣是一拍即合。

此后的故事無需贅言，英偉達(dá)從P100到V100，從A100再到H100，連續(xù)數(shù)張高算力的顯卡幾乎成為了AI訓(xùn)練中的必備利器，出貨量節(jié)節(jié)攀升，甚至超越了傳統(tǒng)的游戲顯卡業(yè)務(wù)，而HBM也在其中大放光彩，成為了鑲嵌著的最耀眼的一顆寶石。

起了個(gè)大早，趕了個(gè)晚集，是對AMD在HBM上的最好概括，既沒有憑借HBM在游戲顯卡市場中反殺英偉達(dá)，反而被英偉達(dá)利用HBM鞏固了AI計(jì)算領(lǐng)域的地位，白白被別人摘了熟透甜美的桃子。

三家分內(nèi)存

在AMD和英偉達(dá)這兩家GPU廠商爭鋒相對之際，三家領(lǐng)先的內(nèi)存廠商也沒閑著，開始了在HBM市場的你追我趕的歷程。

2013年，SK海力士宣布成功研發(fā)HBM1，定義了這一顯存標(biāo)準(zhǔn)，但它和AMD一樣，好不容易得來的優(yōu)勢卻沒保持得太久.

2016年1月，三星宣布開始量產(chǎn)4GB HBM2 DRAM，并在同一年內(nèi)生產(chǎn)8GB HBM2 DRAM，后來者居上，完成了對本國同行的趕超，與HBM1相比，顯存帶寬實(shí)現(xiàn)了翻倍。

2017年下半年，SK海力士的HBM2姍姍來遲，終于宣布量產(chǎn)；2018年1月，三星宣布開始量產(chǎn)第二代8GB HBM2“Aquabolt”。

2018年末，JEDEC推出HBM2E規(guī)范，以支持增加的帶寬和容量。當(dāng)傳輸速率上升到每管腳3.6Gbps時(shí)，HBM2E可以實(shí)現(xiàn)每堆棧461GB/s的內(nèi)存帶寬。此外，HBM2E支持最多12個(gè)DRAM的堆棧，內(nèi)存容量高達(dá)每堆棧24GB。與HBM2相比，HBM2E具有技術(shù)更先進(jìn)、應(yīng)用范圍更廣泛、速度更快、容量更大等特點(diǎn)。

2019年8月，SK海力士宣布成功研發(fā)出新一代“HBM2E”；2020年2月，三星也正式宣布推出其16GB HBM2E產(chǎn)品“Flashbolt”，于2020年上半年開始量產(chǎn)。

2022年1月，JEDEC組織正式發(fā)布了新一代高帶寬內(nèi)存HBM3的標(biāo)準(zhǔn)規(guī)范，繼續(xù)在存儲密度、帶寬、通道、可靠性、能效等各個(gè)層面進(jìn)行擴(kuò)充升級，其傳輸數(shù)據(jù)率在HBM2基礎(chǔ)上再次翻番，每個(gè)引腳的傳輸率為6.4Gbps，配合1024-bit位寬，單顆最高帶寬可達(dá)819GB/s。

而SK海力士早在2021年10月就發(fā)布了全球首款HBM3，并于2022年6月正式量產(chǎn)，供貨英偉達(dá)，擊敗了三星，再度于HBM上拿到了技術(shù)和市場優(yōu)勢。

三星自然也不甘示弱，在它發(fā)布的路線圖中，2022年HBM3技術(shù)已經(jīng)量產(chǎn)，2023年下半年開始大規(guī)模生產(chǎn)，預(yù)計(jì)2024年實(shí)現(xiàn)接口速度高達(dá)7.2Gbps的下一代HBM技術(shù)——HBM3p，將數(shù)據(jù)傳輸率進(jìn)一步提升10%，從而將堆疊的總帶寬提升到5TB/s以上。

講到這里，大家不免會心生疑問，都說了是三家分內(nèi)存，這三星和海力士加一塊就兩家啊，還都是韓國的，另外一家跑哪去了呢？

身在美國的美光當(dāng)然沒有忽視顯存市場，作為爾必達(dá)的收購者，它對于3D堆疊的TSV技術(shù)怎么也不會陌生，甚至在HBM發(fā)布之前，還有不少TSV技術(shù)方面的優(yōu)勢。

但是美光卻沒跟著AMD或英偉達(dá)去鼓搗HBM技術(shù)，而是回頭選擇了英特爾，搞出了HMC（混合內(nèi)存）技術(shù)，雖然也使用了TSV，但它有自己的控制器芯片，并且完全封裝在PCB基板之上，和HBM截然不同，也完全不兼容。

2011年9月，美光正式宣布了第一代HMC，并在2013年9月量產(chǎn)了第二代HMC，但響應(yīng)者卻寥寥無幾，第一個(gè)采用 HMC 內(nèi)存的處理器是富士通的SPARC64 XIfx，其搭載于2015 年推出的富士通PRIMEHPC FX100 超算，而后就鮮見于各類產(chǎn)品中。

隨著2018年8月，美光宣布正式放棄HMC后，才匆匆忙忙轉(zhuǎn)向GDDR6和HBM產(chǎn)品的研發(fā)，幸好3D堆疊技術(shù)的底子還在那里，不至于說完全落后于兩個(gè)韓廠。2020年，美光正式表示將開始提供HBM2產(chǎn)品，用于高性能顯卡，服務(wù)器處理器等產(chǎn)品，其在財(cái)報(bào)中預(yù)計(jì)，將在2024年第一季度量產(chǎn)HBM3產(chǎn)品，最終趕上目前領(lǐng)先的競爭對手。

AI大潮仍然席卷全球，而英偉達(dá)H100和A100顯卡依舊火熱，HBM作為內(nèi)存市場的新蛋糕，卻是最鮮美的一塊。芯片行業(yè)咨詢公司 SemiAnalysis 表示，HBM 的價(jià)格大約是標(biāo)準(zhǔn) DRAM 芯片的五倍，為制造商帶來了更大的總利潤。目前，HBM 占全球內(nèi)存收入的比例不到 5%，但 SemiAnalysis 項(xiàng)目預(yù)計(jì)到 2026 年將占到總收入的 20% 以上。

這塊鮮美的蛋糕大部分留給了先行者，集邦咨詢調(diào)查顯示，2022年三大原廠HBM市占率分別為SK海力士50%、三星約40%、美光約10%，十成里面占一成，美光自認(rèn)為產(chǎn)品不遜于韓廠，但市場卻從不會為某個(gè)自恃技術(shù)領(lǐng)先的廠商網(wǎng)開一面。

總結(jié)

當(dāng)初爾必達(dá)的坂本幸雄認(rèn)為日本半導(dǎo)體輸人不輸陣，時(shí)任美光CEO莫羅特亞在接受采訪時(shí)也表示，AI 領(lǐng)域不光有 HBM，還包含高密度 DDR5、美光定制LP DRAM以及一部分圖形內(nèi)存，概括來說，就是輸了HBM但還沒在AI上認(rèn)輸。

倘若讓這倆CEO總結(jié)失敗的教訓(xùn)，恐怕只能發(fā)出一句“時(shí)也，命也，運(yùn)也，非吾之所能也”之淚的感慨吧，輸當(dāng)然是不可能輸?shù)模拦夂蜖柋剡_(dá)即使倒閉也不會說技術(shù)不行，把過錯(cuò)歸咎于市場，落了個(gè)一身輕松。

再回過頭來看，AMD 在2015年發(fā)布R9 Fury X時(shí)的判斷錯(cuò)了嗎？當(dāng)然沒錯(cuò)，內(nèi)存帶寬的的確確到了瓶頸，從GDDR5到GDDR6X幾乎沒有進(jìn)步，但在游戲顯卡，可以采用大型緩存作為幀緩沖區(qū)，讓成本較低的GDDR接著上路，但數(shù)據(jù)中心和AI加速卡的帶寬問題卻非HBM不可，成本在這一領(lǐng)域反倒成了最不起眼的問題。

如今AMD調(diào)轉(zhuǎn)船頭，再戰(zhàn)AI領(lǐng)域，希望HBM能讓他們在這個(gè)市場騰飛。