近年來,隨著內(nèi)存帶寬逐漸成為影響人工智能持續(xù)增長的關(guān)鍵焦點領(lǐng)域之一,以高帶寬內(nèi)存(HBM、HBM2、HBM2E)和GDDR開始逐漸顯露頭角,成為搭配新一代AI/ML加速器和專用芯片的新型內(nèi)存解決方案。
人工智能/機器學(xué)習(xí)(AI/ML)在全球范圍內(nèi)的迅速興起,正推動著制造業(yè)、交通、醫(yī)療、教育和金融等各個領(lǐng)域的驚人發(fā)展。從2012年到2019年,人工智能訓(xùn)練能力增長了30萬倍,平均每3.43個月翻一番,就是最有力的證明。支持這一發(fā)展速度需要的遠不止摩爾定律,人工智能計算機硬件和軟件的各個方面都需要不斷的快速改進。
2012-2019年,人工智能訓(xùn)練能力增長30萬倍(圖片來源:openai.com)
而中國作為全球人工智能發(fā)展最快的國家之一,正備受矚目。根據(jù)德勤最新發(fā)布的統(tǒng)計預(yù)測數(shù)據(jù)顯示,2020年全球人工智能市場規(guī)模將達到6800億元人民幣,復(fù)合增長率(CAGR)達26%。而中國人工智能市場的表現(xiàn)尤為突出,2019年末已經(jīng)達到了510億元人民幣的市場規(guī)模,人工智能企業(yè)超過2600家。預(yù)計到2020年,中國AI市場規(guī)模將達到710億元人民幣,五年間(2015-2020)的復(fù)合增長率高達44.5%。
近年來,中國正在積極推動人工智能與實體經(jīng)濟的融合,從而實現(xiàn)產(chǎn)業(yè)的優(yōu)化升級。2017年7月,國務(wù)院印發(fā)了《新一代人工智能發(fā)展規(guī)劃》,這一規(guī)劃與2015年5月發(fā)布的《中國制造2025》共同構(gòu)成了中國人工智能戰(zhàn)略的核心。這份具有里程碑意義的規(guī)劃,對人工智能發(fā)展進行了戰(zhàn)略性部署,力爭到2030年把中國建設(shè)成為世界主要人工智能創(chuàng)新中心。此外,2020年還是中國的新基建元年,而人工智能作為一大重點板塊,勢必成為新基建的核心支撐。
內(nèi)存帶寬將是影響AI發(fā)展的關(guān)鍵因素
“內(nèi)存帶寬將成為人工智能持續(xù)增長的關(guān)鍵焦點領(lǐng)域之一?!?a href="http://www.ttokpm.com/tags/ram/" target="_blank">Rambus IP核產(chǎn)品營銷高級總監(jiān) Frank Ferro日前在接受《電子工程專輯》采訪時表示,以先進的駕駛員輔助系統(tǒng)(ADAS)為例,L3級及更高級別系統(tǒng)的復(fù)雜數(shù)據(jù)處理需要超過200GB/s的內(nèi)存帶寬。這些高帶寬是復(fù)雜AI/ML算法的基本需求,自駕過程中需要這些算法快速執(zhí)行大量計算并安全地執(zhí)行實時決策。而在L5級,如果車輛要能夠獨立地對交通標志和信號的動態(tài)環(huán)境做出反應(yīng),以便準確地預(yù)測汽車、卡車、自行車和行人的移動,將需要超過500GB/s的內(nèi)存帶寬。
不同ADAS級別對存儲帶寬的要求(圖片來源:anandtech.com)
鑒于此,高帶寬內(nèi)存(HBM、HBM2、HBM2E)和GDDR開始逐漸顯露頭角,成為搭配新一代AI/ML加速器和專用芯片的新型內(nèi)存解決方案。他說過去幾年內(nèi),HBM、HMC、PAM4等標準在市場上展開了激烈的競爭,但從目前的發(fā)展態(tài)勢來看,還是HBM占據(jù)了更多的市場份額。不過他同時也坦承,由于汽車安全等級要求很高,考慮到HBM本身采用的是復(fù)雜的2.5D架構(gòu),再結(jié)合DRAM設(shè)備,所以目前為止在汽車市場上并沒有得到突破性的應(yīng)用,相比之下,GDDR反而會是比較好的解決方案。
高帶寬內(nèi)存(HBM)于2013年推出,是一種高性能3D堆棧SDRAM構(gòu)架。與前一代產(chǎn)品一樣,HBM2為每個堆棧包含最多8個內(nèi)存芯片,同時將管腳傳輸速率翻倍,達到2Gbps。HBM2實現(xiàn)每個封裝256GB/s的內(nèi)存帶寬(DRAM堆棧),采用HBM2規(guī)格,每個封裝支持高達8GB的容量。
2018年末,JEDEC宣布推出HBM2E規(guī)范,以支持增加的帶寬和容量。當傳輸速率上升到每管腳3.6Gbps時,HBM2E可以實現(xiàn)每堆棧461GB/s的內(nèi)存帶寬。此外,HBM2E支持12個DRAM的堆棧,內(nèi)存容量高達每堆棧24GB。
單一DRAM堆棧的HBM2E內(nèi)存系統(tǒng)(圖片來源:Rambus)
HBM2E提供了達成巨大內(nèi)存帶寬的能力。連接到一個處理器的四塊HBM2E內(nèi)存堆棧將提供超過1.8TB/s的帶寬。通過3D堆疊內(nèi)存,可以以極小的空間實現(xiàn)高帶寬和高容量需求。進一步,通過保持相對較低的數(shù)據(jù)傳輸速率,并使內(nèi)存靠近處理器,總體系統(tǒng)功率得以維持在較低水位。
坦率的說,采用HBM的設(shè)計的代價是增加復(fù)雜性和成本,因此Frank Ferro并不建議在人工智能推理應(yīng)用中使用HBM技術(shù)。然而,對于人工智能訓(xùn)練應(yīng)用,HBM2E的優(yōu)點使其成為一個更好的選擇。它的性能非常出色,所增加的采用和制造成本可以透過節(jié)省的電路板空間和電力相互的緩解。在物理空間日益受限的數(shù)據(jù)中心環(huán)境中,HBM2E緊湊的體系結(jié)構(gòu)提供了切實的好處。它的低功率意味著它的熱負荷較低,在這種環(huán)境中,冷卻成本通常是幾個最大的運營成本之一。官方數(shù)據(jù)顯示,Rambus IP系統(tǒng)以及IP產(chǎn)品在實驗室經(jīng)過了非常嚴苛的環(huán)境測試,確保從零下50到125攝氏度范圍內(nèi)均能夠正常運行。
同時,F(xiàn)rank Ferro也不認為在芯片上采取分布式內(nèi)存的方法會給HBM2E和GDDR長期的發(fā)展帶來影響。原因在于盡管SRAM的速度和延遲性都高于DRAM,但在固定的芯片面積上能安裝的SRAM數(shù)量卻非常少,很多情況下為了滿足人工智能訓(xùn)練的需求,一部分SRAM設(shè)備不得不裝在芯片之外,這就是問題所在。但總體來說,這兩種方案屬于從不同角度出發(fā)解決同一個問題,兩者之間是互補而非相互阻礙。
創(chuàng)紀錄的性能
針對高帶寬和低延遲進行了優(yōu)化,Rambus HBM2E內(nèi)存接口解決方案實現(xiàn)了創(chuàng)紀錄的4Gbps性能。該解決方案由完全集成且經(jīng)過驗證的PHY和內(nèi)存控制器IP組成,搭配SK Hynix 3.6Gbps運行速度的HBM2E DRAM,在物理層面實現(xiàn)了完整的集成互聯(lián),可以從單個HBM2E設(shè)備提供460GB/s的帶寬,這也被Frank Ferro視作其HBM2E 產(chǎn)品的核心差異化優(yōu)勢之一。這意味著,除了提供完整的內(nèi)存子系統(tǒng)、硬核PHY和時序收斂外,用戶額外需要的系統(tǒng)級支持、工具套件和技術(shù)服務(wù)也都包含在內(nèi),集成難度和設(shè)計時間得以大幅度下降。
Rambus HBM2E 4Gbps發(fā)送端眼圖(圖片來源:Rambus)
從2017年正式投產(chǎn)HBM解決方案以來,Rambus目前已經(jīng)擁有第三代PHY和第二代內(nèi)存控制器IP,全球范圍內(nèi)的成功案例項目超過50個。除了4Gbps HBM2E外,Rambus在其他不同工藝節(jié)點的產(chǎn)品還包括采用Global Foundries 12nm/14nm工藝的HBM2,速度為2.0 Gbps/s;采用Global Foundries 12LP+和三星14nm/11nm工藝的HBM2E產(chǎn)品。
不可否認,4.0Gbps是一個全新的行業(yè)標桿。在這一過程中,Rambus與SK hynix和Alchip展開了合作,采用臺積電N7工藝和CoWoS?先進封裝技術(shù),實現(xiàn)了HBM2E 2.5D系統(tǒng)在硅中驗證Rambus HBM2E PHY和內(nèi)存控制器IP。Alchip與Rambus的工程團隊共同設(shè)計,負責(zé)中介層和封裝基板的設(shè)計。
“在我們提供的完整參考設(shè)計框架中,最重要的一點就是如何更好地對中介層進行完整的設(shè)計和表征化處理,以確保信號完整性。此外,我們還協(xié)助用戶對每個信號通道進行仿真分析,通過Lab Station工具對內(nèi)存子系統(tǒng)進行最優(yōu)化設(shè)計,并提供在SI高速信號完整性和電源完整性方面的經(jīng)驗等等。”Frank Ferro說Rambus的初衷,不僅僅只是扮演IP供應(yīng)商的角色,更是希望在系統(tǒng)層面降低用戶設(shè)計難度。
信號完整性之所以如此重要,是因為HBM作為高速內(nèi)存接口,在與中介層互聯(lián)的過程中包括至少上千條不同的數(shù)據(jù)鏈路,必須要確保所有鏈路的物理空間得到良好的控制,整個信號的完整性也必須得到驗證。因此,Rambus的做法如果從表征化層面來講,不但需要對整個中介層的材料做出非常精細的選擇,還要考慮漸進層的厚度以及整個電磁反射相關(guān)的物理參數(shù),并在此基礎(chǔ)上進行完整的分析和仿真,以實現(xiàn)信號一致性的處理。
HBM2E內(nèi)存接口子系統(tǒng)示例
燧原科技是Frank Ferro在發(fā)布會上提及的中國合作伙伴。在此次合作中,燧原科技為自己下一代人工智能訓(xùn)練芯片選擇了Rambus HBM2 PHY和內(nèi)存控制器IP,可實現(xiàn)2Tb/s的性能。而在今年4月和5月,長鑫存儲、兆易創(chuàng)新兩家公司還分別和Rambus簽署了DRAM(動態(tài)隨機存取存儲)與RRAM(電阻式隨機存取存儲器,也可寫作ReRAM)技術(shù)專利授權(quán)。
Rambus大中華區(qū)總經(jīng)理 Raymond Su表示,通過對IP控制器公司Northwest Logic和Verimatrix安全IP業(yè)務(wù)部門的收購,Rambus實現(xiàn)了在內(nèi)存IP層面提供一站式采購和“turn key”服務(wù)的目標。接下來,在中國市場,公司將緊密地與云廠商、OEM和ODM合作,推動整個內(nèi)存產(chǎn)業(yè)生態(tài)系統(tǒng)的建設(shè)。
編輯:hfy
-
DRAM
+關(guān)注
關(guān)注
40文章
2282瀏覽量
182975 -
信號完整性
+關(guān)注
關(guān)注
68文章
1383瀏覽量
95173 -
AI
+關(guān)注
關(guān)注
87文章
28877瀏覽量
266240 -
人工智能
+關(guān)注
關(guān)注
1787文章
46061瀏覽量
235036 -
adas
+關(guān)注
關(guān)注
309文章
2131瀏覽量
208330
發(fā)布評論請先 登錄
相關(guān)推薦
評論