AI從GPU席卷至MCU，內(nèi)存的重要性與算力等同

電子發(fā)燒友網(wǎng)報(bào)道（文/周凱揚(yáng)）在市場(chǎng)對(duì)AI的不懈追求中，似乎絕大多數(shù)人都把重心放在了算力上。然而決定真正AI計(jì)算表現(xiàn)的，還有內(nèi)存這一重要組成部分。為此，除了傳統(tǒng)的標(biāo)準(zhǔn)內(nèi)存選項(xiàng)外，市面上也出現(xiàn)了專(zhuān)門(mén)針對(duì)AI進(jìn)行優(yōu)化的內(nèi)存。

高性能AI芯片需要超高帶寬內(nèi)存

無(wú)論是英偉達(dá)最新的服務(wù)器GPU，還是一眾初創(chuàng)公司推出的AI加速器，我們都可以看到HBM出現(xiàn)的越來(lái)越頻繁，比如英偉達(dá)H100、谷歌TPU等等。美光、SK海力士和三星等廠商都在布局這類(lèi)超高帶寬內(nèi)存，用于解決 AI計(jì)算中時(shí)常出現(xiàn)的內(nèi)存墻問(wèn)題。

以LLM模型的訓(xùn)練負(fù)載為例，HBM3內(nèi)存與處理器可以與處理器以最高6.4Gb/s的接口速率相連，并實(shí)現(xiàn)3.2TB/s的超大帶寬。而且在3D堆疊技術(shù)的支撐下，SoC芯片的面積依然控制在一個(gè)合理的范圍內(nèi)。超大的帶寬顯著減少了模型訓(xùn)練時(shí)間，所以我們才能看到如此快的LLM模型更迭速度。

當(dāng)把模型推向終端應(yīng)用時(shí)，效率就和效能一樣重要了。推理帶來(lái)的計(jì)算成本異常龐大，所以我們需要更低的系統(tǒng)功耗。而HBM內(nèi)存恰好可以在維持“較低”速率的同時(shí)，實(shí)現(xiàn)與處理器的“近距離接觸”和大帶寬，從而進(jìn)一步降低整體系統(tǒng)功耗。

當(dāng)然了，HBM也并非那么完美，不然我們也不會(huì)只在服務(wù)器級(jí)別的產(chǎn)品上看到它們。隨著HBM而來(lái)的是設(shè)計(jì)復(fù)雜度和更高的成本，比如需要額外設(shè)計(jì)硅中介層等等。但還是由于吃到了AI紅利，HBM的成本也在慢慢降低，甚至有的初創(chuàng)公司在首個(gè)AI芯片上就直接采用HBM3內(nèi)存，為的就是充分釋放AI芯片的計(jì)算性能。

小芯片的AI夢(mèng)

隨著AI熱潮的襲來(lái)，我們也看到了邊緣端不少AIoT產(chǎn)品開(kāi)始追逐這一風(fēng)口，尤其是智能音箱等具備交互能力的設(shè)備。然而以這類(lèi)設(shè)備主用的MCU芯片而言，本身計(jì)算性能就難以與GPU這樣的高性能AI加速器媲美，更別說(shuō)內(nèi)存帶寬了。

為此，英飛凌推出了HyperRAM這一高速內(nèi)存，相較傳統(tǒng)的pSRAM，HyperRAM成了更高效簡(jiǎn)潔的解決方案。HyperRAM基于HyperBus這一接口開(kāi)發(fā)，相較于其他DRAM內(nèi)存方案，HyperRAM并不見(jiàn)得有壓倒性的帶寬優(yōu)勢(shì)，比如最新的HyperRAM 3.0版本，其帶寬最高可達(dá)800MB/s。

不同內(nèi)存的工作功耗對(duì)比 / 華邦電子

但在同等帶寬下工作時(shí)，HyperRAM可以提供更少的引腳數(shù)和更低的功耗，對(duì)于不少可穿戴應(yīng)用來(lái)說(shuō)，采用HyperRAM不僅降低所需的PCB面積，也進(jìn)一步降低了功耗，提高了這類(lèi)設(shè)備的續(xù)航能力。根據(jù)華邦電子提供的數(shù)據(jù)，同樣64MB的內(nèi)存，HyperRAM可以實(shí)現(xiàn)比SDRAM低數(shù)十倍的待機(jī)功耗。

時(shí)至今日，我們已經(jīng)看到不少頂尖MCU廠商，諸如NXP、瑞薩和TI等，都已經(jīng)提供了支持HyperBus接口的MCU。新思、Cadence等廠商也開(kāi)始提供HyperBus控制IP，華邦電子也加入HyperRAM的供應(yīng)生態(tài)鏈中來(lái)，HyperRAM已然成了AIoT應(yīng)用中MCU乃至MPU外部RAM的理想選擇。

寫(xiě)在最后

無(wú)論是HBM還是HyperRAM，都是AI時(shí)代下開(kāi)始發(fā)光發(fā)熱的內(nèi)存選擇。他們的出現(xiàn)不僅為市場(chǎng)提供了更靈活的設(shè)計(jì)選擇，也進(jìn)一步推動(dòng)了內(nèi)存技術(shù)在設(shè)計(jì)、工藝和封裝上的進(jìn)步。未來(lái)隨著內(nèi)存技術(shù)邁入下一個(gè)階段，或許不只有AI應(yīng)用能從中受益。