存儲器對于人工智能的發(fā)展有什么影響

邊緣計(jì)算性能的提升給存儲器的設(shè)計(jì)，類型的選擇和配置都帶來挑戰(zhàn)，這也導(dǎo)致在不同的應(yīng)用市場中需要進(jìn)行更復(fù)雜的權(quán)衡。芯片架構(gòu)正在與新市場一起發(fā)展，但數(shù)據(jù)在芯片、設(shè)備之間以及系統(tǒng)之間如何移動并不總是很清楚。汽車和AI應(yīng)用的數(shù)據(jù)正變得越來越多和復(fù)雜，但芯片架構(gòu)在處理時(shí)有時(shí)不清楚如何優(yōu)先處理數(shù)據(jù)。

這讓芯片設(shè)計(jì)人員面臨抉擇，是選擇共用內(nèi)存降低成本，還是增加不同類型內(nèi)存提高性能和降低功耗。

所有這些都是以安全為前提，并且不同的市場設(shè)計(jì)的要求也不一樣。比如，汽車中的各種類型的圖像傳感器（如激光雷達(dá)和攝像頭）的大量數(shù)據(jù)需要在本地處理。AI芯片則希望性能能夠提升100倍。

解決內(nèi)存問題有一些方法，其中一種是片上存儲器，也就是將存儲器分散地集成在運(yùn)算單元旁，盡可能減少數(shù)據(jù)搬移，這種方法的目標(biāo)是通過減少負(fù)載和存儲的數(shù)量來突破內(nèi)存瓶頸，也能降低功耗。

“存算一體（In-memory computing）可能是模擬的、數(shù)字的，或兩者都有?！?Cadence Digital＆Signoff Group的高級產(chǎn)品經(jīng)理Dave Pursley說，“雖然在內(nèi)存中進(jìn)行計(jì)算的想法可能是日益增長的趨勢，但在這種計(jì)算中實(shí)際發(fā)生的情況似乎大不相同?！?/p>

SRAM和DRAM仍是主流

盡管市場出現(xiàn)了新的變化，但片上SRAM和片外DRAM仍是主流。已經(jīng)有專家預(yù)測DRAM多年后將“死亡”，但它仍然是最經(jīng)濟(jì)和可靠的選擇。DRAM具有高密度、架構(gòu)簡單、低延遲和高性能的特性，兼具耐用和低功耗的特性。

DRAM密度的增速正在放緩，但HBM2等新架構(gòu)允許通過堆疊模塊的方式而不是使用DIMM來垂直增加密度，這種方法還讓DRAM更靠近處理單元。

另外，SRAM價(jià)格昂貴且密度有限，但其高速性能多年來已被驗(yàn)證。片上存儲器的挑戰(zhàn)是采用分布還是共用的方式，在某些情況下，為保證安全性需要增加冗余。

“所有這些要求都會影響存儲器的類型和數(shù)量的選擇，還涉及片上和片外存儲器之間的權(quán)衡，以及訪問每個(gè)存儲器互連的復(fù)雜性。”Arm高級物聯(lián)網(wǎng)架構(gòu)師Ryan Lim表示。

低功耗存儲器是關(guān)鍵

存儲器的一個(gè)關(guān)鍵問題是功耗，其中存儲器類型和配置等多種因素都會影響功耗。例如，在7nm的存儲器中進(jìn)行數(shù)據(jù)的存取可能消耗更多功耗，這是因?yàn)榫€路中的RC延遲。當(dāng)然，這也會產(chǎn)生熱量，有可能會破壞輸入輸出存儲器的信號的完整性。

不過，較慢的片外數(shù)據(jù)使用高帶寬內(nèi)存可以節(jié)省功耗，并且可以與高速GDDR6一樣快。如何做出這些決定取決有多種因素，包括設(shè)備的平均售價(jià)和選擇的存儲器類型。

還有針對手持移動設(shè)備的極低功耗的存儲器，包括越來越多使用電池的邊緣設(shè)備。

“這些存儲器具有極高的效能，可在一定程度上提升電池供電設(shè)備的功耗和數(shù)據(jù)速率?！?Rambus杰出的院士Steven Woo說?！八鼈円部梢栽诙喾N模式下工作，當(dāng)處于待機(jī)狀態(tài)時(shí)，可以消耗很少的能量滿足手機(jī)和平板電腦等產(chǎn)品的需求，并在需要進(jìn)行處理時(shí)快速切換到更高性能/更高功率的模式。 ”

低功耗存儲器還支持多種封裝方式，允許它們與手機(jī)處理器堆疊在一起，滿足智能手機(jī)的輕薄需求，也能集成在PCB上支持平板電腦和其他消費(fèi)類設(shè)備高容量內(nèi)存配置的需求。

毫無疑問，開發(fā)低功耗存儲器是一項(xiàng)挑戰(zhàn)?！爱?dāng)設(shè)計(jì)低功耗存儲器時(shí)，它們支持的速率范圍很廣，相對低功耗存儲器而言，這些數(shù)據(jù)速率往往是相當(dāng)高的?！盬oo說。“這通常是由一兩個(gè)主要應(yīng)用市場驅(qū)動，所以它必須面向一個(gè)市場很大的行業(yè)，擁有足夠大市場的行業(yè)才能催生新的存儲器。從歷史上看，手機(jī)市場是成功的例子。如果與不同的手機(jī)制造商交談，他們都希望獲得性能和電源效率更高的存儲器，因?yàn)樗麄兿Ｍ軌蜓娱L電池壽命。對于其他想要使用低功耗存儲器的公司，他們會很慶幸其他人正在幫他們實(shí)現(xiàn)。“

通常，這些合格的存儲器可能在幾種不同的數(shù)據(jù)速率下運(yùn)行，但速率很接近。“這些存儲器可能有一個(gè)是每秒4.2千兆比特的速率，另一個(gè)是3.2千兆比特?！彼忉尩?，“這可以讓內(nèi)存制造商在生產(chǎn)所有這些存儲器時(shí)，進(jìn)行所謂的分級。當(dāng)某些部件沒有全速運(yùn)行時(shí)會發(fā)生這種情況，但制造商依舊會出售這些內(nèi)存，因?yàn)橛行┛蛻粜枰愿阋说膬r(jià)格購買性能較低的存儲器。Binning（數(shù)據(jù)合并）允許這種情況。這些產(chǎn)品的性能在一定的范圍內(nèi)，都屬于合格品。“

存儲器如何影響人工智能發(fā)展？

人工智能在幾乎所有新技術(shù)中都扮演著重要角色，而存儲器又在人工智能中起著重要作用。極高的速度和極低的功率是芯片一直以來追求的，不過這并不總是有效，因?yàn)榭臻g有限。但它能解釋為什么數(shù)據(jù)中心和用于訓(xùn)練的AI芯片比應(yīng)用于終端推理設(shè)備的芯片更大。另一種方法是減少一些片外存儲芯片，以提高數(shù)據(jù)吞吐量并通過設(shè)計(jì)減少到內(nèi)存的距離，或者限制數(shù)據(jù)流。

在任何一種情況下，片外存儲器的競爭很大程度上歸結(jié)為DRAM-GDDR和HBM。

“從工程和生產(chǎn)的角度來看，GDDR看起來很像其他類型的DRAMs，如DDR和LPDDR，”Woo說?！澳憧梢詫⑺傻綐?biāo)準(zhǔn)PCB板上，還能用類似的制造工藝。HBM是新一些的技術(shù)，它涉及堆疊和內(nèi)插器（interposers），因?yàn)镠BM有許多連接速度較慢。每個(gè)HBM堆棧將具有一千個(gè)連接，因此需要高密度的互連，這遠(yuǎn)遠(yuǎn)超過PCB的處理能力。這就是為什么有些公司正在使用內(nèi)插器，因?yàn)榭梢詫⑦@些導(dǎo)線蝕刻得非常接近，很像片上連接，可以獲得更多的連接?！?/p>

HBM追求高性能和好功效，但成本更高，需要更多的工程時(shí)間和技術(shù)。使用GDDR，DRAM和處理器之間的互連就沒那么多，但它們的運(yùn)行速度要快得多，這會影響信號完整性。

圖1：各種類型DRAM的特點(diǎn)。圖片來源：Rambus

PPA

功率，性能和面積（Power、Performance、Area）仍然是關(guān)鍵驅(qū)動因素，盡管有架構(gòu)和變革和新技術(shù)。

“這三個(gè)都非常重要，但很大程度上取決于應(yīng)用?！?a href="http://www.ttokpm.com/tags/西門子/" target="_blank">西門子Mentor知識產(chǎn)權(quán)部門總經(jīng)理Farzad Zarrinfar表示。“例如，如果是一個(gè)便攜應(yīng)用，功耗非常重要。電源本身也分動態(tài)和靜態(tài)。一部分是動態(tài)功率，一部是靜態(tài)功率。如果應(yīng)用于無線通信，如果有大量計(jì)算，動態(tài)功率非常重要。但是，如果是可穿戴式應(yīng)用，使用者會處于睡覺、醒來運(yùn)動，然后又回到睡眠的不同狀態(tài)，靜態(tài)/泄漏功率非常重要?！?/p>

淺睡眠等功能使設(shè)計(jì)人員能夠大幅減少泄漏，這時(shí)，不工作的存儲器進(jìn)入源偏置模式以減少泄漏，而其他被直接訪問的存儲組是工作的。在設(shè)計(jì)的深度睡眠時(shí)，可以通過電源管理，管理Vdd和最小化泄漏的技術(shù)來保留數(shù)據(jù)。如果不需要保留數(shù)據(jù)，則用關(guān)閉模式能進(jìn)一步減少泄漏。

與電源效率相關(guān)的一切在汽車中也是至關(guān)重要的?！霸陔妱悠囍?，電池的壽命非常重要，因此耗電量至關(guān)重要，”Zarrinfar說?！叭藗兿Ｍ麖?40°C一直到125°C都具有線性的特性，甚至在更高的150°C情況下。他們不希望在高溫下泄漏陡然增長，并且他們希望盡可能地將其保持在線性范圍內(nèi)。同樣，我們必須在整個(gè)溫度范圍內(nèi)注意功耗和泄漏，這非常重要?！?/p>

無論應(yīng)用領(lǐng)域如何，功率仍然是首要考慮因素?！拔覀兛吹诫S著SoC設(shè)計(jì)向更小化發(fā)展?！彼f?！按鎯ζ鞯南恼谠黾樱?a target="_blank">嵌入式存儲器的容量也在增加?，F(xiàn)在，我們看到超過50％的裸片是存儲器。所以人們必須注意存儲器的耗電量。“

圖2：1999到2023年平均晶圓面積 來源：Semico Research

結(jié)論

盡管有大量革命性技術(shù)和創(chuàng)新架構(gòu)，但內(nèi)存仍然是設(shè)計(jì)的核心。雖然即將出現(xiàn)新的存儲器類型，例如相變和自旋扭矩，但大部分仍然應(yīng)用于各種條件的市場。很大的變化在于如何對現(xiàn)有存儲器進(jìn)行優(yōu)先級劃分、共用、在設(shè)計(jì)中選擇，以及最終如何使用它們。雖然這聽起來像是一個(gè)簡單的問題，但事實(shí)并非如此。

“選擇正確的內(nèi)存解決方案通常是獲得最佳系統(tǒng)性能的最關(guān)鍵。” Synopsys高級技術(shù)營銷經(jīng)理Vadhiraj Sankaranarayanan 在最近發(fā)表的一份白皮書中指出，這說起來容易做起來難。

責(zé)任編輯：ct