討論AI與存儲(chǔ)器互連的挑戰(zhàn)和解決方案

位置、位置、位置，這并不只是房地產(chǎn)界的核心詞。為了滿足人工智能（AI）和機(jī)器學(xué)習(xí)應(yīng)用的需求，這個(gè)詞被越來越多地應(yīng)用于數(shù)據(jù)存儲(chǔ)，如數(shù)據(jù)存儲(chǔ)的位置以及存放數(shù)據(jù)的存儲(chǔ)器。

但解決這種位置的挑戰(zhàn)不只是存儲(chǔ)器供應(yīng)商應(yīng)做的工作，與AI相關(guān)的供應(yīng)商也扮演著重要角色。盡管存儲(chǔ)距離計(jì)算越來越近，但解決方案的很大一部分在于存儲(chǔ)互連。Rambus研究員Steve Woo最近在AI硬件峰會(huì)上主持了一次在線圓桌論壇，討論了存儲(chǔ)器互連的挑戰(zhàn)和解決方案，他說：“我們都在為AI的不同方面而工作?！?/p>

Marvell的ASIC事業(yè)部CTO Igor Arsovski在17年前曾經(jīng)做過SRAM設(shè)計(jì)工程師。他說，慕尼黑啤酒節(jié)（Oktoberfest）因?yàn)樾鹿诜窝滓咔槿∠耍汛鎯?chǔ)互連比做啤酒很合適。參加啤酒節(jié)，可以很容易喝到啤酒?！岸鳶RAM就好像近在身邊的啤酒一樣。它隨手可得，不需要耗費(fèi)多少能量，而且只要您需要，它就在那兒，就像擁有一個(gè)不錯(cuò)的高性能加速器?！钡牵绻麤]有足夠的存儲(chǔ)空間，就需要走遠(yuǎn)一點(diǎn)，同時(shí)也需要花費(fèi)更多能量來獲取它，就好像必須走更遠(yuǎn)才能買到大桶啤酒一樣。

Arsovski 說，對(duì)存儲(chǔ)器而言，大桶啤酒就好像高帶寬存儲(chǔ)器（HBM），它正越來越多地被AI所采用?！霸L問這種存儲(chǔ)器需要花費(fèi)約60倍的能量。那里容量雖然大得多，但訪問它的帶寬卻很少。”將啤酒類比擴(kuò)展到LPDDR之類的技術(shù)，這種技術(shù)比SRAM更先進(jìn)。他說：“LPDDR功耗明顯更高，但容量更大。這就像沿著那條路走到您最喜愛的酒吧，在那里有幾桶啤酒等著您?！?/p>

Arsovski表示，下一代加速器的發(fā)展方向是將那些存儲(chǔ)器放在加速器正上方，讓存儲(chǔ)離計(jì)算更近。MLCommons執(zhí)行董事David Kanter補(bǔ)充說，這個(gè)啤酒類比概述了不同的封裝途徑以及在何處安放不同的硅片。MLCommons是一個(gè)提供機(jī)器學(xué)習(xí)標(biāo)準(zhǔn)和AI推理基準(zhǔn)的組織，其成員涵蓋學(xué)術(shù)界和工業(yè)界。他說道：“這使我們對(duì)不同的工作負(fù)載有非常全面的了解。MLCommons正在開始采取一些措施，其中重點(diǎn)之一就是建立咨詢委員會(huì)，以吸收特定應(yīng)用領(lǐng)域的一些資深專家?！?/p>

Kanter說，對(duì)存儲(chǔ)器而言，整個(gè)系統(tǒng)環(huán)境至關(guān)重要?！澳仨毧紤]系統(tǒng)要實(shí)現(xiàn)什么，這將決定要考慮的問題?！彼f，當(dāng)涉及到存儲(chǔ)器的位置和連接時(shí)，芯片、封裝和電路板都是必須考慮的要素?！霸陉嚵薪Y(jié)構(gòu)、單元類型以及距離方面，有很多地方可以優(yōu)化。”

Kanter說，明白哪里需要帶寬以及非易失性也是關(guān)鍵的考量因素?！跋Ｍ@將引導(dǎo)做出正確的選擇?！?/p>

對(duì)于那些傳統(tǒng)上并不屬于存儲(chǔ)系統(tǒng)構(gòu)建流程的公司而言，這些考量因素至關(guān)重要。Google軟件工程師Sameer Kumar花費(fèi)大量時(shí)間在編譯器和可擴(kuò)展系統(tǒng)上，這些系統(tǒng)的網(wǎng)絡(luò)和存儲(chǔ)帶寬對(duì)不同的機(jī)器學(xué)習(xí)模型非常重要，包括其大規(guī)模批量操作的能力。他說：“人工智能訓(xùn)練涉及許多存儲(chǔ)方面的優(yōu)化，”這是在編譯器中獲得極高效率的最關(guān)鍵步驟，它意味著存儲(chǔ)也需要更加智能。

Woo認(rèn)為，數(shù)據(jù)移動(dòng)實(shí)際上已經(jīng)開始主宰AI應(yīng)用的某些階段，所以存儲(chǔ)互連變得越來越重要?！靶阅芎湍苄С蔀槿找嬷匾膯栴}”，提高數(shù)據(jù)速率極具挑戰(zhàn)性，因?yàn)樗腥硕枷Ｍ麑?shù)據(jù)移動(dòng)速度加倍，能效也加倍?！拔覀円郧八蕾嚨脑S多技巧和技術(shù)都已不再適用，或者正在被慢慢淘汰。我們有極好的機(jī)會(huì)來思考新的體系架構(gòu)，并在移動(dòng)數(shù)據(jù)的方式上進(jìn)行創(chuàng)新?！?/p>

Woo表示，創(chuàng)新不僅在存儲(chǔ)器件本身上，而且還包括封裝，以及堆疊等新技術(shù)。在創(chuàng)新的同時(shí)，還要確保數(shù)據(jù)的安全性，這是Rambus目前越來越關(guān)注的。

Rambus感受到業(yè)界對(duì)3D堆棧的極大興趣，但如果帶寬不隨堆棧容量增加而相應(yīng)增加的話，其可用性會(huì)受到限制。（圖片來源：Rambus）

Arsovski表示，Marvell花費(fèi)了大量時(shí)間為客戶建立AI系統(tǒng)，為客戶提供帶寬相關(guān)信息，如每個(gè)芯片邊緣有多少帶寬可以用于數(shù)據(jù)移動(dòng)，以及有多少帶寬可以用于訪問存儲(chǔ)器。他說：“到目前為止，我們已經(jīng)可以看到，客戶需要更多的存儲(chǔ)帶寬和更多的I / O帶寬。如果看看封裝級(jí)別的互連，可以看到存在很大的不匹配。我們現(xiàn)在已經(jīng)到達(dá)瓶頸，高端芯片-芯片連接的需求壓力持續(xù)增大?！?/p>

Arsovski表示，從存儲(chǔ)器的角度來看，對(duì)于那些無法在裸片上直接構(gòu)建AI模型的設(shè)計(jì)師來說，其下一步考慮應(yīng)該是HBM或GDDR。但是也有很多轉(zhuǎn)而采用3D堆疊，以嘗試獲得更大的帶寬，因?yàn)樵谛酒吘壱苿?dòng)數(shù)據(jù)的容量有限?！翱蛻粝Ｍ玫皆絹碓蕉嗟腎/O帶寬，而我們?cè)谶吘墧?shù)據(jù)移動(dòng)上遇到了瓶頸。”

Kanter說，即使在機(jī)器學(xué)習(xí)的世界中，也存在著“很大的多樣性”，這對(duì)生態(tài)系統(tǒng)既有制約，也有促進(jìn)，記住這一點(diǎn)很重要。對(duì)于常規(guī)DRAM來說，隨機(jī)查找龐大的數(shù)據(jù)結(jié)構(gòu)不適合單個(gè)節(jié)點(diǎn)，這意味著如果您想將數(shù)據(jù)真正保存在存儲(chǔ)器中，則需要構(gòu)建一個(gè)非常大的系統(tǒng)集群。他說：“與傳統(tǒng)的面向視覺的模型相比，其特征和屬性完全不同。在存儲(chǔ)方面要牢記這一多樣性，這一點(diǎn)非常重要。”

Kanter說，當(dāng)需要將大量存儲(chǔ)和計(jì)算整合在一起時(shí)，就需要互連了。“要進(jìn)行大規(guī)模訓(xùn)練，迫切需要既適合客戶又適合要解決問題的互連方案?！彼f，對(duì)于前沿應(yīng)用來說，互連將特別重要。“如果您只想為一個(gè)小型網(wǎng)絡(luò)訓(xùn)練一個(gè)GPU，那么關(guān)鍵因素可能就是存儲(chǔ)帶寬?！?/p>

Kumar說，更多的存儲(chǔ)帶寬可以實(shí)現(xiàn)不同種類的優(yōu)化，但是如果模型特別受存儲(chǔ)限制，就有必要引入更多的計(jì)算?！叭绻懈嗟拇鎯?chǔ)吞吐量可用，甚至有更多的互連吞吐量可用，將可能會(huì)使模型設(shè)計(jì)更加靈活，而且可以啟用新功能，并一起構(gòu)建各種類型的模型?！?/p>

Woo表示，Rambus感受到大家對(duì)3D堆棧興趣濃厚，但隨著堆棧越來越高，增加進(jìn)出堆棧的帶寬也變得越來越困難?！叭绻皇窃黾佣褩Ｈ萘?，但沒有增加相應(yīng)的帶寬，那方案的實(shí)用性就成問題了。”

他說，關(guān)鍵點(diǎn)在于尋找合適的方案，既能保持填充頻率，又能利用堆疊能效方面的優(yōu)勢，從而使帶寬與容量和堆疊之間具有相對(duì)恒定的比率。

Kumar和Arsovski都認(rèn)為需要一個(gè)平衡、可擴(kuò)展的系統(tǒng)，這種系統(tǒng)具有精心設(shè)計(jì)的軟件堆棧。 Arsovski說，“我們所說的是一種可以良好擴(kuò)展的類腦結(jié)構(gòu)?！彼仨毜凸那揖哂写罅窟B接，而現(xiàn)在，3D堆疊是我們能做到最接近的結(jié)構(gòu)，但仍然存在功耗、封裝和機(jī)械結(jié)構(gòu)方面的挑戰(zhàn)。 “我們需要研究出一個(gè)高度并行的系統(tǒng)，其每個(gè)層級(jí)的功耗都極低，而不必?fù)?dān)心要為冷卻耗費(fèi)數(shù)千瓦的功率。”

他說，是時(shí)候開始尋找適合AI系統(tǒng)的下一個(gè)基本構(gòu)建模塊了。“一直以來，我們都采用晶體管作為基本單元，迄今為止，它們都發(fā)揮出色。我們通常會(huì)依賴我們所知道和喜愛的技術(shù)，并且希望它持續(xù)發(fā)展。但現(xiàn)在我們需要重頭開始設(shè)計(jì)了。”

(參考原文:AI Drives Memory Interconnect Evolution)
編輯：hfy