神經(jīng)形態(tài)架構(gòu)在計(jì)算基礎(chǔ)架構(gòu)中的重要性分析

根據(jù)技術(shù)專家的說法，是Carver Mead在Gordon Moore于1965年在Electronics Magazine發(fā)表了具有里程碑意義的文章“將更多的元件塞入集成電路”十年后，創(chuàng)造了“摩爾定律”一詞。在接下來的數(shù)十年里，該文章概述的規(guī)律改變了世界——即每兩年左右，半導(dǎo)體公司將能夠在單個(gè)半導(dǎo)體芯片上制造的晶體管數(shù)量翻一番。

晶體管的每兩年翻倍最顯著地帶來了計(jì)算能力的更快指數(shù)增長。除了從摩爾定律中獲得更多的晶體管之外，我們還獲得了更快，更便宜，更節(jié)能的晶體管。所有這些因素共同使我們能夠構(gòu)建更快，更復(fù)雜，性能更高的計(jì)算設(shè)備。

到1974年，Robert Dennard觀察到，由于隨著工藝幾何尺寸的減小，密度，速度和能量效率的三倍提高，計(jì)算的功率效率將甚至快于晶體管數(shù)量。這種被稱為“ Dennard Scaling”的趨勢(shì)在我們身邊已經(jīng)存在了大約三十年，而計(jì)算性能（更重要的是，功率，事實(shí)證明）推動(dòng)了前所未有的指數(shù)級(jí)改進(jìn)。

所有這些計(jì)算能力的改進(jìn)都建立在John Von Neumann等人于1945年開發(fā)的馮·諾伊曼處理器體系結(jié)構(gòu)的基礎(chǔ)上，在未完成的報(bào)告“ EDIMAC報(bào)告的初稿”中有記錄。具有諷刺意味的是，歷史上最令人印象深刻的技術(shù)革命是建立在一個(gè)半世紀(jì)前未完成的設(shè)計(jì)之上的。隨著摩爾定律時(shí)代數(shù)字計(jì)算領(lǐng)域的所有顯著進(jìn)步，如今已有75年歷史的基本計(jì)算體系結(jié)構(gòu)基本上保持不變。

馮·諾依曼架構(gòu)僅僅是進(jìn)行計(jì)算的最佳方法嗎？當(dāng)然不是。用Winston Churchill的話來說，Von Neumann是除了其他所有架構(gòu)之外，最糟糕的計(jì)算架構(gòu)。VonNeumann的優(yōu)點(diǎn)在于它的靈活性和面積效率。它可以處理幾乎任何任意復(fù)雜的應(yīng)用，而無需處理器根據(jù)問題的大小來擴(kuò)展晶體管的數(shù)量。

在過去，在將如此多的元件塞入集成電路之前，馮·諾依曼的架構(gòu)效率非常重要。我們可以用很少的晶體管構(gòu)建4位，8位或16位的馮·諾依曼處理器，并以可接受的速度運(yùn)行大型應(yīng)用。但是隨著摩爾定律的出現(xiàn)，晶體管正逐漸接近零成本。因此，由于可用晶體管的數(shù)量幾乎是無限的，因此用較少數(shù)量的晶體管構(gòu)建處理器的價(jià)值就大大下降了。

同時(shí)，即使摩爾定律全力以赴，從每個(gè)先進(jìn)節(jié)點(diǎn)提取的值也有所減少。Dennard Scaling在2005年左右結(jié)束，這迫使我們從建造更大/更快的馮·諾依曼處理器轉(zhuǎn)向制造“更多的”馮·諾依曼處理器。這場(chǎng)比賽使更多的內(nèi)核擠滿了集成電路，Von Neumann到多核的可擴(kuò)展性帶來了自己的局限性。

更讓人難過的是，摩爾定律并沒有繼續(xù)蒸蒸日上。最近幾個(gè)制程節(jié)點(diǎn)中的每一個(gè)節(jié)點(diǎn)實(shí)現(xiàn)的成本成倍增加，并且實(shí)際收益卻成比例地減少。這導(dǎo)致的結(jié)果是，即使從技術(shù)上講，我們應(yīng)該能夠制造更多代的更密集的芯片，但是這樣做的成本/收益比卻使其吸引力越來越小。

現(xiàn)在，我們需要摩爾定律以外的其他驅(qū)動(dòng)因素來保持技術(shù)進(jìn)步的步伐。

顯然，作為單一的全部計(jì)算架構(gòu)，馮·諾依曼也到了將要壽終正寢的時(shí)候。最近的AI革命加速了Von Neumann替代產(chǎn)品的開發(fā)。AI，特別是用卷積神經(jīng)網(wǎng)絡(luò)完成的AI，是一個(gè)難以置信的計(jì)算密集型計(jì)算，這是個(gè)特別不適用于Von Neumann的應(yīng)用。這就使我們開始從大型的同類計(jì)算元素陣列轉(zhuǎn)移到了包括馮·諾依曼方法和非馮·諾依曼方法在內(nèi)的異構(gòu)元素的復(fù)雜配置。

神經(jīng)形態(tài)架構(gòu)是最有前途的非馮·諾依曼人工智能方法之一。 在1980年代后期，Carver Mead（是的，據(jù)說是“摩爾定律”的創(chuàng)造者是同一個(gè)人）觀察到，在當(dāng)時(shí)的發(fā)展路線上，馮·諾依曼處理器所消耗的能量比人腦進(jìn)行相同計(jì)算所用的能量高出數(shù)百萬倍。他的理論是，可以通過模擬人腦的神經(jīng)元結(jié)構(gòu)來構(gòu)建更有效的計(jì)算電路。Mead用晶體管電流模擬了神經(jīng)元離子流，并基于該思想提出了后來被稱為神經(jīng)形態(tài)計(jì)算的方法。

當(dāng)時(shí)，神經(jīng)形態(tài)計(jì)算可視為一種模擬事件，神經(jīng)元以不斷變化的電壓或電流相互觸發(fā)。但是，世界在優(yōu)化數(shù)字設(shè)計(jì)的二進(jìn)制世界的道路上堅(jiān)定不移。模擬電路無法像數(shù)字指數(shù)那樣進(jìn)行縮放，因此神經(jīng)形態(tài)計(jì)算的發(fā)展超出了摩爾定律的主流軌道。

但是，現(xiàn)在情況發(fā)生了變化。

從長遠(yuǎn)來看，我們看到大多數(shù)模擬功能都包含在數(shù)字逼近中，神經(jīng)形態(tài)處理器已通過所謂的“尖峰神經(jīng)網(wǎng)絡(luò)”（SNN）實(shí)現(xiàn)，該神經(jīng)網(wǎng)絡(luò)依賴于每個(gè)神經(jīng)元的單個(gè)峰值來激活神經(jīng)元下方的神經(jīng)元鏈。這些網(wǎng)絡(luò)是完全異步的，激活而不是發(fā)送值取決于尖峰的時(shí)間。使用這種技術(shù)，利用了當(dāng)前最先進(jìn)的批量CMOS數(shù)字技術(shù)，實(shí)現(xiàn)了神經(jīng)形態(tài)處理器。這意味著神經(jīng)形態(tài)結(jié)構(gòu)最終可以從摩爾定律中獲得收益。結(jié)果，已經(jīng)構(gòu)建并測(cè)試了幾種實(shí)用的神經(jīng)形態(tài)處理器，其結(jié)果令人印象深刻且令人鼓舞。

我們大約在兩年前報(bào)道的一個(gè)示例是Brainchip的Akida神經(jīng)形態(tài)處理器，該開發(fā)板已于2020年12月上市。Brainchip聲稱其設(shè)備的功耗比傳統(tǒng)的基于CNN的解決方案低90％至99％。據(jù)我們所知，這是進(jìn)入廣泛的商業(yè)市場(chǎng)的首批神經(jīng)形態(tài)技術(shù)之一，潛在的應(yīng)用前景是巨大的。

Brainchip提供了其技術(shù)的IP版本和SoC以及在硅片中的完整實(shí)現(xiàn)。幾乎所有可以利用“邊緣”人工智能的系統(tǒng)都可以從此類節(jié)能中受益，并且通常可以在做與不做邊緣人工智能之間做出區(qū)別。

同樣在2020年12月，英特爾提供了其名為Loihi的神經(jīng)形態(tài)研究測(cè)試芯片以及它們的“英特爾神經(jīng)形態(tài)研究社區(qū)（INRC）”的最新信息，這兩者也在兩年前宣布。Loihi在包括語音命令識(shí)別，手勢(shì)識(shí)別，圖像檢索，優(yōu)化和搜索以及機(jī)器人技術(shù)在內(nèi)的廣泛應(yīng)用中，已將能源效率進(jìn)行了基準(zhǔn)測(cè)試，其能耗比CPU和GPU高30-1，000倍，并且快100倍。同樣重要的是，與基于CNN的系統(tǒng)形成鮮明對(duì)比的是，該體系結(jié)構(gòu)使自己能夠進(jìn)行快速且持續(xù)的學(xué)習(xí)，而基于CNN的系統(tǒng)往往會(huì)經(jīng)歷緊張的訓(xùn)練階段，該階段會(huì)創(chuàng)建靜態(tài)的推理模型。英特爾表示，他們正在尋求將能效提高1000倍，將性能提高100倍，

并非所有問題都會(huì)轉(zhuǎn)向神經(jīng)形態(tài)，很適合今天的深度學(xué)習(xí)技術(shù)的算法是顯而易見的贏家。英特爾還在評(píng)估“受神經(jīng)科學(xué)啟發(fā)”的算法，該算法可模擬大腦中發(fā)現(xiàn)的過程。最后，他們正在研究“數(shù)學(xué)公式化”的問題。

在第一類中，從當(dāng)今的深度神經(jīng)網(wǎng)絡(luò)（DNN）轉(zhuǎn)換而來的網(wǎng)絡(luò)可以轉(zhuǎn)換為神經(jīng)形態(tài)芯片可用的格式。另外，可以使用神經(jīng)形態(tài)處理器本身創(chuàng)建“直接訓(xùn)練”的網(wǎng)絡(luò)。最后，盡管在神經(jīng)形態(tài)處理器中需要進(jìn)行全局通信，但在神經(jīng)形態(tài)處理器中可以模擬CNN中常見的“反向傳播”。

Loihi是研究芯片，并非為生產(chǎn)而設(shè)計(jì)。它是一款采用英特爾14納米CMOS工藝制造的20億晶體管晶體管芯片。Loihi包含一個(gè)完全異步的“神經(jīng)形態(tài)多核網(wǎng)格，它支持廣泛的稀疏，分層和遞歸神經(jīng)網(wǎng)絡(luò)拓?fù)?，每個(gè)神經(jīng)元都能夠與數(shù)千個(gè)其他神經(jīng)元進(jìn)行通信?！?/p>

這些核心中的每一個(gè)都包括一個(gè)學(xué)習(xí)引擎，該引擎在操作期間會(huì)調(diào)整參數(shù)。該芯片包含130，000個(gè)神經(jīng)元和1.3億個(gè)突觸，分為128個(gè)神經(jīng)形態(tài)核心。該芯片包括用于SNN芯片培訓(xùn)的微碼學(xué)習(xí)引擎。Loihi芯片已經(jīng)集成到板和盒中，在768個(gè)芯片中包含多達(dá)1億個(gè)神經(jīng)元。

現(xiàn)在，我們處于許多趨勢(shì)的交匯處，這些趨勢(shì)可能會(huì)形成處理器架構(gòu)革命的完美風(fēng)暴。首先，神經(jīng)形態(tài)處理器處于商業(yè)可行性的拐點(diǎn)處，它們?yōu)槟承﹩栴}帶來了相當(dāng)于10個(gè)摩爾定律節(jié)點(diǎn)（20年）的進(jìn)步。

其次，傳統(tǒng)的DNN正在迅速發(fā)展，并且產(chǎn)生了與神經(jīng)形態(tài)處理器中發(fā)現(xiàn)的相關(guān)的和相似的架構(gòu)創(chuàng)新，這表明可能在未來的“兩全其美”的架構(gòu)中融合兩種架構(gòu)領(lǐng)域的特征。

第三，摩爾定律即將結(jié)束，這將更多的重點(diǎn)，才能和金錢投入到建筑方法的發(fā)展中，以推動(dòng)未來的技術(shù)進(jìn)步。

第四，隨著這些神經(jīng)形態(tài)處理器中的第一個(gè)獲得商業(yè)關(guān)注并創(chuàng)造出投資，開發(fā)，完善和部署的良性循環(huán)，這將是有趣的。可能在幾年內(nèi)，神經(jīng)形態(tài)架構(gòu)（或類似的衍生技術(shù)）將在我們的計(jì)算基礎(chǔ)架構(gòu)中扮演重要角色，并迅速發(fā)展到今天只能想象的最前沿的新應(yīng)用程序。
編輯：hfy