通過平衡傳播獲得更好的AI芯片

AI專業(yè)人員一直在追求一種AI，它肯定會降低做普通AI事情所需的能量，例如感知單詞和圖片。這種機器學(xué)習(xí)的模擬類型利用電路的物理原理而不是數(shù)字原理來完成神經(jīng)網(wǎng)絡(luò)的一項重要數(shù)學(xué)任務(wù)。但是，限制該方法的主要因素之一是深度學(xué)習(xí)的訓(xùn)練算法（反向傳播）必須由GPU或其他單獨的數(shù)字框架來完成。

神經(jīng)形態(tài)芯片初創(chuàng)公司Rain Neuromorphics與加拿大研究院Mila之間的研究合作表明，可以想象使用完全模擬的硬件來訓(xùn)練神經(jīng)網(wǎng)絡(luò)，這為端到端的模擬神經(jīng)網(wǎng)絡(luò)提供了機會。這對神經(jīng)形態(tài)處理和AI硬件整體具有重大影響-它保證了完全可用于訓(xùn)練和推理的模擬AI芯片，從而顯著節(jié)省了計算，功耗，等待時間和大小。這項進步將工程學(xué)和深度學(xué)習(xí)的紐帶聯(lián)系在一起，為AI動力機器人打開了入口之門，這種機器人可以在現(xiàn)場獨自學(xué)習(xí)，就像人類一樣。

在由“人工智能的教父”之一，獲獎?wù)遈oshua Bengio共同創(chuàng)建的題為“具有均衡傳播的端到端模擬神經(jīng)網(wǎng)絡(luò)訓(xùn)練”的論文中，分析家們表明，可以訓(xùn)練神經(jīng)網(wǎng)絡(luò)來利用交叉開關(guān)憶阻器的展示，就像在當(dāng)今使用內(nèi)存中處理器方法的商業(yè)AI加速器芯片中使用的安排一樣，卻沒有在網(wǎng)絡(luò)的每一層之間使用相關(guān)的ADC和DAC。結(jié)果為潛力更大的高能效AI硬件提供了潛力

Rain Neuromorphics首席執(zhí)行官戈登·威爾遜（Gordon Wilson）表示：“如今，能源利用和成本是最大的制約因素，使我們無法交付新型人工智能。我們確實需要找到一種無可否認(rèn)地更有效的計算基礎(chǔ)，一種本質(zhì)上可以提高能源效率的基礎(chǔ)，一種允許我們不將培訓(xùn)局限于大型數(shù)據(jù)中心的基礎(chǔ)，但除此之外，我們還可以進入一個可以設(shè)想免費，自主的世界，能源無限的設(shè)備，獨自學(xué)習(xí)。同樣，這是我們認(rèn)為這一新進展正在打開通向的大門?！?/p>

分析人員已經(jīng)對MNIST分類（改良的美國國家標(biāo)準(zhǔn)與技術(shù)研究院手寫數(shù)字?jǐn)?shù)據(jù)庫）的端到端模擬神經(jīng)網(wǎng)絡(luò)進行了模擬訓(xùn)練，其性能與相同大小的基于軟件的神經(jīng)網(wǎng)絡(luò)相似或更好。

模擬電路可以在某種程度上節(jié)省神經(jīng)網(wǎng)絡(luò)的功率，因為??它們可以熟練地進行稱為乘法和累加的關(guān)鍵計算。該估計值會根據(jù)不同的負(fù)載乘以貢獻值，然后匯總這些值中的每一個。電氣工程的兩個基本定律也可以從根本上做到這一點。歐姆定律將電壓和電導(dǎo)相乘以提供電流，基爾霍夫的“電流定律”將輸入點的電流相加。通過將神經(jīng)網(wǎng)絡(luò)的權(quán)重存儲在電阻式存儲小部件（例如憶阻器）中，乘法和累加可以完全以模擬方式發(fā)生，可以將功耗降低幾個數(shù)量級。

如今，模擬AI系統(tǒng)無法訓(xùn)練自己的原因與零件的可變性息息相關(guān)。與真實神經(jīng)元非常相似，模擬神經(jīng)網(wǎng)絡(luò)中的神經(jīng)元并非完全無法區(qū)分。要對模擬段進行反向傳播，您應(yīng)該制造兩條單獨的電路路徑。一個人繼續(xù)思考一個答案（稱為推理），另一個人反過來進行學(xué)習(xí)，因此適當(dāng)?shù)幕卮鹱兊酶訙?zhǔn)確。但是由于模擬成分的可變性，這些途徑無法協(xié)調(diào)。

平衡傳播（EqProp），由Bengio和Scellier在2017年設(shè)計的一種方法。這種訓(xùn)練算法只有一條數(shù)據(jù)路徑，因此可以避免模擬硬件中的反向傳播問題。但是有一個警告。EqProp僅適用于基于能源的網(wǎng)絡(luò)。

結(jié)果是，盡管EqProp自2017年以來就已經(jīng)存在，但這項新工作已將抽象思想轉(zhuǎn)變?yōu)榭梢酝ㄟ^電路物理識別的事物。這將使端到端的模擬計算成為可能，而無需在每個步驟都切換到數(shù)字域或從數(shù)字域切換。