如何在模擬大腦的硬件上訓練深度神經網絡

一項研究發(fā)現(xiàn)，人腦中新的人工神經元和突觸可能只有神經元大小的千分之一，速度至少是生物突觸的10000倍。

研究人員說，這些新設備可能有助于提高日益普遍和強大的人工智能系統(tǒng)（稱為深度神經網絡）的學習速度。

在人工神經網絡中，被稱為“神經元”的電子元件被輸入數(shù)據(jù)，并協(xié)作解決問題，例如識別圖像。神經網絡反復調整其仿神經元之間的聯(lián)系，并觀察由此產生的行為模式是否更善于找到解決方案。隨著時間的推移，網絡會發(fā)現(xiàn)哪些模式最適合計算結果。然后，它采用這些默認值，模仿人腦中的學習過程。

如果神經網絡擁有多層神經元，則稱之為“深度”。深度神經網絡越來越多地應用于分析醫(yī)學掃描、設計微芯片、預測蛋白質如何折疊，以及為自動駕駛汽車提供動力。

訓練深度神經網絡所需的時間、精力和資金投入正在飛速增長。研究人員正在尋求幫助克服這一挑戰(zhàn)的一種方法是在模擬大腦的硬件上而不是傳統(tǒng)的計算機上訓練模擬大腦的深度神經網絡，這種策略稱為模擬深度學習。

正如晶體管是數(shù)字計算機的核心元件一樣，神經元和突觸樣元件也是模擬深度學習的關鍵組成部分。在這項新的研究中，研究人員試驗了一種名為可編程電阻器的人工突觸。

新的可編程電阻器類似于憶阻器或記憶電阻器。這兩種設備本質上都是電子開關，可以記住斷電后切換到的狀態(tài)。因此，它們類似于突觸，其導電性根據(jù)過去通過它們的電荷數(shù)量而增強或減弱。該研究的主要作者、麻省理工學院電氣工程師Murat Onen說，憶阻器是雙端器件，而新的可編程電阻器是三端器件。

研究小組的可編程電阻器通過移動質子來增加或減少電導。為了增加電導，電場幫助將質子插入器件中。為了降低電導率，取出質子。

這些質子可編程電阻器使用與電池中發(fā)現(xiàn)的類似的電解質，讓質子通過，同時阻擋電子。他們的電解質是磷硅酸鹽玻璃，研究人員懷疑這種玻璃在室溫下具有高質子傳導性。這種玻璃容納了許多納米尺寸的孔用于質子傳輸，還可以承受非常強的脈沖電場以幫助質子快速移動。

與團隊設備早期版本中使用的有機Nafion電解質不同，磷硅酸鹽與硅制造技術兼容。這有助于將這些設備“一直擴展到10納米級”，Onen說。相比之下，生物神經元的長度大約是前者的1000倍。

生物神經元和突觸處理和傳輸數(shù)據(jù)的速度受到微弱電壓和水介質的限制，這些信號在水介質中混洗。任何超過1.23伏的電壓都會導致液態(tài)水分解成氫氣和氧氣。因此，動物的思維速度通常限制在毫秒的時間尺度內。相反，人工固態(tài)神經元和突觸并沒有受到這些限制。然而，目前還不清楚它們與生物學上的同類相比有多快。

在實驗中，科學家們發(fā)現(xiàn)他們的質子可編程電阻器在室溫下的運行速度至少是生物突觸的10000倍?！白盍钊梭@訝的是，我們能以多快的速度在固體介質中移動質子，” Onen說。“以前，操作時間尺度約為毫秒，而在這項工作中，我們實現(xiàn)了納秒?！?/p>

這些設備可以運行數(shù)百萬次而不會發(fā)生故障。此外，它們在計算過程中產生的熱量與人類突觸相比也很好。磷硅酸鹽玻璃的絕緣特性意味著當質子移動時，幾乎沒有電流通過材料，這使得這些小玩意兒非常節(jié)能。

主要的技術含義是，我們現(xiàn)在可以擁有用于模擬深度學習應用的質子可編程設備，”O(jiān)nen說，“與競爭技術相比，此類設備的前輩已經具備了許多有前途的品質，但速度非常慢，這意味著它們不適合用于處理器。”

“此外，”O(jiān)nen說，“固體中超快離子傳輸?shù)陌l(fā)現(xiàn)可能具有比模擬深度學習更廣泛的意義，無論何時需要快速離子運動，例如在微電池、燃料電池、人工光合作用和電致變色中?！薄　?/p>