實現(xiàn)多模態(tài)的神經(jīng)形態(tài)感知提供了一種新型硬件方案

AlphaGo與人類圍棋專家的經(jīng)典對決早已成為往事，但每每提及人工智能發(fā)展史，又很難略過此事。

事實上，AlphaGo所依賴的硬件平臺功耗達2.3MW之多，而人腦卻只有20W的功耗。而且，20W功耗里面的大部分是用于維持神經(jīng)細胞的生命活動，真正用來支持圍棋活動的只是其中一小部分。

研究表明，人腦維持這種低功耗計算的重要原因之一，在于其事件驅動的脈沖信息處理模式，支持該計算模式的重要單元便是脈沖神經(jīng)元。

而憶阻器作為一種新原理器件，為構建緊湊高效的脈沖神經(jīng)元提供了新的物理基礎，被認為是后摩爾時代構建類腦計算硬件的理想元器件之一。最近幾年，類腦感知計算更是發(fā)展成一個具有蓬勃潛力的前沿型技術。

近日，復旦大學芯片與系統(tǒng)前沿技術研究院劉明院士團隊，為實現(xiàn)多模態(tài)的神經(jīng)形態(tài)感知提供了一種新型硬件方案。該方案除能用于壓力-溫度感知以外，還可擴展應用于濕度-溫度、視覺-觸覺、以及視覺-溫度等多模態(tài)信息的融合感知。

張續(xù)猛是劉明團隊的博士后，也是此次論文的共同通訊作者。他表示，該技術正是當前智能機器人以及人機交互等領域所亟需的。

概括來說，此次工作為類腦感知計算前沿領域，提供了一種硬件實現(xiàn)的新方法，并利用新原理器件解決了如下問題：基于傳統(tǒng)CMOS（互補金屬氧化物半導體，Complementary Metal Oxide Semiconductor）技術的感知端電路的結構復雜難題，以及所產(chǎn)生的模擬感知信號與神經(jīng)形態(tài)處理器所處理的脈沖信號的不兼容難題。

為類腦感知計算提供硬件實現(xiàn)新方法

課題組表示：“對于此次工作的意義，可以較為直接地從論文題目中得到：異質集成多模態(tài)感知脈沖神經(jīng)元陣列。這里有三個關鍵詞：脈沖神經(jīng)元、多模態(tài)感知和異質集成?！?/p>

首先是脈沖神經(jīng)元，為什么要強調(diào)脈沖？隨著大數(shù)據(jù)和人工智能時代的到來，數(shù)據(jù)量的爆炸式增長，對現(xiàn)有計算系統(tǒng)的算力提出了更高要求。為了延續(xù)算力的提升，近存計算、存算一體等新型架構在被提出之后，也展現(xiàn)出了一定效果。

然而，這種數(shù)據(jù)驅動的人工智能能耗巨大，不具備可持續(xù)的發(fā)展性。而NbOx基閾值轉變憶阻器，又是構建脈沖神經(jīng)元電路的典型神經(jīng)元器件。

因此，該團隊利用憶阻器構建的脈沖感知神經(jīng)元電路，旨在為實現(xiàn)高效的脈沖計算模式，提供更緊湊的硬件方案，從而突破傳統(tǒng)CMOS神經(jīng)元電路的集成墻瓶頸問題。

接下來，再看多模態(tài)感知這一特點。眾所周知，人體在感知和識別物體的時候，通常涉及多種感知信號的協(xié)同作用即多模態(tài)感知。例如，當人們相互交流時，嘴型、體態(tài)、微表情、以及聲音等多種信息，能讓人們能更清楚地理解彼此的表達以及潛在的意義。 論文中，課題組以裝有水的杯子為例對多模態(tài)感知進行了說明：通常對于只有壓力信息的單模態(tài)感知來講，我們只能知道杯子的形狀、以及杯中的水量，并不能獲悉杯中的水溫。如果想同時得知杯子形狀、水量以及水溫，那么就得引入另一個溫度模態(tài)的信息。 在該研究工作中，利用神經(jīng)元電路中憶阻器的本征溫度響應感知溫度信息，從而無需引入額外的溫度傳感器。同時，把壓力傳感器的電阻作為神經(jīng)元電路的突觸電阻，使得該神經(jīng)元單元更加緊湊，從而促進集成度的提高。

（來源：Advanced Materials）

此外，該神經(jīng)元電路能直接將模擬的多模態(tài)信息輸出為脈沖序列，避免了額外的脈沖轉換電路的引入，可適用于緣端低功耗的智能感知應用，例如智能機器人等。

最后，再來看一下異質集成。異質集成是一種集成技術，廣義上指將多種基于不同材料體系的功能器件集成在一起，以實現(xiàn)更高效、更強大的應用，這在集成芯片領域是一個熱門方向。

常見手段主要有硅基光電異質集成，依托硅材料與不同種類光電材料的異質集成，以充分發(fā)揮各種材料的優(yōu)異特性。

得益于室溫制備工藝，課題組將依托不同材料體系的傳感器和憶阻器集成到一起，并初步驗證了兩者集成在一起的可行性，這為實現(xiàn)憶阻器和傳感器的結合、進而為未來智能機器人與環(huán)境的高效交互提供了技術支撐。

近日，相關論文以“A Heterogeneously Integrated Spiking Neuron Array for Multimode-Fused Perception and Object Classification”為題，發(fā)表在 Advanced Materials 上。

▲圖 | 相關論文（來源：Advanced Materials）

中科院微電子所博士生朱佳雪為第一作者，復旦大學芯片院劉琦教授和張續(xù)猛博士擔任共同通訊作者。

關于該論文，期刊方面一共分配了4位審稿人，有3位審稿人直接給出正面評價。其中一位評價稱：“這樣的多功能設備當然很有趣，并且作者還說明了該設備可能啟發(fā)的新型應用程序?！?/p>

（來源：Advanced Materials）

“不再是冷冰冰的機器”

據(jù)悉，該研究是課題組在傳入神經(jīng)方面的延續(xù)性成果，傳入神經(jīng)處理的感知信號大多來自其它傳感器，其工作重點在于實現(xiàn)傳感器產(chǎn)生的模擬信號到脈沖信號的轉換。

根據(jù)已有報道以及該團隊的探索發(fā)現(xiàn)，此次使用的NbOx 基神經(jīng)元器件還具有溫度響應特性。從另一方面來講，它本身也可作為溫度傳感器，從而在構建溫度感知神經(jīng)元單元時，無需引入額外的溫度感知模塊。

基于該發(fā)現(xiàn)和想法，張續(xù)猛與劉琦老師以及朱佳雪博士進行反復討論，最終確定利用上述溫度響應的同時，再引入另一傳感參數(shù)，以實現(xiàn)多模態(tài)感知系統(tǒng)，以便緩解當前單一模態(tài)信息感知方法信息魯棒性差、無法識別多模態(tài)物體的問題。

（來源：Advanced Materials）

確立目標以后，課題組經(jīng)歷了應用案例探討、實施方案確定、陣列的集成優(yōu)化、案例驗證四個主要階段。在具體應用案例上，他們從實際應用需求出發(fā)，旨在讓這種多模態(tài)硬件和信息處理方案，更適用于日常場景。

最終，受生物軀體感知系統(tǒng)的啟發(fā)，該團隊將應用場景定位于：壓力和溫度這兩種模態(tài)信息的感知。然后，以該應用為目標，不斷優(yōu)化實驗方案，逐步解決了從單路輸出脈沖信號中解耦多模態(tài)信息的關鍵問題。

在具體方案確定后，便是神經(jīng)元陣列的異質集成。張續(xù)猛說：“這里還要感謝復旦大學王明老師在傳感器制備、以及陣列集成方案方面，所給予的技術支持和寶貴意見?！?/p>

最后一步，便是利用制備的神經(jīng)元陣列進行應用案例的驗證，這一階段涉及到陣列中多模態(tài)信號的獲取以及數(shù)據(jù)集的采集。期間，他們利用采集的數(shù)據(jù)集，結合脈沖神經(jīng)網(wǎng)絡進行訓練和識別，最終在多模態(tài)信息感知上，驗證了神經(jīng)元陣列的合理性和有效性。

（來源：Advanced Materials）

談及應用前景，該小組舉例稱通過將該技術引入到機器人的手臂上，可以使得服務類機器人對于手中的飲品物態(tài)（重量、溫度）進行多維度的信息獲取，從而判斷手中的飲品是否可以移交以及當前的物態(tài)是否會對人體造成傷害。

另外，該技術也能豐富機器人的交互能力，通過控制手的力道和溫度，來讓人機交互更人性化，而不再是冷冰冰的機器。

（來源：Advanced Materials）

將研發(fā)一體化的異質集成芯片

張續(xù)猛表示，論文在返修期間剛好遇上2022年上半年的上海疫情，為了補充實驗數(shù)據(jù)，朱佳雪博士被封閉在校內(nèi)，工作在實驗室、睡在實驗室，也算是一段特殊的人生經(jīng)歷。

再就是本工作的順利完成，也得益于王睿博士的加入，王睿和朱佳雪的相互扶持和鼓勵，也促成了研究的順利完成。同時，王睿的研究課題也在臨近時間完結發(fā)表，造就了一段學術伉儷的“人間佳話”。

盡管如此，張續(xù)猛坦言此次工作只是類腦感知技術向應用推進的浩瀚歷史海洋中的一葉扁舟。由于這篇論文只是概念性的驗證，距離實際應用還有較大差距，同時也涉及到器件、電路以及系統(tǒng)集成等多方面的挑戰(zhàn)。

后面，他們會繼續(xù)在上述三方面開展研究，旨在實現(xiàn)集傳感、信息處理、任務決策、以及行為控制于一體的異質集成芯片，并將在機器人上實現(xiàn)功能演示。

同時，他們將繼續(xù)以產(chǎn)業(yè)應用需求為目標，不斷優(yōu)化和推進實現(xiàn)方案，以求實現(xiàn)成果轉化?！跋Ｍ擃I域衍生的技術可以在不久的將來回饋社會，提升人們的生活品質?！睆埨m(xù)猛最后表示。

論文鏈接： https://doi.org/10.1002/adma.202200481

審核編輯 ：李倩