類腦計算芯片與應用、趨勢與展望

類腦計算芯片結合微電子技術和新型神經(jīng)形態(tài)器件，模仿人腦神經(jīng)系統(tǒng)計算原理進行設計，旨在突破“馮·諾依曼瓶頸”，實現(xiàn)類似人腦的超低功耗和并行信息處理能力。

在今日舉辦的創(chuàng)新智能芯片，共筑未來航天學術會議當中，北京大學集成電路學院教授王源做了題為《類腦芯片與應用技術》的報告。王源教授主要介紹了類腦計算概述、類腦計算關鍵技術、類腦計算芯片與應用、趨勢與展望。

類腦計算概述

類腦計算（Brain-inspired Computing）又被稱為神經(jīng)形態(tài)計算（Neuromorphic Computing）。是借鑒生物神經(jīng)系統(tǒng)信息處理模式和結構的計算理論、體系結構、芯片設計以及應用模型與算法的總稱。王源教授表示人工神經(jīng)網(wǎng)絡（ANN）是對神經(jīng)網(wǎng)絡連接性的模擬而脈沖神經(jīng)網(wǎng)絡（SNN）是對生物神經(jīng)系統(tǒng)的仿生模擬，并展示了ANN與SNN的區(qū)別。

ANN的原理為計算機科學、數(shù)學；編碼方式為電平高低；神經(jīng)元是非線性激活函數(shù)；學習規(guī)劃通過BP等全局學習算法；應用場景主要是圖像分類、語音識別、自然語言處理等。

SNN的原理為神經(jīng)科學原理；編碼方式為脈沖時間或頻率；神經(jīng)元包含內在動力學；學習規(guī)則主要是生物啟發(fā)學習算法；應用場景主要是物體追蹤等低延時應用，超低功耗應用以及類腦智能。

類腦計算關鍵技術

神經(jīng)元：對從樹突接收到的時空信息進行整合，并在超過特定閾值時發(fā)放新的脈沖，通過軸突傳遞到其他神經(jīng)元。準確但復雜度高的神經(jīng)元模型：HH模型；較為簡化神經(jīng)元模型：累積釋放（I&F）模型。

突觸：突觸是不同神經(jīng)元之間的連接，支撐記憶、學習功能；記憶以突觸連接強度的形式存儲在神經(jīng)網(wǎng)絡中。突觸連接強度能夠變化，體現(xiàn)為不同類型的可塑性包括短時程、長時程可塑性等，從而實現(xiàn)神經(jīng)網(wǎng)絡的學習功能。

神經(jīng)網(wǎng)絡：由神經(jīng)元與突觸組成的高度互連網(wǎng)絡，包含約1011神經(jīng)元，1015突觸。信息以脈沖形式（二值型）在生物神經(jīng)網(wǎng)絡中傳遞，并以局域模擬的形式進行處理；支撐人腦復雜的感知、認知等功能。

發(fā)射率編碼：信息編碼在發(fā)射率r=N/T中，即在一定時間T內發(fā)放了N個脈沖。

時間編碼：信息編碼在發(fā)放脈沖的具體時間或時間間隔中。

群編碼：信息編碼在某一組神經(jīng)元的行為模式中。

關鍵技術：片上網(wǎng)絡、片上網(wǎng)絡拓撲、片上網(wǎng)絡路由

片上網(wǎng)絡的四個基本組成部分：

路由節(jié)點：執(zhí)行通訊任務的節(jié)點，其核心是交換開關，包括仲裁器、縱橫交換電路、輸入緩沖器等。

資源節(jié)點：執(zhí)行計算任務的 IP 核，可以是同質的處理核，也可以是異質的處理器核、存儲器核、數(shù)字信號處理核等。

網(wǎng)絡接口：指路由節(jié)點與資源節(jié)點之間的接口，配置了網(wǎng)絡接口才能通過NOC與其他資源節(jié)點通訊。

通道：指路由節(jié)點與資源節(jié)點之間、路由節(jié)點與路由節(jié)點之間的連線，通道具有一定的方向性。

按照路由節(jié)點的連接方式，NoC拓撲結構可分類如下：

一維結構：鏈式（Chain)、環(huán)形（Ring）等。

二維結構：網(wǎng)格 (Mesh)、環(huán)面 (Torus) 、多邊形、蜘蛛網(wǎng)形 (Spidergon) 、星形（Star）等。

高維及層次化結構：3D網(wǎng)格、3D環(huán)面、樹形 (Tree)、蝶形 (Butterfly) 等。

路由設計的功能考量多種不利現(xiàn)象：

死鎖：數(shù)據(jù)包等待前級清空，前級又在等待更前級，依賴關系形成閉環(huán)，數(shù)據(jù)包無法路由。

活鎖：數(shù)據(jù)包持續(xù)進行路由，但就是無法到達目標地址。只出現(xiàn)在自適應的非最短路徑中。

饑餓：多個方向的數(shù)據(jù)包競爭輸入，優(yōu)先級固定只處理一個方向，其他方向被完全堵死。

解決活鎖：僅使用最短路徑路由方案，限制錯誤路由操作數(shù)量。

解決饑餓：采用需求跟蹤的循環(huán)優(yōu)先級，為低優(yōu)先級適當保留帶寬。

解決死鎖：一般有死鎖預防、死鎖恢復和死鎖避免方案。

關鍵技術：SNN學習算法

脈沖神經(jīng)網(wǎng)絡學習算法分類：

ANN轉SNN離線學習：任何在ANN中能實現(xiàn)學習的算法，只要求能轉換到SNN。

無監(jiān)督在線學習：主要包含Hebb、STDP、BCM等與突觸可塑性相關的仿生學習算法。

監(jiān)督在線學習：依賴于梯度下降、突觸可塑性、脈沖卷積序列、時空反向傳播的淺層/深層學習算法。

其他在線學習：基于SNN的強化學習、半監(jiān)督學習、液體狀態(tài)機學習、深度信念網(wǎng)絡學習等。

其中，無監(jiān)督在線學習的實現(xiàn)方式包括：

突觸可塑性：無監(jiān)督學習的理論基礎，生物可信，表征為突觸連接強度增強或抑制。

長時程增強 (LTP):NMDA受體強烈興奮，Ca2+大量內流，形成新的AMPA受體。（海馬體）

長時程抑制（LTD):NMDA受體活動處于低水平，Ca2+流量低下，AMPA受體消亡。（紋狀體）

STDP學習規(guī)則：對Hebb學習在突觸前后脈沖時間依賴可塑性上的拓展。

類腦計算芯片與應用

IBM TrueNorth芯片

規(guī)格指標：4096核眾核架構（64x64)，每核256神經(jīng)元、64K突觸（256x256)。

NoC拓撲：片內及片間擴展均為2D Mesh結構，片間傳輸速度顯著慢于片內。

路由算法：片內外均為X-Y維序路由，片內采用異步雙軌四相、片間采用異步單軌兩相協(xié)議。

近存計算：非馮·諾依曼架構，存儲與計算單元鄰近分布在各處理核，高度并行，事件驅動。路由節(jié)點：需要處理東/西/南/北/本地五個方向的數(shù)據(jù)出入，首先處理東西向，再處理南北向。路由節(jié)點內置FIFO緩存緩解擁堵饑餓，最短路徑算法避免活鎖，支持一對一發(fā)射（同時避免死鎖）

Intel Loihi芯片

規(guī)格指標：128核眾核架構 (16x8)，每核含1K神經(jīng)元，1M突觸，此外有3（6）個x86嵌入式處理核心。

NoC拓撲：四個核與一個路由節(jié)點構成四叉樹，路由節(jié)點之間構成2D Mesh結構，片間也是2D Mesh。

路由算法：片內及片間X-Y維序算法，純異步路由握手設計。

框架本身僅支持一對一發(fā)射，但可在源神經(jīng)元處，通過復制多個一對一實現(xiàn)一對多發(fā)射。

Loihi芯片每個核都包含一個基于微碼操作的學習引擎，可以編程在線學習算法。

神經(jīng)元模型：采用基于電流的LIF模型。

片上學習：學習引擎針對過濾的脈沖軌跡進行操作，根據(jù)歷史脈沖活動情況，隨著時間的推移改變突觸狀態(tài)變量。為適配包括STDP在內的高級學習規(guī)則，Loihi定義了多種微碼操作來滿足不同算法需求。

清華大學：Tianjic芯片

規(guī)格指標：156核眾核架構 (12x13)，每核256神經(jīng)元、64K突觸 (256x256)。

NoC拓撲：片內及片間擴展均為2D Mesh結構，片間采用LVDS協(xié)議進行高速傳輸 (1.05Gb/s)。

路由算法：片內外均為X-Y維序路由，片內采用異步握手協(xié)議。

可使用額外的廣播神經(jīng)元和復制神經(jīng)元來實現(xiàn)一對多發(fā)射，也可在核內執(zhí)行多播判斷

北京大學：PAICore芯片

規(guī)格指標：64核眾核架構 (8x8)，每核1K神經(jīng)元、1M突觸 (1024x1024)。

NoC拓撲：片內及片間擴展均為2D Mesh結構，片間采用8:1Merge/Split合并或分流8個核心的數(shù)據(jù)。

路由算法：片內外均為Y-X維序路由，采用基于異步FIFO的異步握手協(xié)議。

路由地址采用絕對地址表示，比對目標地址與當前核地址是否一致。

智能芯片的發(fā)展趨勢

人腦的優(yōu)勢：

超低功耗

在處理同樣復雜任務時，沒有任何人工系統(tǒng)能夠媲美人腦的高能效性。

學習能力

沒有任何自然/人工系統(tǒng)能夠像人腦一樣，具有對新環(huán)境的自適應能力、對新信息與新技能的自動獲取能力。

存算融合

神經(jīng)元實現(xiàn)信息整合，突觸完成存儲和學習，每個神經(jīng)元通過上萬突觸與其他神經(jīng)元互聯(lián)，高度并行、存算一體。

高魯棒性

沒有任何系統(tǒng)能夠像人腦一樣，在復雜環(huán)境下有效決策并穩(wěn)定工作、能夠在多處損傷情況下依然具有很好魯棒性。

智能芯片的未來發(fā)展：

計算驅動：算力和能效的持續(xù)提升推進軍事智能應用。

ANN深度學習處理器：高性能計算稠密性數(shù)據(jù)、高算力。

SNN類腦計算芯片：事件驅動型稀疏性數(shù)據(jù)、低功耗。

生物啟發(fā)：持續(xù)提升規(guī)模、復雜度探索通用智能實現(xiàn)方法。

審核編輯：郭婷