一種具有高度柔性與可塑性的超香腸覆蓋式神經(jīng)元模型

人工神經(jīng)網(wǎng)絡(luò)是模擬人腦神經(jīng)活動的重要模式識別工具，受到了眾多科學(xué)家和學(xué)者的關(guān)注。然而，近年來DNN的改進與優(yōu)化工作主要集中于網(wǎng)絡(luò)結(jié)構(gòu)和損失函數(shù)的設(shè)計，神經(jīng)元模型的發(fā)展一直非常有限。神經(jīng)生物學(xué)和認知神經(jīng)科學(xué)的研究表明，神經(jīng)元的學(xué)習(xí)能力是生物神經(jīng)系統(tǒng)完成學(xué)習(xí)和記憶任務(wù)的重要基礎(chǔ)，這些機理可促使我們在神經(jīng)元設(shè)計和優(yōu)化方面進一步提高DNN的性能。

受生物認知機制的啟發(fā)，中國科學(xué)院半導(dǎo)體研究所高速電路與神經(jīng)網(wǎng)絡(luò)實驗室李衛(wèi)軍研究員團隊設(shè)計了一種具有高度柔性與可塑性的超香腸覆蓋式神經(jīng)元模型（HSCF neuron）（如圖1所示）。

?圖1.超香腸覆蓋式神經(jīng)元模型及分類策略可視化表示

研究團隊定義了一種新的交叉熵和體積覆蓋率損失函數(shù)，該損失函數(shù)可最大限度地壓縮超香腸的體積，從而確保樣本的類內(nèi)緊湊性。研究團隊引入了一種分裂迭代方法，將每個神經(jīng)元模型視為一個弱分類器，并迭代增加弱分類器的數(shù)量，該迭代方法可自適應(yīng)地確定HSCF神經(jīng)元的最優(yōu)數(shù)量，形成了端到端的學(xué)習(xí)框架（如圖2所示）。

圖2.基于超香腸覆蓋式神經(jīng)元模型的網(wǎng)絡(luò)結(jié)構(gòu)示意圖

最后，研究團隊在模式識別領(lǐng)域的八個經(jīng)典數(shù)據(jù)集上進行的對比實驗和消融實驗證明了該方法的有效性。超香腸覆蓋式神經(jīng)元模型可以應(yīng)用于經(jīng)典的DNN中以解決多種模式識別問題，具有廣泛的應(yīng)用與學(xué)術(shù)價值；此外，所提出的方法也證明了利用神經(jīng)元可塑性增強DNN性能的可行性，為DNN的進一步發(fā)展提供了新的視角。

該研究成果近日以“Hyper-sausage coverage function neuron model and learning algorithm for image classification”為題發(fā)表于模式識別領(lǐng)域TOP期刊《Pattern Recognition》(136 (109216), 2023), 文章發(fā)表后相繼入選ESI熱點與ESI高倍引論文，并入選期刊2023年Editors' Choice Paper。論文第一作者為半導(dǎo)體所寧欣副研究員，通訊作者為李衛(wèi)軍研究員。本工作得到國家自然科學(xué)基金委項目的支持。

審核編輯：湯梓紅