SynSense時識科技展示類腦音頻信號處理技術(shù)新成果

近日，SynSense時識科技發(fā)表文章，展示了類腦音頻信號處理技術(shù)新成果：通過SynSense時識科技自研軟件Rockpool，開發(fā)基于脈沖神經(jīng)網(wǎng)絡(luò)的信號處理，包括信號處理應(yīng)用的設(shè)計、訓(xùn)練，并部署至SynSense時識科技低維度類腦處理器Xylo中。研究顯示，在執(zhí)行環(huán)境音檢測分類任務(wù)時，該應(yīng)用準(zhǔn)確率達到了98%，同時僅消耗93微瓦動態(tài)功耗（high accuracy： 98% at low power 《100μW inference power）。

“我們展示了基于Xylo的超低功耗實時音頻信號處理。Xylo突破了使用場景中的能耗限制，我們的成果旨在推動類腦處理器以及脈沖神經(jīng)網(wǎng)絡(luò)成為商用超低功耗應(yīng)用以及邊緣信號處理應(yīng)用的絕佳選擇?！?/p>

Dylan Muir 全球研發(fā)副總裁

“我們還展示了一種簡單高效的軟件Rockpool，旨在簡化基于SNN的機器學(xué)習(xí)，可用于信號處理應(yīng)用的設(shè)計、訓(xùn)練，以及部署。對于廣大來自神經(jīng)網(wǎng)絡(luò)背景的機器學(xué)習(xí)工程師，不要求具體的脈沖神經(jīng)網(wǎng)絡(luò)經(jīng)驗，也可進行脈沖神經(jīng)網(wǎng)絡(luò)訓(xùn)練以及部署?！盚annah Bos 高級機器學(xué)習(xí)工程師

Rockpool是一個開源Python軟件包，用于開發(fā)基于脈沖神經(jīng)網(wǎng)絡(luò)的信號處理。Rockpool允許網(wǎng)絡(luò)的構(gòu)建、訓(xùn)練和測試，以及在事件驅(qū)動的神經(jīng)形態(tài)硬件上的仿真。Rockpool為圖層提供了許多模擬后端，包括Brian2，NEST，Torch，JAX，Numba和raw numpy。Rockpool旨在簡化基于SNN的機器學(xué)習(xí)，而非為詳細(xì)模擬生物網(wǎng)絡(luò)而設(shè)計的。

脈沖神經(jīng)網(wǎng)絡(luò)（SNN）為時間信號處理提供了一種高效的計算機制，尤其在與SNN推理的專用集成電路搭配時，尤其能凸顯其能效優(yōu)勢。面向一系列對功耗有著限制的商業(yè)應(yīng)用環(huán)境，脈沖神經(jīng)網(wǎng)絡(luò)+SNN推理的處理器提供了一種適用于商用低功耗信號處理的絕佳方案。環(huán)境音檢測分類耳機、電話、助聽器等便攜式音頻設(shè)備往往通過噪音檢測以及聲音塑造來提升用戶的聽覺體驗。用于減少噪音的參數(shù)可由器件及用戶周圍的噪音水平及特點而定。例如，噪音過濾會隨用戶處于安靜的環(huán)境、車水馬龍的街道或嘈雜的咖啡館中而不同。為了選擇并預(yù)配置噪音減除方法，SynSense時識科技提出了一種低功耗方案，可連續(xù)且自動地對用戶所處的環(huán)境噪音分類?！拔覀冇?xùn)練一種脈沖神經(jīng)網(wǎng)絡(luò)并部署在類腦處理器上，以此進行連續(xù)信號的檢測。我們使用了QUT-NOISE噪聲集來訓(xùn)練及評估這一應(yīng)用，QUT-NOISE包含了咖啡館、家、汽車以及街道錄音。結(jié)果顯示，該項應(yīng)用在準(zhǔn)確率、延遲及功耗三大指標(biāo)中表現(xiàn)更佳（準(zhǔn)確率達到了98%，消耗93微瓦動態(tài)功耗）?！盨ynSense時識科技展示的Rockpool及Xylo音頻信號處理方案為廣大機器學(xué)習(xí)工程師進行脈沖神經(jīng)網(wǎng)絡(luò)配置提供了支持，適用于商用脈沖神經(jīng)網(wǎng)絡(luò)應(yīng)用的設(shè)計及部署。自成立以來，SynSense時識科技專注于類腦軟硬件設(shè)計研發(fā)，已推出一系列類腦處理器及配套工具鏈。我們期待脈沖神經(jīng)網(wǎng)絡(luò)及低功耗類腦處理器在端側(cè)低功耗機器學(xué)習(xí)領(lǐng)域作出卓越貢獻。

XYLO，世界領(lǐng)先的低維度類腦處理器XYLO是一款基于第三代人工神經(jīng)網(wǎng)絡(luò)的、超低功耗（~0.1mW）的、always-on低維度信號專用的AI處理器。XYLO芯片內(nèi)部集成了模擬前端預(yù)處理，可對低維度自然（模擬）信號直接進行進行預(yù)處理；內(nèi)建神經(jīng)網(wǎng)絡(luò)，支持脈沖神經(jīng)網(wǎng)絡(luò)（SNN）和儲存池計算技術(shù)等；因此XYLO特別適合各種mems麥克風(fēng)、溫度傳感器、壓力傳感器、振動傳感器、加速度傳感器、陀螺儀及肌電、心電等信號的智能處理。