基于Tiny AI技術的玻璃敲碎聲事件離線檢測方案

基于Tiny AI技術的玻璃敲碎聲音事件離線檢測解決方案是由瑞薩電子合作伙伴Aizip開發(fā)，并提供AI算法及技術支持。

方案演示視頻

方案簡介

該方案基于RA系列MCU產(chǎn)品（RA4），在R7FA4E10D2CNE硬件上運行Aizip Tiny AI玻璃敲碎聲音事件檢測算法庫，實現(xiàn)了實時檢測玻璃敲碎聲，并個性化定制報警邏輯的功能。解決方案充分利用開發(fā)板硬件資源，對板載數(shù)字麥克風采集到的高保真音頻進行處理，通過Aizip的玻璃敲碎聲檢測算法得到檢測結果，再根據(jù)用戶定制邏輯進行亮燈和串口打印報警。借助e2?studio友好的開發(fā)環(huán)境，玻璃敲碎聲音事件檢測算法可以快速落地到嵌入式設備。

?VOICE-RA4E1 Kit

資源消耗

玻璃敲碎聲音識別算法占用Ram：13KB，F(xiàn)lash: 115KB

性能表現(xiàn)

在咪頭哭聲音量65db~75db范圍內(nèi)時，識別率可達94%以上，并且誤識別率非常低。

應用場景

該方案可以應用在玻璃門窗防盜報警器，以及其他家庭智能監(jiān)護產(chǎn)品上，配合視頻實時監(jiān)控，以及聲光等功能，可以實時在線監(jiān)測門窗安全狀態(tài)，一旦發(fā)生非法入侵事件時及時做出響應。

方案特點

對玻璃敲碎聲進行實時監(jiān)測，并能根據(jù)模型輸出結果個性化定制報警邏輯。算法采用CRNN模型框架，結合了卷積神經(jīng)網(wǎng)絡（CNN）在提取局部特征方面和循環(huán)神經(jīng)網(wǎng)絡（RNN）捕捉長期依賴關系的優(yōu)勢，結合兩者可以同時捕獲局部特征和全局序列信息，并且能夠通過端到端的學習來實現(xiàn)對數(shù)據(jù)的有效特征學習。

演示硬件

該演示方案采用瑞薩VOICE-RA4E1開發(fā)板，主控芯片為R7FA4E10D2CNE，是一款入門級的Cortex-M33內(nèi)核芯片，主頻為100M，配備128kRAM和512kFLASH。板子上搭載了I2S接口的數(shù)字麥克風，方便音頻采集，同時還有LED以及J-Link生態(tài)，方便調(diào)試和打印輸出，在實際應用中，可以根據(jù)資源需要選擇瑞薩不同配置的MCU型號。

應用Tips

在實際應用場景中，根據(jù)需要報警提示的情況，工程中提供了兩種報警邏輯選擇：一種是沒用應用邏輯，一旦檢測到玻璃敲碎聲，紅燈就會開始閃爍，在閃爍過程中若再次檢測到玻璃敲碎聲，會刷新延長閃爍時間；另一種應用了控制報警邏輯，只有當4秒內(nèi)檢測到兩次玻璃敲碎聲才會報警，這樣可以過濾掉環(huán)境中發(fā)出的類似玻璃破碎聲的單獨聲音，降低誤識別率。此外，報警閃光和打印接口以及模型輸出接口也開放給用戶，用戶可以根據(jù)自己的實際需求進行定制編程。