邊緣的鳥聲分類器開源分享

描述

背景

全球已發(fā)現(xiàn)大約 18000 種鳥類，僅在印度，就有超過 15000 名已知的鳥類愛好者。這為收集數(shù)據(jù)和提供服務提供了足夠大的基礎(chǔ)。

該項目試圖通過 Nano 33 BLE Sense 的板載麥克風連續(xù)收聽音頻來識別不同的鳥叫。聽到的鳥叫聲將被模型消耗，以將其歸類為受過訓練的鳥類之一。

如果沒有聽到鳥叫，那么音頻將被歸類為背景噪聲，因為我們在訓練期間也包括了背景噪聲。這個項目可以幫助那些對觀鳥感興趣并想了解鳥叫的棲息地或模式的人。

概述

• 將 Arduino Nano 33 BLE Sense 與 Edge Impulse 連接
• 構(gòu)建機器學習模型
• 將模型部署到設(shè)備

將 Arduino Nano 33 BLE Sense 與 Edge Impulse 連接

Edge Impulse 完全支持 Arduino Nano 33 BLE Sense，這是一款包含 Cortex-M4 微處理器、運動傳感器、麥克風和 BLE 的緊湊型開發(fā)板。該工作室支持對原始數(shù)據(jù)進行采樣、模型開發(fā)和部署訓練有素的機器學習模型。它的價格約為 30 美元，可從 Arduino 和各種分銷商處購買。

這可以通過從Edge Impulse docs安裝系統(tǒng)上的所有依賴項來輕松實現(xiàn)。

使用 Edge Impulse 框架配置閃存 Nano 33 BLE 感應后，我們可以繼續(xù)下一步。

構(gòu)建機器學習模型

我們需要大量鳥類數(shù)據(jù)，要找到數(shù)量和質(zhì)量都高的數(shù)據(jù)是不切實際的，我們從Xeno-Canto獲取特定鳥類的數(shù)據(jù)，這是一個致力于分享來自世界各地的鳥類聲音的大型數(shù)據(jù)庫.

我們挑選了我們地區(qū)常見的 4 只鳥。

• 亞洲科爾
• 笑翠鳥
• 方尾卷龍
• 玫瑰環(huán)鸚鵡

構(gòu)建數(shù)據(jù)集

我們?yōu)槊恐圾B下載了大約 20-25 個音頻文件，并使用名為 Audacity 的軟件進行預處理。然后繼續(xù)增加數(shù)據(jù)，同時注入噪音。這幫助我們?yōu)樯鲜鏊兴膫€標簽以及單獨的噪聲標簽生成了 200 個 10 秒的文件。

我們現(xiàn)在有一個平衡的數(shù)據(jù)集，其中每個標簽的訓練數(shù)據(jù)為 33 分 20 秒，測試數(shù)據(jù)為 8 分 20 秒。

?

?

設(shè)計沖動

一旦培訓到位，您就可以產(chǎn)生沖動。脈沖獲取原始數(shù)據(jù)，將其切割成更小的窗口，使用信號處理塊提取特征，然后使用學習塊對新數(shù)據(jù)進行分類。信號處理塊用于通過為相同的輸入返回相同的值來使原始數(shù)據(jù)易于處理，而學習塊則從以前的經(jīng)驗中學習。

經(jīng)過一些實驗，我們確定了以下參數(shù)：

• 窗口大小 = 2500 毫秒
• 窗口增加 = 1250 毫秒

我們可以通過設(shè)置小于窗口大小的窗口增加來構(gòu)建重疊窗口。每個重疊窗口都是傳達樣本標簽的獨特音頻示例，盡管它們可能包含可比較的數(shù)據(jù)。我們可以通過使用重疊窗口來充分利用訓練數(shù)據(jù)。

現(xiàn)在，選擇塊：

• 處理模塊 - 音頻 (MFE)
• 學習塊 - 神經(jīng)網(wǎng)絡(luò) (Keras)

?

?

配置 MFE 塊

在探索了 Mel-filter-bank 能量特征參數(shù)的一些變化之后，我們確定默認值是最好的。

?

?

配置神經(jīng)網(wǎng)絡(luò)模型

Edge Impulse 工作室中神經(jīng)網(wǎng)絡(luò)模型的默認值給出了最好的結(jié)果。

?

?

分類新數(shù)據(jù)

為了確保模型在新數(shù)據(jù)和以前未見過的數(shù)據(jù)上的工作效果與在訓練數(shù)據(jù)上一樣好，我們可以使用工作室提供的“實時分類”選項。

單擊左側(cè)菜單中的實時分類。您的設(shè)備應顯示在“分類新數(shù)據(jù)”面板中。通過單擊開始采樣捕獲 5 秒的背景噪音。

我們使用我們的智能手機和 Arduino Nano 33 BLE Sense 對數(shù)據(jù)進行了實時分類。

模型測試

除了訓練數(shù)據(jù)外，每個 Edge Impulse 項目都有一個測試數(shù)據(jù)集。測試數(shù)據(jù)集立即與 Live 分類中采集的樣本一起保存，模型測試頁面顯示所有測試數(shù)據(jù)。

要使用為測試而捕獲的樣本，應相應地編輯預期結(jié)果。單擊?圖標并選擇編輯預期結(jié)果，然后輸入相關(guān)標簽，如下所示。

?

?

現(xiàn)在，使用表格左側(cè)的復選框選擇樣本，然后單擊 Classify selected。

我們可以觀察到模型的準確性已經(jīng)根據(jù)測試數(shù)據(jù)進行了評級。

模型故障排除

正如預期的那樣，模型的性能在第一次嘗試時并不總是很好，這可能是由于幾個因素。一些有助于提高模型準確性的修改是：

• 搜索異常/低質(zhì)量數(shù)據(jù)的數(shù)據(jù)集。
• 改變窗口大小和窗口增加等參數(shù)。
• 學習和處理模塊的參數(shù)變化。或者如果有更合適的塊，請更改塊。（例如，在 MFCC 和 MFE 之間切換）。
• 采樣時間的變化。
• epoch數(shù)的調(diào)整。

將模型部署到設(shè)備

• Edge Impulse 項目>部署。
• 創(chuàng)建包含沖動和所有外部所需庫的完整庫。選擇 Arduino library 并單擊 Build 創(chuàng)建庫

?

?

• 下載并解壓 .zip 文件。
• 打開 Arduino IDE > 選擇 Sketch > Include Library > Add.ZIP library。
• 找到文件夾（不要進入文件夾），然后選擇選擇。
• 然后，通過轉(zhuǎn)到文件 > 示例 > 項目名稱 - Edge Impulse > static_buffer 來加載示例。

示例應用程序現(xiàn)在將加載脈沖。

?

?

。

Edge Impulse 公共項目

Bird 聲音分類器可作為 Edge Impulse 上的公共項目使用，其中包含所有數(shù)據(jù)集和模型。你可以自己測試一下。