TinyML狗吠止動器開源硬件

描述

問題

自從我家開始上學和工作后，我的狗就開始發(fā)瘋了。在隔離期間，她真的很依戀并產(chǎn)生了分離焦慮。為了解決這個問題，我們必須在我們離開時檢測到 Clairette 的吠叫，并使用我們的聲音錄音來回應(yīng)它們。

如何建造

1. 按照原理圖接線。

2. 將 bark_listener.ino 上傳到 Arduino Nano 33 BLE Sense。

3. 上傳 bark_audio_responder.ino 到 Arduino Nano。

4.上傳音頻文件到SD卡。

5. 將 Music Maker Feather 連接到 AUX 揚聲器。

6. 插入 Arduino Nano 33 BLE Sense。

7. 看著樹皮停止！

?

?

?

?

1 / 7 ?整個設(shè)置

?

訓練模型

由于沒有一個大數(shù)據(jù)集足以檢測狗叫聲，所以我使用了一對。按模型中的重要性排名，我使用的數(shù)據(jù)集是：

• 谷歌音頻集：樹皮
• 我自己的數(shù)據(jù)（狗叫聲和房子周圍的背景噪音）
• 谷歌語音命令數(shù)據(jù)集
• 音頻貓狗

然后，我使用 Shawn Hymel 的關(guān)鍵詞發(fā)現(xiàn)數(shù)據(jù)集管理腳本將數(shù)據(jù)預(yù)處理為一秒鐘的剪輯并添加背景噪音。然后每個音頻片段都被標記為“樹皮”或“其他”。我還必須對樹皮數(shù)據(jù)進行大量清理，因為來自 Google Audioset 的許多剪輯中沒有樹皮：我通過聆聽標記為其他的音頻樣本并根據(jù)它們是否真的是樹皮或重新分配它們來做到這一點不是）。

我將所有音頻剪輯上傳到 Edge Impulse 的標簽下；然后，我使用 Edge Impulse 的 Eon Tuner 來尋找和訓練最佳模型。

?

?

?

?

1 / 3 ? Eon 調(diào)諧器驗證準確性和性能

?

原始音頻被轉(zhuǎn)換為 Mel-filterbank 能量譜圖，這是模型使用的音頻的圖像表示。下圖顯示了不同類型之間的原始音頻看起來并沒有什么不同；頻譜圖使樣本之間的相似性最明顯。

頻譜圖

?

部署模型

邊緣脈沖輸出

?

Edge Impulse 導(dǎo)出可與 Arduino Nano 33 BLE Sense 一起使用的 Arduino 庫。該庫處理音頻到頻譜圖的轉(zhuǎn)換和模型推理。

回應(yīng)吠叫

音軌文件

?

每當檢測到吠叫時，都會播放隨機曲目以回應(yīng)狗。我的狗最依戀我的媽媽，所以我們記錄了她。曲目范圍從告訴她停止或告訴她沒關(guān)系。

我不得不使用外部 Arduino Nano 來控制，因為 Nano 33 運行 MBED 操作系統(tǒng)，它沒有足夠快的中斷來控制音頻（使用 Nano 33 時，音頻非常不穩(wěn)定）。