COMP 554喚醒詞檢測

描述

隊員：鄧子輝（zd13）、黃星昊（xh28）、杜樂義（ld31）、蔣天成（tj16）

前言

雖然在這個最終項目中有多種選擇，但我們最終決定進行喚醒詞檢測。由于智能設(shè)備現(xiàn)在在我們的生活中非常普遍，因此這種檢測對于在不聯(lián)系后端服務(wù)器的情況下檢測喚醒詞非常有用。我們想接觸一些日常生活中實用且常用的東西，所以就來了。

至于應(yīng)用架構(gòu)，從TinyML微稿中我們知道，對于每一個機器學(xué)習項目，至少要有五個步驟：

1. 獲取輸入

2. 預(yù)處理輸入以提取適合輸入模型的特征

3. 對處理后的輸入進行推理

4. 對模型的輸出進行后處理以理解它

5. 使用結(jié)果信息使事情發(fā)生

在這個項目中，我們主要遵循上述規(guī)則，但有一些變化。

首先，我們必須先處理原始音頻數(shù)據(jù)，然后再將其作為輸入送入模型。此外，我們必須修改分類模型以滿足輸出字符串（“YES”或“NO”）而不是可能值的要求。

過程

我們使用 Arduino Nano 33 BLE 訓(xùn)練了一個機器學(xué)習模型，它應(yīng)該對輸入進行分類和識別，并將輸入分為三個不同的輸出：“是”、“否”和“未知”。我們選擇用于訓(xùn)練的數(shù)據(jù)集是語音命令數(shù)據(jù)集，它由 65,000 個 30 個短詞的一秒長話語組成，在線眾包。

我們在這里要做的是將我們的原始數(shù)據(jù)從單詞預(yù)處理為音頻類型。我們可以通過用頻譜圖表示輸入詞來做到這一點。

結(jié)果

實際上，我們添加了一些創(chuàng)新的技巧來訓(xùn)練模型。從下面的demo我們可以看到，當輸入為“YES”時，黃燈會亮3秒，當輸入為“NO”時，黃燈會熄滅3秒，當輸入是未知的東西，光沒有任何反應(yīng)。

?

?