喚醒詞檢測(cè)開源分享

描述

團(tuán)隊(duì)成員

孫國(guó)明 (gs45)

天月宇文（ty26）

歐陽劉昊(lo12)

徐瑞濤(rx9)

介紹

喚醒詞是諸如“Hi Siri”和“OK Google”之類的詞。我們用這些詞來喚醒我們的智能助手，并要求他們提供有用的信息。為了保護(hù)用戶隱私并保持較低的能耗，可以將喚醒詞檢測(cè)功能轉(zhuǎn)移到低功耗芯片上。當(dāng)它檢測(cè)到喚醒詞時(shí)，它將其余的工作留給其他部分。

在這個(gè)項(xiàng)目中，我們將“是”和“否”定義為喚醒功能，并嘗試使用我們的開發(fā)板 Arduino Nano 33 BLE Sense 對(duì)“是”、“否”和其他詞進(jìn)行分類。我們使用其 LED 燈的顏色：紅色、綠色和藍(lán)色來代表不同的類別。我們使用 TinyML 通過板上經(jīng)過訓(xùn)練的模型實(shí)現(xiàn)了喚醒詞檢測(cè)。當(dāng)人們?cè)?Arduino 板上說話時(shí)，它會(huì)自動(dòng)檢測(cè)到他們。

過程

首先，我們需要獲取輸入。我們使用 Arduino Nano 33 BLE sense 上的內(nèi)置麥克風(fēng)獲取輸入的原始音頻，然后我們使用相關(guān)接口將其提取到我們的程序中。

我們預(yù)處理輸入以提取適合模型的特征。得到音頻訓(xùn)練示例后，我們首先需要對(duì)原始音頻進(jìn)行特征提取。它使用 FFT 將原始音頻轉(zhuǎn)換為頻譜圖。然后我們從頻譜圖中提取特征。之后，我們對(duì)處理過的輸入進(jìn)行推理。我們使用此輸入來訓(xùn)練我們的模型。我們的模型將輸出一組我們所說的已知單詞的概率。如果概率超過閾值，我們可以說我們說的詞就是超過概率的那個(gè)詞。

我們使用的模型經(jīng)過訓(xùn)練可以識(shí)別單詞“是”、“否”、未知單詞以及靜音或背景噪音。它每次輸入一秒鐘的數(shù)據(jù)。它輸出四個(gè)概率分?jǐn)?shù)，一個(gè)對(duì)應(yīng)于這四個(gè)類中的每一個(gè)。它可以預(yù)測(cè)數(shù)據(jù)的類別。該模型不接收原始音頻樣本數(shù)據(jù)。相反，它適用于頻譜圖。

一秒鐘的數(shù)據(jù)是一個(gè)頻譜圖，表示為具有 43 列和 49 行的二維數(shù)組。對(duì)于每一行，我們通過快速傅里葉變換算法 (FFT) 運(yùn)行一段 30 毫秒的音頻輸入，該算法分析并創(chuàng)建一個(gè)包含 256 個(gè)頻率桶的數(shù)組。然后我們平均分成 6 組。為了構(gòu)建整個(gè) 2D 陣列，我們將 49 個(gè)連續(xù)的 30 毫秒音頻切片的結(jié)果組合在一起，每個(gè)切片與最后一個(gè)切片重疊 10 毫秒。

音頻到頻譜圖

?

由于頻譜圖是二維數(shù)組，我們將其作為二維張量輸入到模型中。我們使用可與任何多維向量輸入一起使用的卷積網(wǎng)絡(luò)。事實(shí)證明，它們非常適合處理頻譜圖數(shù)據(jù)。

在計(jì)算機(jī)上運(yùn)行程序后，我們使用 Arduino 將其部署到 Arduino Nano 33 BLE Sense 板上。并通過查看電路板上的指示燈和 Arduino 的工具串行監(jiān)視器來跟蹤結(jié)果。

結(jié)果

我們?cè)?Arduino Nano 33 BLE Sense 板子上運(yùn)行程序，它可以區(qū)分是、否和其他未知詞。

結(jié)果

?

結(jié)論

在這個(gè)項(xiàng)目中，我們使用 TinyML 將經(jīng)過訓(xùn)練的音頻分類模型部署到 Arduino Nano 33 BLE Sense。通過這種方式，我們成功地在低功耗芯片上實(shí)現(xiàn)了喚醒詞檢測(cè)功能，從而使隱私安全和節(jié)能的數(shù)字輔助成為可能。

?