1024 CSDN 程序員節(jié)-基于存內(nèi)計算WTM2101芯片開發(fā)板驗證語音識別

前言
在今年的 CSDN 程序員節(jié)上，我參與了這次知存科技舉辦的一個 AI Workshop 小活動——“基于存內(nèi)計算芯片開發(fā)板驗證語音識別”，并且有幸成為完成任務(wù)的學(xué)習(xí)者之一XD。上一次參與類似的活動是算能公司舉辦的“千校萬里行”AIGC 大模型編譯部署活動，感覺雖然只是簡單的燒錄現(xiàn)成代碼，經(jīng)歷這幾次活動后 AI 小白也能有一個小小的成就感。趁著這股新鮮感還沒冷卻，我打算寫一篇博文來記錄下這次活動的一些經(jīng)歷，也供后續(xù)參與的童鞋參考~

任務(wù)目標(biāo)
AISHELL-WakeUp-1 數(shù)據(jù)集是中英文喚醒詞語音數(shù)據(jù)庫，命令詞為“你好，米雅” “hi, mia” ，語音數(shù)據(jù)庫中喚醒詞語音 3936003 條，1561.12 小時，邀請 254 名發(fā)言人參與錄制。錄制過程在真實家居環(huán)境中，設(shè)置 7 個錄音位，使用 6 個圓形 16 路 PDM 麥克風(fēng)陣列錄音板做遠(yuǎn)講拾音(16kHz，16bit)、1 個高保真麥克風(fēng)做近講拾音(44.1kHz， 16bit)。此數(shù)據(jù)庫可用于聲紋識別、語音喚醒識別等研究使用。

本 demo 以該數(shù)據(jù)集為例，用不同網(wǎng)絡(luò)結(jié)構(gòu)展示模型訓(xùn)練及移植過程。

我們最終想要通過語音“你好，米雅”喚醒開發(fā)板。具體步驟如下：

訓(xùn)練得到模型，并轉(zhuǎn)換為知存科技開發(fā)板相應(yīng)格式模型。
工具鏈編譯模型，得到模型權(quán)重表。
燒寫模型權(quán)重。
燒寫代碼。
成功運行后，當(dāng)我們對著開發(fā)板說出“你好，米雅”時，開發(fā)板就會通過串口發(fā)送“已喚醒”的信息。
開發(fā)板信息如下：

WTMDK2101-X3 是針對 WTM2101 AI SOC 設(shè)計的評估板，包含：

（1） WTM2101 核心板，即我們的存算芯片。

（2） 和 I/O 板：WTM2101 運行需要的電源、以及應(yīng)用 I/O 接口等.

任務(wù)步驟
首先，本機(jī)上下載訓(xùn)練數(shù)據(jù)和訓(xùn)練代碼并運行。這樣我們就得到要燒錄到知存開發(fā)板上的對應(yīng)格式的模型。

? 這一步結(jié)束后，我們可以得到以下模型+運行代碼：

將代碼放入 docker 工具鏈環(huán)境中，編譯運行，得到輸出的模型權(quán)重表：

開發(fā)板連接好跳線帽、數(shù)據(jù)線如下圖：

通過燒寫工具 WitinProgramTool 將模型權(quán)重?zé)浀介_發(fā)板上：

通過知存 IDE Witmem Studio，燒錄提供好的工程代碼。

打開串口調(diào)試助手（波特率115200，數(shù)據(jù)位8，停止位1，無校驗位）。若成功運行，此時當(dāng)我們對著開發(fā)板說出“你好，米雅”或 “Hi, Mia” 時，串口便會輸出“已喚醒” 的提示信息。

總結(jié)
對我個人而言，我接觸 AI 非常少，只在前后端、嵌入式領(lǐng)域有過一些涉獵。因此，這次活動雖然在 AI 領(lǐng)域前輩來看可能是比較輕松的一個小任務(wù)，不過這份成就感讓我很滿足，我也大致能理解各個流程的作用。

從今年5月的 ST 峰會上大力推廣的邊緣AI，7月 RV 峰會上百家爭鳴的 AI 應(yīng)用，這兩次算能和知存科技的 AI 硬件體驗活動，我逐漸也能感覺到 AI （特別是當(dāng)下的 AIGC）對嵌入式領(lǐng)域同樣不容小覷的影響?，F(xiàn)階段自己的學(xué)習(xí)還停留在一些簡單的控制，RTOS 這些。也許加深一些學(xué)習(xí)后，未來也可能在嵌入式深度學(xué)習(xí)領(lǐng)域有所學(xué)習(xí)~

審核編輯 黃宇