基于Syntiant TinyML board的語(yǔ)音助手設(shè)計(jì)

詳細(xì)描述

不管是tuya云還是米家云都是私有的，我們無(wú)法直接將自定義設(shè)備進(jìn)行接入并進(jìn)行交互。因此我們需要借助一個(gè)工具----Home Assistant來(lái)進(jìn)行消息的轉(zhuǎn)發(fā)。并且將樹(shù)莓派作為其軟件運(yùn)行的載體。當(dāng)TinyML開(kāi)發(fā)板識(shí)別到對(duì)應(yīng)語(yǔ)音指令之后通過(guò)IO狀態(tài)上報(bào)給ESP8266芯片，ESP8266通過(guò)局域網(wǎng)MQTT服務(wù)上報(bào)給樹(shù)莓派上的EMQ服務(wù)器，HASS去自動(dòng)解析MQTT報(bào)文并且將相應(yīng)指令上報(bào)給不同的云平臺(tái)。

詳細(xì)實(shí)施

1. Docker安裝

為了便于管理樹(shù)莓派上的軟件包我們統(tǒng)一使用docker進(jìn)行軟件的安裝，這樣可以保證每個(gè)軟件都是獨(dú)立運(yùn)行在虛擬環(huán)境中的不會(huì)因?yàn)檫\(yùn)行出錯(cuò)或者錯(cuò)刪文件導(dǎo)致系統(tǒng)無(wú)法啟動(dòng)。

下面提供兩種安裝方式：

• 腳本安裝方式

只需要輸入命令就可以安裝好（省事 方便，初次學(xué)習(xí)可以試試第二種方法）

sudo curl -sSL https://get.docker.com | sh

• apt 安裝方式

由于 Raspbian 基于 Debian，我們還可以使用 apt安裝（其他發(fā)行版可做參考）

1.添加使用 https 傳輸?shù)能浖约?CA 證書(shū)。由于 apt 源使用 https 以確保軟件下載過(guò)程中不被篡改。因此，我們首先需要添加使用 https 傳輸?shù)能浖约?CA 證書(shū)。

 $ sudo apt-get install       apt-transport-https       ca-certificates       curl       gnupg2       lsb-release       software-properties-common

1）添加 Docker 的 GPG key

為了確認(rèn)所下載軟件包的合法性，需要添加軟件源的 GPG 密鑰。

 curl -fsSL https://yum.dockerproject.org/gpg | sudo apt-key add -  # 官方源 # $ curl -fsSL https://download.docker.com/linux/raspbian/gpg | sudo apt-key add -

2）設(shè)置穩(wěn)定的 repository

 sudo add-apt-repository        "deb https://apt.dockerproject.org/repo/        raspbian-$(lsb_release -cs)        stable"   # 官方源 #$ sudo add-apt-repository  #"deb [arch=armhf] https://download.docker.com/linux/raspbian  #$(lsb_release -cs)  #stable"

3）安裝 Docker

更新 apt 軟件包緩存，并安裝 docker

 $ sudo apt-get update $ sudo apt-get -y install docker-engine

4）測(cè)試 Docker 是否安裝正確

sudodockerrunhello-world

2. HomeAssisatant 的安裝

整個(gè)安裝過(guò)程十分的簡(jiǎn)單這里不再贅述可以直接參考此貼：

樹(shù)莓派4+ docker+ homeassistant停止測(cè)試的博客-CSDN博客樹(shù)莓派跑docker：https://blog.csdn.net/weixin_43990954/article/details/107330798

3. tuya設(shè)備接入

首先登陸涂鴉 IoT 平臺(tái) (tuya.com)官網(wǎng)，在云開(kāi)發(fā)->云管理->我的云項(xiàng)目中 創(chuàng)建一個(gè)新的云項(xiàng)目。在創(chuàng)建過(guò)程中開(kāi)放方式選擇自定義開(kāi)發(fā)即可。

在HASS的配置->設(shè)備與服務(wù)中添加新的集成，在搜索框搜索涂鴉即可。

在配置框中的名稱(chēng)和tuya云平臺(tái)上的名稱(chēng)對(duì)應(yīng)關(guān)系如下圖所示：

編號(hào)云平臺(tái)名HASS配置名1Access ID/Client ID涂鴉物聯(lián)網(wǎng)設(shè)備接入ID2Access Secret/Client Secret:涂鴉物聯(lián)網(wǎng)設(shè)備接入密碼

其中的用戶(hù)名和密碼對(duì)應(yīng)Tuya 手機(jī)APP上登陸的用戶(hù)名和密碼，不是IOT平臺(tái)這里不要混淆。

注：Access ID和Secret可以在概況中查詢(xún)到。

在手機(jī)APP上根據(jù)提示將設(shè)備添加到關(guān)聯(lián)，之后在云平臺(tái)的設(shè)備中手動(dòng)去關(guān)聯(lián)APP賬戶(hù)并且添加關(guān)聯(lián)的設(shè)備到此云服務(wù)，對(duì)于設(shè)備較多的用戶(hù)建議手動(dòng)添加所需設(shè)備，不要全部導(dǎo)入否則云平臺(tái)在檢索設(shè)備時(shí)會(huì)非常卡。

添加成功狗手動(dòng)刷新HASS面板即可看到新添加的設(shè)備

4. 米家設(shè)備接入

可以直接參考此篇博客：

米家設(shè)備接入 Home Assistant：https://zhuanlan.zhihu.com/p/400997679

5. EMQ安裝和關(guān)聯(lián)HASS

EMQ是個(gè)輕量級(jí)的MQTT服務(wù)器，將其直接運(yùn)行在樹(shù)莓派上可以作為ESP8266和HASS溝通的橋梁

1) 安裝

詳細(xì)的安裝教程可以參考我的博文：

樹(shù)莓派安裝配置使用EMQ教程_Argon_Ghost的博客：https://blog.csdn.net/Argon_Ghost/article/details/106033912

2) 集成

直接在集成選項(xiàng)中添加MQTT組件即可，然后輸入對(duì)應(yīng)的IP和端口（一般情況下MQTT EMQ 的端口為1883）

6. 數(shù)據(jù)轉(zhuǎn)發(fā)

為使ESP8266可以控制米家設(shè)備和涂鴉設(shè)備，可以通過(guò)HASS平臺(tái)的自動(dòng)化功能來(lái)完成，自動(dòng)化類(lèi)似于Iphone上的自動(dòng)化功能，用戶(hù)可以自定義觸發(fā)源觸發(fā)信號(hào)，在觸發(fā)信號(hào)到來(lái)的時(shí)候?qū)⒂|發(fā)信號(hào)觸發(fā)起到控制硬件的目的，這里以ESP8266通過(guò)MQTT觸發(fā)米家空氣凈化器開(kāi)機(jī)為例來(lái)做講解，其余設(shè)備類(lèi)似：

1) 配置

在配置->場(chǎng)景自動(dòng)化->新建自動(dòng)化來(lái)創(chuàng)建一個(gè)新的BluePrint自動(dòng)化場(chǎng)景

2) 配置觸發(fā)條件

因?yàn)槲覀冃枰谑盏組QTT特定報(bào)文時(shí)候進(jìn)行觸發(fā)，我配套代碼中的觸發(fā)條件配置為如下圖所示即可：

3) 配置動(dòng)作

配置動(dòng)作就是在條件觸發(fā)后的相應(yīng)，這里我們需要相應(yīng)的是開(kāi)機(jī)，相應(yīng)配置如下圖所示：

4) 注

配套代碼實(shí)現(xiàn)中的其他觸發(fā)條件均通過(guò)office/sensor1 topic進(jìn)行，詳細(xì)的匹配關(guān)系參數(shù)如下表所示：

編號(hào)觸發(fā)目的參數(shù)1關(guān)機(jī)02開(kāi)機(jī)13自動(dòng)模式24睡眠模式3

7. 語(yǔ)音數(shù)據(jù)訓(xùn)練

syntiant 提供了完整的從訓(xùn)練到部署的一站式支持，可以通過(guò)如下鏈接打開(kāi)此平臺(tái)：

[在線(xiàn)訓(xùn)練平臺(tái)] https://studio.edgeimpulse.com

整個(gè)訓(xùn)練過(guò)程分為以下幾個(gè)部分，詳細(xì)的使用方法可以在EDGE IMPULSE網(wǎng)站的wiki上查看。

1. 通過(guò)麥克風(fēng)將數(shù)據(jù)集錄入

2. 新建識(shí)別內(nèi)容和工程

3. 設(shè)置采用方式、采樣率、采樣窗口等參數(shù)

4. 配置數(shù)據(jù)分類(lèi)方式（這邊我們直接使用NN 經(jīng)典模型）

5. 數(shù)據(jù)訓(xùn)練

訓(xùn)練完畢之后直接點(diǎn)擊Deployment即可對(duì)數(shù)據(jù)進(jìn)行導(dǎo)出，我項(xiàng)目中訓(xùn)練的模型如下圖所示：

8. 模型下載

對(duì)于音頻模型可以直接將模型燒錄在板卡的內(nèi)置Flash中，在官方提供的Demo程序中已經(jīng)集成了Flash的燒錄功能，通過(guò)tool中的

flash_windows.bat工具即可將模型和程序燒錄到板卡中。

9. 程序編譯

在生成好的模型中可以得到如下三個(gè)文件，model-parameters是我們新生成模型的參數(shù)和匹配關(guān)鍵字名稱(chēng)的C函數(shù)，需要替換代碼工程src目錄下的model-parameters,ei_model.bin就是NDP101芯片所需要的模型數(shù)據(jù)了。

在替換完成之后使用Arduino IDE從新編譯工程并且在on_classification_changed函數(shù)中填充自己的應(yīng)用代碼即可,如下所示。

/* Generated by Edge Impulse * * Permission is hereby granted, free of charge, to any person obtaining a copy * of this software and associated documentation files (the "Software"), to deal * in the Software without restriction, including without limitation the rights * to use, copy, modify, merge, publish, distribute, sublicense, and/or sell * copies of the Software, and to permit persons to whom the Software is * furnished to do so, subject to the following conditions: * * The above copyright notice and this permission notice shall be included in * all copies or substantial portions of the Software. * * THE SOFTWARE IS PROVIDED "AS IS", WITHOUT WARRANTY OF ANY KIND, EXPRESS OR * IMPLIED, INCLUDING BUT NOT LIMITED TO THE WARRANTIES OF MERCHANTABILITY, * FITNESS FOR A PARTICULAR PURPOSE AND NONINFRINGEMENT. IN NO EVENT SHALL THE * AUTHORS OR COPYRIGHT HOLDERS BE LIABLE FOR ANY CLAIM, DAMAGES OR OTHER * LIABILITY, WHETHER IN AN ACTION OF CONTRACT, TORT OR OTHERWISE, ARISING FROM, * OUT OF OR IN CONNECTION WITH THE SOFTWARE OR THE USE OR OTHER DEALINGS IN THE * SOFTWARE. */
#ifndef _EI_CLASSIFIER_MODEL_VARIABLES_H_#define _EI_CLASSIFIER_MODEL_VARIABLES_H_
#include #include "model_metadata.h"// #include "edge-impulse-sdk/classifier/ei_model_types.h"
const char* ei_classifier_inferencing_categories[] = { "source_auto", "source_close", "source_open", "source_sleep", "z_openset" };
uint8_t ei_dsp_config_66_axes[] = { 0 };const uint32_t ei_dsp_config_66_axes_size = 1;ei_dsp_config_audio_syntiant_t ei_dsp_config_66 = {    1,    1,    0.032f,    0.024f,    40,    512,    0,    0,    0.96875f};// const ei_model_performance_calibration_t ei_calibration = {//     1, /* integer version number *///     (int32_t)(EI_CLASSIFIER_RAW_SAMPLE_COUNT / ((EI_CLASSIFIER_FREQUENCY > 0) ? EI_CLASSIFIER_FREQUENCY : 1)) * 1000, /* Model window *///     0.8f, /* Default threshold *///     (int32_t)(EI_CLASSIFIER_RAW_SAMPLE_COUNT / ((EI_CLASSIFIER_FREQUENCY > 0) ? EI_CLASSIFIER_FREQUENCY : 1)) * 500, /* Half of model window *///     0   /* Don't use flags */// };
#endif // _EI_CLASSIFIER_MODEL_METADATA_H_

10. 板卡下載過(guò)程分析

官方Demo中模型下載是個(gè)十分有意思的過(guò)程，我特地分析了他的代碼并且繪制了下面的流程圖。整個(gè)流程分為了兩個(gè)部分，通過(guò)串口RST板子讓板子引導(dǎo)進(jìn)入程序下載模式下載我們的代碼程序，在程序下載成功并且成功運(yùn)行之后延時(shí)一段時(shí)間并且發(fā)送模型下載串口指令，串口相應(yīng)之后就開(kāi)始分塊去搬移模型數(shù)據(jù)（每次搬移1K），在搬移的過(guò)程中不斷的通過(guò)SPI將數(shù)據(jù)寫(xiě)入Flash中。搬移成功之后通過(guò)串口回復(fù)給上位機(jī)，上位機(jī)即顯示下載成功。如果有有興趣可以自己去了解下syntiant.cpp文件中的runManagementCommand()函數(shù)，系統(tǒng)就是調(diào)用這個(gè)函數(shù)完成了模型的下載。

11. ESP8266 部分代碼

ESP82666 主要是MQTT通信功能的代碼，這里直接將代碼副出：

#include <Arduino.h>/*WIFI*/#include <ESP8266WiFi.h>#include <Adafruit_MQTT.h>#include <Adafruit_MQTT_Client.h>/*WIFI參數(shù)*/#define WLAN_SSID "JDCxxxxx89E"#define WLAN_PASS "199xxxxx614"/*服務(wù)器參數(shù)*/#define AIO_SERVER "192.168.68.210"#define AIO_SERVERPORT 1883#define AIO_USERNAME ""#define AIO_KEY ""#define AIO_CID "ESP"WiFiClient client;/*實(shí)例化mqtt設(shè)備*/Adafruit_MQTT_Client mqtt(&client, AIO_SERVER, AIO_SERVERPORT, AIO_CID, AIO_USERNAME, AIO_KEY);/*發(fā)布topic報(bào)文*/Adafruit_MQTT_Publish mqtt_pub1 = Adafruit_MQTT_Publish(&mqtt, "office/sensor1");/*訂閱topic報(bào)文*/Adafruit_MQTT_Subscribe mqtt_sub1 = Adafruit_MQTT_Subscribe(&mqtt, "/feeds", MQTT_QOS_0);static void mqttcallback(char *data, uint16_t len);static void wifi_connect();static void mqtt_init();static void MQTT_connect();void setup(){    Serial.begin(115200);       // 設(shè)置串口波特率為115200    wifi_connect();             //wifi連接    //smartConfig();    mqtt_init();                //mqtt連接初始化}void loop(){    /*MQTT 連接*/    MQTT_connect();    mqtt.processPackets(1000); //獲取主題

    if(digitalRead(14) == LOW)      /*關(guān)閉模式*/    {      mqtt_pub1.publish("0");      Serial.println("0");    }
    if(digitalRead(16) == LOW)      /*開(kāi)啟模式*/    {      mqtt_pub1.publish("1");      Serial.println("1");    }    
    if(digitalRead(15) == LOW)      /*微風(fēng)模式*/    {      mqtt_pub1.publish("2");      Serial.println("2");    }
    if(digitalRead(13) == LOW)      /*大風(fēng)模式*/    {      mqtt_pub1.publish("3");      Serial.println("3");    }
    delay(200);}void smartConfig(){  WiFi.mode(WIFI_STA);  Serial.println("
Wait for Smartconfig");  delay(2000);  // 等待配網(wǎng)  WiFi.beginSmartConfig();  while (1)  {    Serial.print(".");    delay(500);    if (WiFi.smartConfigDone())    {      Serial.println("SmartConfig Success");      Serial.printf("SSID:%s
", WiFi.SSID().c_str());      Serial.printf("PSW:%s
", WiFi.psk().c_str());      WiFi.setAutoConnect(true);  // 設(shè)置自動(dòng)連接      break;    }  }   Serial.println("");  Serial.println("WiFi connected");    Serial.println("IP address: ");  Serial.println(WiFi.localIP());}void wifi_connect(){  Serial.println(F("Adafruit MQTT demo"));  // Connect to WiFi access point.  Serial.println();  Serial.println();  Serial.print("Connecting to ");  Serial.println(WLAN_SSID);
  WiFi.begin(WLAN_SSID, WLAN_PASS);  while (WiFi.status() != WL_CONNECTED)  {    delay(500);    Serial.print(".");  }  Serial.println();  Serial.println("WiFi connected");  Serial.println("IP address: ");  Serial.println(WiFi.localIP());}// Function to connect and reconnect as necessary to the MQTT server.// Should be called in the loop function and it will take care if connecting.void MQTT_connect(){  int8_t ret;
  // Stop if already connected.  if (mqtt.connected())  {    return;  }
  Serial.print("Connecting to MQTT... ");
  uint8_t retries = 3;  while ((ret = mqtt.connect()) != 0)  { // connect will return 0 for connected    Serial.println(mqtt.connectErrorString(ret));    Serial.println("Retrying MQTT connection in 10 seconds...");    mqtt.disconnect();    delay(10000); // wait 10 seconds    retries--;    if (retries == 0)    {      // basically die and wait for WDT to reset me      while (1)        ;    }  }  Serial.println("MQTT Connected!");}void mqtt_init(){  mqtt_sub1.setCallback(mqttcallback);  // Setup MQTT subscription for time feed.  mqtt.subscribe(&mqtt_sub1);  // function definition further below.  MQTT_connect();  mqtt.processPackets(1000);}/** * @brief mqtt接收回調(diào) *  * @param data  * @param len  */void mqttcallback(char *data, uint16_t len){  Serial.print("Hey we're in a onoff callback, the button value is: ");  Serial.println(data);}

總結(jié)

之前一直覺(jué)得TinyML是一個(gè)神秘莫測(cè)十分高大上的東西，通過(guò)這次活動(dòng)對(duì)深度學(xué)習(xí)、TinyML等有了更深刻的了解。恰巧最近公司項(xiàng)目中有一個(gè)需要場(chǎng)景識(shí)別的需求，后續(xù)我也將采用ESP32作為主控嘗試引入TinyML。syntiant NDP101 板卡雖然功能強(qiáng)大，但是受限于資料不完全開(kāi)源，目前我們還是不能了解到其完整的使用方法。希望后續(xù)能開(kāi)放其低層資料，讓大家來(lái)學(xué)習(xí)和使用，畢竟這么強(qiáng)一塊板卡讓更多Geek用起來(lái)才能發(fā)揮其強(qiáng)勁的性能。目前來(lái)看syntiant 的Arduino Demo程序僅僅是一個(gè)框架性質(zhì)的Demo，沒(méi)有辦法真的用于項(xiàng)目，math匹配函數(shù)在實(shí)際運(yùn)行時(shí)候，作為死循環(huán)運(yùn)行在低層，這點(diǎn)對(duì)新手來(lái)說(shuō)十分的不友好，希望后續(xù)官方更進(jìn)一步優(yōu)化Arduino下的代碼框架。