使用SAMD21 ML評估套件進(jìn)行手勢識別

描述

?

本教程將指導(dǎo)您完成使用 SensiML 構(gòu)建手勢分類器并將其部署到 Microchip SAMD21 機(jī)器學(xué)習(xí)評估套件的過程。我們還將就您在設(shè)計數(shù)據(jù)收集過程時應(yīng)考慮的因素以及您在開發(fā)自己的應(yīng)用程序時可能遇到的常見問題的解決方案提供一些指導(dǎo)。

與本指南一起提供的是一個完全開發(fā)的手勢分類器項目，包括數(shù)據(jù)集、預(yù)訓(xùn)練的機(jī)器學(xué)習(xí)模型和固件源代碼，可幫助您使用 SensiML 和 SAMD21 ML 評估套件快速啟動和運(yùn)行您自己的項目。

在你開始之前

在我們開始之前，您需要按照以下步驟中的詳細(xì)說明安裝和設(shè)置所需的軟件。

1. 安裝 MPLAB X IDE 和 XC32 編譯器。這些是加載手勢識別項目和對 SAMD21 板進(jìn)行編程所必需的。您可以使用 XC32 編譯器的默認(rèn)免費(fèi)許可證，因為我們在這里不需要任何專業(yè)功能。

2.如果您還沒有，請在 SensiML注冊一個免費(fèi)的社區(qū)版帳戶。我們將使用它來處理我們的傳感器數(shù)據(jù)并生成手勢分類庫。

3. 從 SensiML下載頁面下載 SensiML Data Capture Lab 并安裝。我們將使用它來將數(shù)據(jù)導(dǎo)入到我們的 SensiML 項目中。

4. 最后，前往該項目的 GitHub發(fā)布頁面并下載ml-samd21-iot-sensiml-gestures-demo.zip包含本指南的數(shù)據(jù)集和預(yù)構(gòu)建固件二進(jìn)制文件的存檔。

刷入手勢分類器演示固件

我們現(xiàn)在設(shè)置為運(yùn)行預(yù)構(gòu)建的固件。使用以下步驟，使用最新 GitHub 版本中的固件 HEX 文件對您的設(shè)備進(jìn)行編程

1. 通過 USB 將您的 SAMD21 評估套件插入您的 PC。SAMD21 應(yīng)自動作為 USB 閃存驅(qū)動器出現(xiàn)。

2. 打開ml-samd21-iot-sensiml-gestures-demo.zip之前下載的存檔，找到與您的傳感器品牌對應(yīng)的手勢分類器演示 hex 文件：

博世 IMU：TDK IMU：binaries/samd21-iot-sensiml-gestures-demo_bmi160.hex
binaries/samd21-iot-sensiml-gestures-demo_icm42688.hex

3. 將 hex 文件拖放到 SAMD21 USB 驅(qū)動器上以對設(shè)備進(jìn)行編程。

手勢分類器固件概述

有關(guān)此項目中包含的演示固件的描述，包括操作、使用和基準(zhǔn)測試，請參閱GitHub 存儲庫中的“README” 。

數(shù)據(jù)收集概述

在我們開始收集數(shù)據(jù)樣本之前，我們應(yīng)該對數(shù)據(jù)收集過程的設(shè)計進(jìn)行一些考慮；畢竟，我們收集的數(shù)據(jù)最終將決定我們可以通過機(jī)器學(xué)習(xí)模型實現(xiàn)的性能類型。

有關(guān)數(shù)據(jù)收集過程的深入指南，請參閱 SensiML 的使用 AutoML 構(gòu)建智能物聯(lián)網(wǎng)設(shè)備白皮書的“傳感器數(shù)據(jù)收集”部分（第 29 頁）。

數(shù)據(jù)收集：傳感器配置

數(shù)據(jù)收集過程的第一步是為您的應(yīng)用確定最佳傳感器配置；這包括傳感器的物理放置和安裝以及采樣率和靈敏度等信號處理參數(shù)。

很可能，您用于傳感器配置的許多設(shè)計參數(shù)是固定的（例如，由于固定板設(shè)計、共享傳感器使用等），但值得考慮的是應(yīng)用程序設(shè)計是否最適合您的機(jī)器學(xué)習(xí)任務(wù)，以及是否某些設(shè)計參數(shù)應(yīng)該改變。在設(shè)計的這一點上，您應(yīng)該問的問題是：在給定傳感器數(shù)據(jù)輸入的情況下，我是否可以合理地期望一種算法來預(yù)測所需的輸出？數(shù)據(jù)探索（例如可視化）將有助于在這里產(chǎn)生良好的初始假設(shè)，以及對信號域的良好工作知識（即理解工作中的物理過程）。

以下是我們在傳感器配置階段可能會提出的一些具體問題，以及一些可能的答案：

Q : 傳感器采樣參數(shù)應(yīng)該如何配置？（即采樣率、靈敏度/輸入范圍等）

答：選擇一種傳感器配置，以合理緊湊的表示形式捕獲感興趣的事件，并具有良好的信干比。

問：傳感器應(yīng)該如何放置？（即安裝和方向）

答：選擇一個可以最大限度地減少對干擾（例如來自發(fā)動機(jī)的振動）的敏感性的位置。

問：傳感器應(yīng)該如何固定？

答：選擇一種方法，以確保讀數(shù)隨時間和不同傳感器部署之間的一致性。

為了說明，以下是為該項目選擇的主要傳感器配置參數(shù)及其選擇背后的理由：

ParameterValue : 僅加速度計

選擇的手勢應(yīng)該對設(shè)備旋轉(zhuǎn)基本不變

參數(shù)值：100 Hz 采樣率

所選手勢的頻率范圍通常 < 5 Hz（即 10 Hz 奈奎斯特率），但選擇 100 Hz 是為了在數(shù)據(jù)收集過程中具有靈活性

ParameterValue : 16 G 加速度計范圍

最不敏感的設(shè)置，因為我們對微動不感興趣

數(shù)據(jù)收集：收集協(xié)議

數(shù)據(jù)收集過程的下一步是將收集數(shù)據(jù)時使用的協(xié)議放在一起。

粗略地說，我們希望通過協(xié)議實現(xiàn)三件事：

1. 一種可重復(fù)的數(shù)據(jù)收集方法

可重復(fù)的方法確保數(shù)據(jù)收集過程以規(guī)定的方式執(zhí)行，測量之間的差異最小，并確保我們數(shù)據(jù)的完整性。

2. 采樣參數(shù)將確保我們有足夠數(shù)量的樣本用于開發(fā)，以及足夠的多樣性（即覆蓋率）以使我們的最終模型能夠很好地泛化

一個好的經(jīng)驗法則是，對于要分類的每一類事件，您至少需要數(shù)十個樣本（30 個是一個很好的起點）；但是，這個數(shù)字可能會根據(jù)樣本之間的差異而增加。以手勢應(yīng)用程序為例，如果您想檢測一個圓圈手勢，但希望您的模型不受圓圈手勢的大小或速度的影響，您將需要更多的樣本來覆蓋性能范圍。

選擇樣本量時要考慮的另一件事是，您總是會在樣本中捕獲噪聲——即意外的差異；希望有足夠的樣本，訓(xùn)練算法將有足夠的信息來學(xué)習(xí)區(qū)分感興趣的信號和噪聲。

給智者的一句話：從小處做起！預(yù)計您的數(shù)據(jù)收集過程的開發(fā)將需要一些迭代；首先完善您的流程，然后開始擴(kuò)大規(guī)模。

3.在收集過程中要捕獲的一組元數(shù)據(jù)變量，可用于解釋樣本之間的已知差異

元數(shù)據(jù)變量（或標(biāo)簽）是你留下的面包屑，一旦它們加入到更大的樣本池中，你就可以追蹤它們；除其他外，這些標(biāo)簽可用于探索數(shù)據(jù)中的子組（例如，由單個測試對象執(zhí)行的所有手勢）并跟蹤您以后可能發(fā)現(xiàn)的任何數(shù)據(jù)問題（例如硬件問題、異常樣本等）。

對于這個演示項目，我們創(chuàng)建了一個數(shù)據(jù)協(xié)議文檔，其中指定了應(yīng)該如何執(zhí)行手勢，以及應(yīng)該收集哪些元數(shù)據(jù)。為了說明，下面是限制測試對象如何執(zhí)行收集手勢的指令。斜體文本定義了我們明確控制的固定實驗參數(shù)。

• 對象應(yīng)該以一種他們覺得自然的方式流暢地做出手勢。
• 對象應(yīng)連續(xù)做手勢至少十秒鐘
• 對象應(yīng)該站立
• 受試者應(yīng)使用慣用手
• 受試者應(yīng)用拇指和食指握住板子，繩子朝下，如下圖所示
• 受試者應(yīng)執(zhí)行遵循指定軌跡描述的手勢（例如順時針輪）

此外，為每個數(shù)據(jù)收集記錄了以下元數(shù)據(jù)值。

• 拍攝日期
• SAMD21測試板ID
• 測試環(huán)境標(biāo)識
• 測試對象ID
• （僅適用于空閑類數(shù)據(jù)）SAMD21 板的放置和方向

數(shù)據(jù)收集：后處理

最后，對所有數(shù)據(jù)樣本進(jìn)行后處理以形成最終數(shù)據(jù)集。

• 數(shù)據(jù)被精確地分成十秒的樣本
• 樣本被格式化為具有以下命名約定的 CSV 文件：

----.csv

• 樣品被分成幾份，80% 用于開發(fā)，20% 用于測試
• 對拆分進(jìn)行分層，以便開發(fā)集和測試集的每個類別和每個主題 ID 的樣本比例相同。

數(shù)據(jù)收集：數(shù)據(jù)捕獲工具

對于本指南，我們將使用手勢演示中包含的預(yù)構(gòu)建數(shù)據(jù)集，但要構(gòu)建您自己的數(shù)據(jù)集，您可以使用 MPLAB X數(shù)據(jù)可視化器和機(jī)器學(xué)習(xí)插件。這些插件可以串聯(lián)使用來捕獲樣本并將它們導(dǎo)出為 CSV 或 DCLI 文件（SensiML 的本機(jī)格式），這些文件可以輕松導(dǎo)入 SensiML 的數(shù)據(jù)捕獲實驗室。

為了將 ML 評估套件與 MPLAB Data Visualizer 一起使用，您需要使用 GitHub 上維護(hù)的數(shù)據(jù)記錄器固件。為方便起見，此項目中使用的傳感器配置的預(yù)構(gòu)建二進(jìn)制文件已打包在最新版本中ml-samd21-iot-sensiml-gestures-demo.zip包含的存檔中：

博世 IMU：binaries/samd21-iot-data-visualizer_bmi160_100hz-axayzgxgygz-16g-2000dps.hexTDK IMU：binaries/samd21-iot-data-visualizer_icm42688_100hz-axayzgxgygz-16g-2000dps.hex

有關(guān)數(shù)據(jù)捕獲過程的更多信息，請參閱將ML 插件與 SensiML指南一起使用。

使用 Data Capture Lab 導(dǎo)入數(shù)據(jù)

讓我們繼續(xù)將數(shù)據(jù)導(dǎo)入新的 SensiML 項目。

1. 將包含手勢數(shù)據(jù)集的存檔提取ml-samd21-iot-sensiml-gestures-demo.zip到工作目錄中。

2. 打開 SensiML Data Capture Lab 工具并為本指南創(chuàng)建一個新項目。

3. 打開新創(chuàng)建的項目后，導(dǎo)航到文件菜單并單擊從 DCLI 導(dǎo)入…項，如下圖所示。

4. 在出現(xiàn)的對話框中，導(dǎo)航到您之前提取ml-samd21-iot-sensiml-gestures-demo.zip存檔的文件夾，然后打開位于 的 DCLI 文件dataset/train/train.dcli。逐步完成生成的導(dǎo)入提示，將所有設(shè)置保留為默認(rèn)設(shè)置，直到您到達(dá)Select a Device Plugin窗口。

5. 當(dāng)您到達(dá)Select a Device Plugin對話框時，單擊SAMD21 ML Eval Kit項，如下圖所示，然后單擊Next 。

6、選擇設(shè)備插件后，會出現(xiàn)插件詳情頁面；單擊“下一步”前進(jìn)到“傳感器屬性”頁面。在屬性頁面上，填寫與下圖所示配置匹配的字段（如果您使用的是 TDK IMU，則選擇 ICM 傳感器），然后單擊Next 。

7. 最后，在Save Sensor Configuration窗口中為傳感器配置命名。如下圖所示，我們簡單地選擇了名稱BMI160 。

8. 重復(fù)步驟三、四導(dǎo)入測試樣本（dataset/test/test.dcli）；這是將用于驗證模型的數(shù)據(jù)。出現(xiàn)提示時，使用我們在上一步中創(chuàng)建的相同傳感器配置。

至此，我們的項目已經(jīng)設(shè)置好我們需要的數(shù)據(jù)，我們可以進(jìn)入模型開發(fā)階段。

?

圖 7：導(dǎo)入手勢數(shù)據(jù)集的項目。

?

模型開發(fā)

現(xiàn)在讓我們進(jìn)入 Analytics Studio 以生成我們的分類器模型。

1. 在您的網(wǎng)絡(luò)瀏覽器中打開Analytics Studio并登錄。

2. 導(dǎo)航到主頁選項卡以查看您的項目并打開您在上一節(jié)中創(chuàng)建的項目，如下圖所示。

?

圖 8：打開您的新 SensiML 項目。

?

3. 導(dǎo)航到準(zhǔn)備數(shù)據(jù)選項卡以創(chuàng)建將用于訓(xùn)練機(jī)器學(xué)習(xí)模型的查詢。如下圖所示填寫字段；這些查詢參數(shù)將僅選擇訓(xùn)練折疊中的樣本，并且僅使用加速度計軸。

SensiML Query確定將選擇我們數(shù)據(jù)集中的哪些數(shù)據(jù)進(jìn)行訓(xùn)練。我們可以使用它來排除樣本（例如我們的測試樣本）或排除數(shù)據(jù)軸（例如陀螺儀軸）。

?

圖 9：在訓(xùn)練模型時創(chuàng)建要使用的查詢。

?

4. 切換到構(gòu)建模型選項卡開始開發(fā)機(jī)器學(xué)習(xí)模型。如下圖所示填寫字段。請注意，唯一需要更改默認(rèn)設(shè)置的設(shè)置是查詢（在最后一步中創(chuàng)建）、優(yōu)化指標(biāo)（f1-score）和窗口大小（200 個樣本）。

由于手勢數(shù)據(jù)集的類分布不平衡，此處選擇準(zhǔn)確度優(yōu)化指標(biāo)會使模型優(yōu)化偏向樣本較多的類；因此，我們選擇f1-score來提供更好的模型性能代表性度量。我們在這里選擇 200 的窗口大小（即 100 Hz IMU 采樣率時兩秒），因為這足以覆蓋至少一個周期我們感興趣的手勢。

圖 10：用于生成手勢分類器模型的管道設(shè)置。

?

5. 輸入管道設(shè)置后，單擊優(yōu)化按鈕。此步驟將使用 AutoML 技術(shù)為給定輸入數(shù)據(jù)的手勢分類任務(wù)自動選擇最佳特征和機(jī)器學(xué)習(xí)算法。此過程通常需要幾分鐘。

?有關(guān) AutoML 配置參數(shù)的更多詳細(xì)信息，請參見AutoML 文檔頁面。

6.構(gòu)建模型優(yōu)化步驟完成后，導(dǎo)航到測試模型選項卡。

?

圖 11：驗證生成的分類器模型。

?

一個。選擇我們在上一步中創(chuàng)建的管道。

灣。選擇上一步生成的模型之一，通常，秩為0的模型是所有生成的候選模型中的最佳折衷。

C。選擇折疊列中的倒三角形圖標(biāo)并選擇測試以過濾數(shù)據(jù)，以便僅選擇測試樣本。

d。單擊位于表最左列的省略號 (...)，然后選擇全選以包括所有測試樣本。

e. 單擊計算摘要以生成測試樣本的混淆矩陣。這應(yīng)該需要幾分鐘；完成后，您將看到如下圖所示的表格，匯總了分類結(jié)果。

?混淆矩陣?yán)L制了真實標(biāo)簽（行）與預(yù)測標(biāo)簽（列）的分類結(jié)果。最右邊的列顯示每個類的敏感度（或召回）分?jǐn)?shù)（真陽性預(yù)測/總真陽性），最底部的行顯示精度分?jǐn)?shù)（真陽性預(yù)測/總陽性預(yù)測）。

?

圖 12：測試樣本的分類結(jié)果。

?

7. 最后，導(dǎo)航到下載模型選項卡以部署您的模型。使用您在前面的步驟中創(chuàng)建的Pipeline 、Model和Data Source填寫Knowledge Pack設(shè)置，并選擇Library輸出格式（參見圖 13 以供參考），然后單擊Download按鈕。

庫格式適用于所有 SensiML 訂閱層，將為生成的機(jī)器學(xué)習(xí)模型生成預(yù)編譯庫，以及定義用戶 API 的頭文件。

圖 13：知識包部署設(shè)置。

?

您現(xiàn)在應(yīng)該有一個用于 SAMD21 的編譯庫，其中包含您可以集成到您自己的項目中的機(jī)器學(xué)習(xí)模型。有關(guān) Analytics Studio 的更多詳細(xì)信息，請訪問 SensiML 的文檔頁面。

知識包集成

讓我們使用我們的 SensiML 庫（即知識包）并將其集成到現(xiàn)有的 MPLAB X 項目中，使用手勢演示項目作為模板。

使用本指南隨附的 MPLAB X 項目作為您自己項目的起點。這將省去您自己進(jìn)行硬件和項目配置的麻煩。

1. 從GitHub存儲庫下載手勢演示源代碼或使用 git clone https://github.com/MicrochipTech/ml-samd21-iot-sensiml-gestures-demo/克隆存儲庫。除了演示源代碼之外，該存儲庫還包含為使用 SensiML 知識包而預(yù)先配置的 MPLAB X 項目。

2. 將 SensiML 知識包的內(nèi)容（上一節(jié)中下載的 ZIP 存檔）解壓縮到 MPLAB X 項目所在的同一根文件夾中，以便覆蓋現(xiàn)有的知識包文件夾。

3.導(dǎo)航到knowledgepack/knowledgepack_project解壓后的知識包中的文件夾，定位到app_config.h；將此文件移動到固件src目錄（與 .X 項目相同的根文件夾）以替換現(xiàn)有的app_config.h；這將確保您的應(yīng)用程序的傳感器配置與模型開發(fā)中使用的傳感器配置相匹配。

4.在 MPLAB X IDE 中打開項目。samd21-iot-sensiml-gestures-demo.X

5. 在 MPLAB X 中，打開Source Files下的 main.c 文件。

6. 向下滾動到class_map定義變量的位置 - 請參閱下圖以供參考。修改字符串以匹配在 Analytics Studio的下載模型步驟中class_map顯示的類映射。請注意，“UNK”類（整數(shù) 0）由 SensiML 保留，因此此映射不會更改。

?

圖 14：類到標(biāo)簽的映射。

?

7. 在主 while 循環(huán)內(nèi)向下滾動一點，直到到達(dá)如下圖所示的部分，該部分以調(diào)用buffer_get_read_buffer. kb_run_model這是代碼的核心：它通過函數(shù)調(diào)用我們從 IMU 獲得的每個樣本的 SensiML 知識包，并kb_reset_model在成功進(jìn)行推理時調(diào)用。

在此處修改 LED 代碼以反映您的類映射。?

該kb_run_model函數(shù)是 SensiML SDK 的主要入口點；它在內(nèi)部緩沖我們給它的樣本，并在它有足夠的數(shù)據(jù)時進(jìn)行推斷。對于本指南中的項目，每 200 個樣本進(jìn)行一次推斷 - 這對應(yīng)于我們在 Analytics Studio 中模型開發(fā)的查詢步驟中定義的窗口大小參數(shù)。將返回一個負(fù)整數(shù)，直到它有足夠的數(shù)據(jù)來運(yùn)行推理。kb_run_model

?

圖 15：主循環(huán)代碼。

?

好的，你現(xiàn)在應(yīng)該準(zhǔn)備好編譯了。繼續(xù)并單擊工具欄中的Make and Program Device按鈕以編譯您的固件并將其刷新到 SAMD21 MCU。

最后的話

而已！您現(xiàn)在應(yīng)該基本了解如何使用 SensiML 和 SAMD21 ML 評估套件開發(fā)手勢識別應(yīng)用程序。

有關(guān)數(shù)據(jù)驅(qū)動設(shè)計過程的深入指南，請參閱 SensiML 的使用 AutoML 構(gòu)建智能物聯(lián)網(wǎng)設(shè)備白皮書。

要了解有關(guān) SensiML 工具包的更多信息，包括其他機(jī)器學(xué)習(xí)應(yīng)用程序的教程，請轉(zhuǎn)到 SensiML入門頁面。