使用TinyML和Arduino Nano 33 BLE計算閱讀時間

描述

作為一個 70 年代出生的作家，我當然喜歡紙質(zhì)書，但在使用 Kindle 多年后，我已經(jīng)習(xí)慣了一些我不想失去的功能。

有什么特點？例如剩余的閱讀時間。紙質(zhì)書可以實現(xiàn)這樣的功能嗎？如何？

第一個想法（最壞的想法）是在每頁翻頁時添加一個按鈕。

它會起作用嗎？當然，但從工程的角度來看，這會有點煩人，而且一點也不有趣。

用音頻代替呢？你能教 Arduino 翻頁聽起來應(yīng)該是怎樣的嗎？

當然。借助一點機器學(xué)習(xí)的幫助。

?

這個項目你需要什么？

• Arduino BLE 33 Sense （具有板載麥克風(fēng)和強大的 Nina B3 芯片）
• Edge Impulse 免費帳戶，這是一個簡化機器學(xué)習(xí)任務(wù)的平臺。
• 一個 Adafruit Oled 128x32 屏幕（顯示閱讀時間）
• 一個電位器（設(shè)置書頁）

電路

Oled 屏幕 VCC 轉(zhuǎn) Arduino 3.3v，GND 轉(zhuǎn) Arduino GND，SDA 轉(zhuǎn) A4，SCL 轉(zhuǎn) A5

電位器連接到 VIN、GND 和 A0

圓環(huán)

?

帶有邊緣脈沖的 TinyML

創(chuàng)建免費的 Edge Impulse 帳戶后，轉(zhuǎn)到數(shù)據(jù)采集、收集數(shù)據(jù)、使用您的計算機。允許瀏覽器權(quán)限并在每次翻頁之間間隔 2 秒保存至少 5 分鐘。完成后，音頻將被上傳，一個臨時彈出窗口會在準備就緒時通知您。然后您將能夠在訓(xùn)練數(shù)據(jù)中看到數(shù)據(jù)。做同樣的事情，但現(xiàn)在記錄房間噪音。

數(shù)據(jù)采集

?

現(xiàn)在，單擊 1 分鐘收集的數(shù)據(jù)音頻中第一個右側(cè)的 3 個點，然后拆分樣本。對所有樣本執(zhí)行相同的操作。

重新平衡儀表板中的數(shù)據(jù)集，以便您可以有 80% 的訓(xùn)練和 20% 的測試。

現(xiàn)在用 MFCC 設(shè)計您的 Impulse，2000ms 窗口大小，1000ms 窗口增加。節(jié)省。轉(zhuǎn)到 MFCC Generate Features 并確認 Window size 為 101。然后轉(zhuǎn)到 NN Classifier，300 個訓(xùn)練周期，0.05 學(xué)習(xí)率，0.80 置信度，Noise high，Mask time band low 和 mask freq none。最后，開始訓(xùn)練。

?

現(xiàn)在您可以轉(zhuǎn)到模型測試并檢查全局準確性。如果你得到一個很好的百分比，你就可以將模型部署到 Arduino。轉(zhuǎn)到部署，Arduino 庫。保存文件并使用 Arduino IDE、Include Library、Add Zip library 添加 zip。

然后您可以加載示例 nanoble33 麥克風(fēng)并測試模型。

然后，您可以在Github 閱讀時間下載此項目的完整代碼。您應(yīng)該更改包含行 #include 以使用 nanoble33microphone 示例中指示的 same.h。

那是... 119小時，那好吧

?

閱讀時間計算

假設(shè)這本書有 100 頁。如果我每分鐘讀了 2 頁，而我還有 50 頁要讀，我會在 50/2 x 1 分鐘內(nèi)結(jié)束這本書。那是25分鐘。

這是進行該計算的代碼

int remainingMinutes=(elapsedTime/pagesCounter)*(pages-pagesCounter)/1000/60;

注意：1000 從毫秒轉(zhuǎn)換為秒，然后 60 用于分鐘轉(zhuǎn)換。

如果我們使用響亮的聲音檢測來避免所有機器學(xué)習(xí)的麻煩怎么辦？

這種方法有兩個問題。第一個問題是任何響亮的聲音（例如關(guān)門聲或電話）都會被計算在內(nèi)，第二個問題是這樣做一點也不好玩。在下面的視頻示例中，您可以驗證是否僅檢測到翻頁聲音。

3d打印案例

使用Fusion 360 ，我制作了一個簡約的外殼支架。

您可以在 Thingiverse 找到該文件。它只是一件，無需支撐即可打印。

融合 360 設(shè)計

?

演示視頻

一些故障排除

串口監(jiān)視器問題：您可能需要在端口 5 和端口 6 之間切換以進行上傳和串口監(jiān)視器。

Windows 10 編譯問題：由于文件名太長的問題，我確實在根目錄下創(chuàng)建了一個臨時文件夾，并在首選項文件 Users/Your User/AppData/Local/Arduino15/Preferences 中添加了 build.path

Edge Impulse 版本：如果您要導(dǎo)出新版本，您可能必須從 Documents/Arduino/Libraries 中刪除舊版本，或者可以使用 previous.h 文件。

還可以查看

TinyML 使用 Arduino BLE 33 加速度計數(shù)據(jù)從肩傷中恢復(fù)。

對其他與文學(xué)和電子藝術(shù)相關(guān)的項目感興趣？

• Ted Talk Inventar es tan preciso 帶英文字幕
• Haiku 電子墨水閱讀器
• 簽名者
• 基于羅爾德達爾故事的克勞斯納機器

?