輔助通訊器和智能夜燈

描述

注意：由于#cloudgames2022 提交截止日期，我沒有時間添加我設計的所有功能。待定功能將被標記為TBR （待發(fā)布），一些視覺效果的“裝扮”也將被標記。在我的日常工作和我的激情之間的無休止的戰(zhàn)斗中，我將繼續(xù)重溫這篇文章。

#CLOUDGAMES2022

非常感謝 Arduino 讓我參與這些 cloudgames2022。通過 Opla IoT Kit 和始終在線的 Arduino 社區(qū)，我了解了音頻再現(xiàn)、數(shù)模轉(zhuǎn)換、與云服務的集成、PIR 傳感器、光元素中的顏色、TFT 屏幕、UNIX 時間戳等等。在這篇文章中，我分享了我對這些以及我在過去一年中學到的其他主題的研究和發(fā)現(xiàn)（以及許多鏈接）（自從我開始研究這個微電子兔子洞以來），希望為其他人提供同樣的禮物：在生產(chǎn)有用的東西的同時學習的機會。

背景

該項目是使用技術為自閉癥患者提供替代通信選項的另一項努力（請參閱我的電容式觸摸和藍牙信板）。認識到他們在發(fā)起互動時面臨的挑戰(zhàn)（“自閉癥慣性”，一種影響他們意圖的經(jīng)常使人衰弱的困難），我將 Opla IoT 套件用作遠程互動的預定義消息促進者（文本和語音）。

預定義消息通過多感官（即語音、文本和 RGB LED 序列）為自閉癥個體提供可重復的體驗，以嘗試加速其熟悉、重復并因此加速其使用。發(fā)送給 Opla 運營商的消息可以針對特定事件或白天的時刻（例如“晚安，兒子”、“我為你在學校的努力感到自豪”、“我愛你”等） 和那些使用 Opla 運營商作為來自主題的常規(guī)或重復消息發(fā)送到儀表板（即“我想要壽司”、“我很高興”、“ ETC。）。

為了進一步提高對 Opla 載體的熟悉度并幫助自閉癥患者將其變成自己的，我們添加了一些應用程序，例如智能夜燈。

和大多數(shù)與自閉癥有關的事情一樣，這是反復試驗......

OPLA IOT 套件的增強功能

Opla IoT 套件基于 MKR IoT Carrier （備忘單）和 Arduino IoT Cloud （備忘單），并具有許多開箱即用的功能。但與每個微電子項目一樣，每個用例都可以/將需要一些增強功能，因此我添加了兩個新功能：

1. 手機定向通知。當IoT Cloud 儀表板中的某些變量發(fā)生變化時， Arduino IoT 遠程應用程序(iOS/Android) 不會產(chǎn)生通知，從而使您錯過重要的閾值，或者在這種情況下，錯過消息。

我開始研究 IFTTT與ClickSend的SMS 集成，以便在我的手機中接收 SMS 消息。雖然簡單且實用，但問題在于在美國和加拿大以外（我在墨西哥），每條消息都涉及成本。

然后我測試了IoT Cloud 與 Telegram 的集成，這很容易實現(xiàn)，但由于它暗示了一個額外的應用程序，我為了更簡單而放棄了它。

最后，我意識到 IFTTT 移動應用程序 (iOS) 確實會產(chǎn)生通知，因此通過IoT Cloud Webhook將 Arduino 儀表板與 IFTTT 小程序綁定是可行的方法。

這種方法有一個警告：物聯(lián)網(wǎng)云儀表板上的 webhook會在任何變量上發(fā)生任何更改時被調(diào)用。無法進行過濾或選擇，即如果事物有 10 個變量，則 webhook 將在啟動時被調(diào)用10 次。解決方案 #1 是獲得 IFTTT Pro 訂閱，并在 IFTTT 小程序中添加帶有 JavaScript 的過濾器。解決方案 #2 是在 MKR1010 的代碼中對 IFTTT 服務器使用有針對性的 GET HTTP 語句（只需確保使用安全的 https 連接）。我想將其卸載到云端，但選項 2 更簡單。

手機上的 IFTTT 通知

?

因此，要創(chuàng)建您的 IFTTT 小程序，請從Maker Webhook開始，然后在文檔下（僅在您免費創(chuàng)建 IFTTT 帳戶后才會出現(xiàn)），您將獲得您的密鑰和 JSON 詳細信息以添加到您的代碼中。請務必訪問他們的Connect API 文檔以獲取完整的詳細信息。

2.在運營商中播放預先錄制的消息。IoT Cloud 儀表板提供向運營商發(fā)送開放或預定義的文本消息。我添加了此音頻功能，以在發(fā)生特定觸發(fā)時播放存儲在 SD 卡（庫）中的預先錄制的消息。

我將D 類單聲道放大器連接到 DAC0 以發(fā)送 WAV 數(shù)據(jù)。但由于 DAC0 也用作載體的其中一個觸摸傳感器中的 A0，因此在檢查傳感器中的觸摸事件時，載體代碼的每個循環(huán)都會產(chǎn)生咔噠聲。禁用 A0 上的觸摸會限制運營商的功能，因此使用連接到 MKR1010 板的數(shù)字引腳 14 的放大器的關閉引腳（我沒有使用分配給 D14 的運營商繼電器）允許僅在播放時打開放大器信息。

對于這個用例，我發(fā)現(xiàn)了幾個具有不同限制的音頻庫：

• TMRpcm是最好的，但僅適用于 AVR MCU（即 UNO、MEGA、Nano Classic 等）

• ArduinoSound非常好，但僅適用于 I2S 設備（即I2S 3W Amplifie r）

• AudioZero可與我的模擬放大器和 SAMD MCU（即 MKR 系列、Nano 33 IoT 等）配合使用，但采樣率僅為 8kHz，產(chǎn)生較差的語音聲音。

• 我選擇了 D34G 出色的SamdAudioSD （針對基于 SAMD 的 MCU），盡管進行了一些修改：我在我的本地SamdAudioSD.cpp副本中注釋掉了所有對數(shù)字 Pot 功能的引用，因為我沒有使用數(shù)字電位器并且這些部分創(chuàng)建編譯錯誤。

從 DAC0 發(fā)送音頻僅限于 8 位單聲道 PCM WAV 格式（未壓縮和模擬）。SamdAudioSD 庫允許在 WAV 文件中使用 44.1 kHz 的采樣率，從而提供可接受的語音質(zhì)量。使用Audacity輕松制作、增強和轉(zhuǎn)換預先錄制的消息，這是一個了不起的開源音頻編輯器和錄音機。您還可以從Freesound添??加各種聲音和特殊效果。

大膽的Windows

?

預錄消息的回放還允許在本地產(chǎn)生事件的反饋或確認，即當通過移動或觸摸檢測到存在時或當從載體發(fā)出消息時。下面是播放的子程序。

播放功能（下面提供完整代碼）

?

IoT Cloud Dashboard for his Use Case的其他限制

• “Messenger”類型的小部件（處理字符串）不識別轉(zhuǎn)義序列（即\n），也不包含長字符串。結果：長字符串將被截斷。

• 如果接收到的字符串值（即“檢測到存在”）與前一個值相同，即使在不同的時間間隔，也不會創(chuàng)建其接收實例。解決方法：將一個簡單的時間戳添加到發(fā)送到小部件的字符串中以使其唯一。

消息功能

從運營商到儀表板的消息傳遞

• 通過抓住或觸摸載體來檢測存在，然后向接收者的移動設備和物聯(lián)網(wǎng)云儀表板發(fā)送遠程通知，表明個人可能已準備好接收消息。

• 通過 5 個觸摸傳感器選擇預定義消息之一。觸摸 時，播放所選文本的預錄語音，作為消息發(fā)送的確認。(TBR)

從儀表板到運營商的消息傳遞

• 從物聯(lián)網(wǎng)云儀表板（PC 或移動設備）中，按相應按鈕發(fā)送 4 條預定義消息中的任何一條。消息以文本形式在屏幕上接收，帶有蜂鳴器和 LED 通知，并播放其分配的預先錄制的消息。

• 開放文本消息也可以發(fā)送給運營商，盡管除了簡單的通知之外沒有分配的預先錄制的消息。

• 每條消息都有一個獨特的 GIF 圖像或屏幕上顯示的特征Opla UI 。(TBR)

消息儀表板

?

智能小夜燈

智能夜燈服務考慮使用單獨的儀表板來管理應打開服務的時間表以及用作夜燈的燈光類型（顏色和亮度）。如果檢測到的房間亮度低于定義的閾值，則夜燈會在時間表內(nèi)自動打開。這也有助于在白天或房間燈打開時節(jié)省電池使用量。

此外，該服務將使用帶有過濾器的PIR 運動傳感器，根據(jù)定義的時間范圍內(nèi)的大量檢測來確定檢測到的運動是否應被視為相關。這將有助于消除誤報，例如當對象上床時（與對象醒著時相反）。發(fā)生這種情況時，該服務會將夜燈變?yōu)榫G色：有一些研究表明燈光顏色如何影響睡眠。

還要考慮使用 PIR 傳感器的其他一些注意事項。關于靈敏度和阻塞時間的一些細微差別不容忽視。

為了選擇夜燈顏色和亮度，我首先嘗試使用與Color 小部件關聯(lián)的CloudColor 變量（簡單而優(yōu)雅），但這些元素使用 HSV（色相飽和度值）配色方案，而 LED 燈條上運營商使用 RGB（紅-綠-藍；嗯，實際上是 BGR。參見 MKRIoTCarrier.h 的第 128 行）。運營商 LED 燈條的DotStar 庫具有 HSV 到 RGB 的轉(zhuǎn)換功能，但因為它是針對 RGB（不是 BGR）的，所以我無法及時讓它工作。所以我為每種 RGB 顏色使用了一個單獨的變量和滑塊小部件。

智能燈儀表板

?

附加夜燈功能 (TBR)

• 通過檢測到的運動增加流明輸出。

• 使用RTCZero或RTC庫和一個簡單的子程序?qū)?GMT（從物聯(lián)網(wǎng)云獲得）轉(zhuǎn)換為本地時間（參見代碼中的 updateLocalTime() ）。

• 在檢測到定義的移動閾值后，播放預定義的消息（即“返回睡眠”等）并將通知發(fā)送到云和/或移動設備。

下一步是什么

隨著項目的進展要添加的其他功能：

• 遠程更新運營商 SD 卡上的 WAV 文件。初步選項 1 是從儀表板接收指令，然后觸發(fā) GET HTTP 到數(shù)據(jù)服務器（如Firebase 或 Firestore ）保存音頻文件。選項 2 是在 MKR1010 上運行 Web 服務器，網(wǎng)頁在 SD 卡上，并使用像ngrok這樣的公共 URL 服務來訪問客戶端的文件系統(tǒng)，選擇一個文件，然后將其傳輸?shù)?SD 卡。

• OTA系統(tǒng)更新。這不應該出現(xiàn)問題，因為它是由 Arduino 的物聯(lián)網(wǎng)云服務提供的。

• 電池監(jiān)控。讀取 MKR1010 上的 ADC_Battery（可能通過BatterySense ），并在需要充電時通過儀表板和運營商的 TFT 屏幕進行報告。

• 動畫 GIF。這將增強載體在幾個功能上對主體的適口性。迄今為止最好的選擇是使用 Larry Bank 的AnimatedGIF和他自己的圖像轉(zhuǎn)換工具。真正的問題將是 MKR 1010 上的總可用內(nèi)存。

• 3 呼吸應用程序。可以在通過智能夜燈服務的某個移動閾值后調(diào)用，或由主體有意選擇（或由于過度搖晃載體）或作為儀表板用戶發(fā)送的消息。當對象向載體呼吸 3 次時，TFT 屏幕中的氣球圖像會膨脹和放氣（參見動畫 GIF），由濕度傳感器檢測到。呼吸順序由預先錄制的信息輔助（即“吸氣”、“緩慢呼氣”等）