讓人們在COVID時代移動和互動

描述

激勵

今天的生活與 COVID-19 之前的生活大不相同。成人和兒童都被迫隔離，事實證明這不僅對身體有害，而且對精神和情感造成傷害。我們的目標是提供一種不僅安全，而且具有娛樂性和挑戰(zhàn)性的娛樂方式。

MOTIVATE 是我們的創(chuàng)作，它提供了一個虛擬迷宮，用戶在其中與其他用戶和 AI 機器人競爭以完成迷宮而不被捕獲。完成迷宮不僅需要身體能力，還需要空間和邏輯推理。

?

?

?

?

1 / 3

?

游戲設(shè)置

玩家首先選擇他們的迷宮。他們可以選擇一個活躍的游戲或請求一個新生成的迷宮。活躍游戲可以有其他活躍玩家或機器人，而新游戲是本地游戲而不是多人游戲。然后玩家繼續(xù)選擇他們的角色類別。職業(yè)是：巫師、盜賊和戰(zhàn)士。奇才將盜賊送回開始，盜賊將戰(zhàn)士送回開始，戰(zhàn)士將奇才送回（roshambo風格）。玩家還可以通過選擇游戲選項卡并使用靈敏度滑塊隨時設(shè)置移動和轉(zhuǎn)動靈敏度以及“后退”和“左/右滑動”動作。一旦用戶做出他/她的選擇，他們通過滑動并選擇游戲選項卡來繼續(xù)游戲。

游戲玩法

游戲是實時進行的，玩家使用動作來導航迷宮。玩家的目標是在最短的時間內(nèi)走到迷宮的盡頭。不過也有障礙。玩家必須找出最短路徑，同時在可能屬于競爭角色類別的其他玩家周圍導航。捷徑確實存在。如果使用正確的動作，迷宮將包含“高”和“低”的墻壁，用戶可以通過這些墻壁。高墻是綠色的，可以“蹲”過，低墻是黃色的，可以“跳”過。

游戲運動

玩家可以使用以下動作在迷宮中導航：

• 向前——向前走。將玩家向前移動 1 步
• 左/右轉(zhuǎn) - 向左或向右旋轉(zhuǎn)。向左或向右改變玩家方向 90 度。
• *向后 - 向后走。將玩家向后移動 1 步
• *左/右滑動 - 向左或向右側(cè)步。將玩家向左或向右移動 1 步。

*可選，可以在游戲選項卡上切換。

迷宮標簽

迷宮選項卡是玩游戲的主要選項卡。玩家有兩張地圖；以玩家為中心并以玩家為中心的主要相對地圖以及具有靜態(tài)方向并顯示整個地圖以及所有玩家和位置的較小絕對地圖。選項卡的右下部分有信息窗格。在這個窗格中，玩家可以看到他們的步數(shù)、活動動作分類、對手的名字、經(jīng)過的時間以及穩(wěn)定性和動作 LED。穩(wěn)定性 LED 指示設(shè)備被保持在正確的位置。如果設(shè)備未保持在正確位置，此 LED 將閃爍。運動 LED 指示分類器正在運行并處理來自 IMU 的信號。

訓練選項卡

訓練選項卡用于收集用于構(gòu)建激勵 CNN 模型的訓練樣本。用戶可以使用右側(cè)控制按鈕選擇他們的類操作，并使用中間控制按鈕打開/關(guān)閉收集。將以 30Hz 的頻率收集樣本。并通過 AWS IoT (MQTT) 提供給激勵后端。

建造

激勵具有三個主要組成部分；激勵模型、后端和應(yīng)用程序。該模型是一個基本的 CNN 分類器，在 Core2 上本地運行，并提供 IMU 測量的實時分類以確定玩家運動。后端用于生成和分發(fā)迷宮、收集訓練數(shù)據(jù)和多人游戲管理。應(yīng)用程序是在 Core2 上本地編譯和運行的一組代碼和包。

模型

訓練中使用的模型數(shù)據(jù)是；20 個標準化 IMU 讀數(shù)樣本 @ 30 Hz。（約 2/3 秒的訓練樣本）。標準化通過以下方式完成：

(Sa-Samin)/(Samax-Samin) * 255和(Sg-Sgmin)/(Sgmax-Sgmin) * 255

在哪里：

• Sa - 加速度計 XYZ 樣本
• Sg - 陀螺儀 XYZ 樣本
• Samin/max - 加速度計最小值/最大值（通過檢查發(fā)現(xiàn)）
• Sgmin/max - 陀螺儀最小/最大值（通過檢查發(fā)現(xiàn)）

模型數(shù)據(jù)標注如下：

• 0 - 休息
• 1 - 前鋒
• 2 - 向后
• 3 - 左轉(zhuǎn)
• 4 - 右轉(zhuǎn)
• 5 - 向上（跳躍）
• 6 - 向下（蹲下）
• 7 - 左側(cè)臺階
• 8 - 右側(cè)踏步

該模型是一個簡單的卷積神經(jīng)網(wǎng)絡(luò)，具有以下架構(gòu)：

Model: "sequential"
_________________________________________________________________
Layer (type)                 Output Shape              Param #   
=================================================================
conv2d (Conv2D)              (None, 20, 6, 16)         208       
_________________________________________________________________
max_pooling2d (MaxPooling2D) (None, 6, 2, 16)          0         
_________________________________________________________________
dropout (Dropout)            (None, 6, 2, 16)          0         
_________________________________________________________________
conv2d_1 (Conv2D)            (None, 6, 2, 16)          1040      
_________________________________________________________________
max_pooling2d_1 (MaxPooling2 (None, 2, 2, 16)          0         
_________________________________________________________________
dropout_1 (Dropout)          (None, 2, 2, 16)          0         
_________________________________________________________________
flatten (Flatten)            (None, 64)                0         
_________________________________________________________________
dense (Dense)                (None, 16)                1040      
_________________________________________________________________
dropout_2 (Dropout)          (None, 16)                0         
_________________________________________________________________
dense_1 (Dense)              (None, 9)                 153       
=================================================================
Total params: 2,441
Trainable params: 2,441
Non-trainable params: 0

培訓結(jié)果

以下是每個標簽的 F1 分數(shù)。達到了 A.95 F1 復(fù)合精度。

class   precision    recall  f1-score   support             
0       1.00      0.95      0.98        44            
1       0.90      0.94      0.92        95            
2       0.93      0.91      0.92       109            
3       1.00      1.00      1.00        52            
4       1.00      1.00      1.00        41            
5       1.00      1.00      1.00        38            
6       0.99      1.00      0.99        71            
7       0.88      0.91      0.89        54            
8       0.95      0.91      0.93        45      

accuracy                               0.95       549    
macro avg          0.96      0.96      0.96       549 
weighted avg       0.95      0.95      0.95       549

將模型部署到設(shè)備

提供的 jupyter notbook 的最后一步是下載模型結(jié)果。在將模型導入您的應(yīng)用程序時，請使用 `xxd` 工具將 tflite 模型文件轉(zhuǎn)換為 ac 源文件并將結(jié)果復(fù)制到您的項目中。

xxd -i mot-imu-quant.tflite > mot-imu-model.cc
sed -i 's/mot_imu_quant_tflite/g_model/g' mot-imu-model.cc # change model name to match code
cp mot-imu-model.cc <to your project>

后端

后端由一些不同的 AWS 服務(wù)組成，如下所示：

• Maze Proxy - 為 Maze 服務(wù)提供 HTTP 前端。
• Maze API - 用于迷宮生成和傳播的 HTTPS Restful 接口。
• Maze Generator - 用于檢索和生成迷宮的 Lambda。
• MOT MQTT - MQTT 中間件，用于定義主題拓撲、生成 MOT 設(shè)備密鑰和 MQTT 消息傳播以進行游戲。
• 游戲管理器 - 運行 MOT 機器人和游戲管理器的 EC2 系統(tǒng)。

迷宮生成和游戲機器人/管理器的代碼可以在mot-play存儲庫中找到。后端當前存在并且可用。如果您希望構(gòu)建此項目而不提供后端，請聯(lián)系一組密鑰。

應(yīng)用

該應(yīng)用程序由 platformio 項目中的一組 c++ 和 c 代碼組成。重新創(chuàng)建應(yīng)用程序的步驟如下：

• 安裝可視化代碼
• 安裝平臺
• 克隆激勵存儲庫。
• 在激勵存儲庫的根目錄中打開 Visual Code。
• 生成sdkconfig
• 使用 menuconfig 更新 sdkconfig

pio run -t menuconfig
# Update the following to be unique
MOT MQTT Config -> MOT Client ID 
# Update the following with your WiFi Config
WiFi Configuration -> SSID
WiFi Configuration -> WiFi Password

• 為 AWS IoT 連接請求（或生成）MOT 證書并復(fù)制到：

.../motivate/maze-app/certs

• 構(gòu)建并刷新您的設(shè)備