【實(shí)戰(zhàn)項(xiàng)目】遠(yuǎn)程AI手勢(shì)識(shí)別&在線USB更新固件

遠(yuǎn)程AI手勢(shì)識(shí)別，主要采用了TinyMaix神經(jīng)網(wǎng)絡(luò)進(jìn)行的手勢(shì)識(shí)別功能，TinyMaix是面向單片機(jī)超輕量級(jí)的神經(jīng)網(wǎng)絡(luò)推理庫，即TinyML推理庫，可以讓你在任意單片機(jī)上運(yùn)行輕量級(jí)深度學(xué)習(xí)模型。項(xiàng)目的主控采用的是RA4M2-100PIN開發(fā)板，周邊的傳感器有HS3003溫濕度傳感器，ISL29035光照傳感器以及DA16200 WIFI模塊，顯示部分主要采用迪文屏和上位機(jī)。軟件采用FreeRTOS操作系統(tǒng)，軟件外設(shè)配置和代碼編寫均采用官方的IDE e2Studio。同時(shí)還具有USB升級(jí)功能，該部分需要搭配自己設(shè)計(jì)的USB升級(jí)上位機(jī)，以及自定義的通信協(xié)議。

下圖1是硬件實(shí)物連接圖：

系統(tǒng)的硬件連接方式為：IIC連接HS3003溫濕度傳感器，IIC連接ISL29035光照傳感器，串口連接DA16200 WIFI模塊，串口連接迪文屏。

整體硬件連接框架如下圖2所示：

FreeRTOS一共擁有三個(gè)進(jìn)程，分別是獲取溫濕度和光照值進(jìn)程，WIFI配置及通信進(jìn)程，手勢(shì)識(shí)別檢測(cè)進(jìn)程。

獲取溫濕度和光照值進(jìn)程流程圖如下圖3所示：

手勢(shì)識(shí)別檢測(cè)進(jìn)程流程圖如下圖4所示：

上位機(jī)采用C#進(jìn)行設(shè)計(jì)，采用UDP與單片機(jī)進(jìn)行通信，連接之后顯示溫濕度和光照值，同時(shí)接收手勢(shì)識(shí)別檢測(cè)結(jié)果。

效果圖如下圖5所示：

USB升級(jí)主要采用USB PCDC連接通信，配置完USB PCDC后PC端就可以識(shí)別處一個(gè)串口，此時(shí)就可以與單片機(jī)通過USB進(jìn)行通信。單片機(jī)上電后，首先進(jìn)入BootLoader程序，當(dāng)檢測(cè)到USB連接則進(jìn)入等待升級(jí)，此時(shí)上位機(jī)會(huì)檢測(cè)到一個(gè)串口，這時(shí)通過定制的通信協(xié)議將升級(jí)包【xxx.srec】發(fā)送給單片機(jī)，單片機(jī)接收數(shù)據(jù)后會(huì)存到指定的Flash地址上，當(dāng)接收完整后就完成了USB升級(jí)功能。

USB升級(jí)流程圖如下圖6所示：

USB上位機(jī)圖如下圖7所示：

一開始測(cè)試U盤自動(dòng)升級(jí)，發(fā)現(xiàn)一直識(shí)別不了，結(jié)合之前的串口波特率對(duì)應(yīng)不上115200需要配置230400才能不亂碼，從而發(fā)現(xiàn)RA-Eco-RA4M2-100PIN和EK-RA4M2的晶振不一樣，而U盤自動(dòng)升級(jí)例程采用的是EK-RA4M2開發(fā)板，那么USB肯定是沒辦法正常通信的，所以EK-RA4M2的USB例程不能正常通信也是正常的，之后修改了晶振頻率一切都正常了。后面USB升級(jí)就是理解【xxx.srec】文件內(nèi)容了，以前都是結(jié)果Hex文件，第一次接觸【xxx.srec】文件，查找資料之后發(fā)現(xiàn)還是很容易理解的，直接移植U盤自動(dòng)升級(jí)例程到USB就可以了，底層功能可以不用修改。這里要注意的一點(diǎn)是MDK生成【xxx.srec】文件是沒辦法在我提供的USB升級(jí)Demo中用的，因?yàn)镸DK生成的地址有一些問題，所以是沒法用的。

這次比賽調(diào)試也花了挺久時(shí)間的，一開始用的MDK開發(fā)，后面發(fā)現(xiàn)有不兼容的地方最后轉(zhuǎn)到e2Studio開發(fā)。手勢(shì)識(shí)別Demo移植沒碰到太多問題，不管是MDK環(huán)境還是e2Studio環(huán)境，移植過程都挺順利的。FSP配置工具也是挺好用的（雖然是第一次使用），一開始不太習(xí)慣多用幾次就習(xí)慣了，這次也是第一次用瑞薩的單片機(jī)開發(fā)項(xiàng)目，整體下來還不錯(cuò)，沒有遇到太難受的地方。瑞薩的周邊模塊其實(shí)匹配度還是挺好的，可以直接插到開發(fā)板上使用。就是網(wǎng)上的資料還是太少，希望官方能夠多分享一些瑞薩方面的資料。