基于物聯(lián)網(wǎng)技術(shù)的輔助進(jìn)食機(jī)械手系統(tǒng)設(shè)計(jì)

本文系統(tǒng)設(shè)計(jì)由開發(fā)者針對(duì)目前的一些上肢肢體不健全、自主進(jìn)食有困難的特殊群體，所提出的一款輔助進(jìn)食的服務(wù)型桌面機(jī)械手控制系統(tǒng)，以語(yǔ)音、機(jī)器視覺等傳感器技術(shù)為機(jī)器人提供人機(jī)交互的接口以及系統(tǒng)的反饋接口，使用物聯(lián)網(wǎng)技術(shù)使機(jī)器人能夠通過(guò)網(wǎng)絡(luò)與用戶進(jìn)行數(shù)據(jù)交互，最終實(shí)現(xiàn)機(jī)械手能夠按照預(yù)期輔助上身有缺陷的人群完成輔助喂食的一系列功能。 1系統(tǒng)功能實(shí)現(xiàn)針對(duì)目前家庭中服侍老人和特殊人群的要求，設(shè)計(jì)的輔助進(jìn)食機(jī)械手系統(tǒng)，主要功能是通過(guò)語(yǔ)音的提示，指示機(jī)械手完成特定的動(dòng)作，動(dòng)作分為喂食 A、B 或 C 三類食物。當(dāng)機(jī)械手收到正確有效的語(yǔ)音指令后，機(jī)器臂會(huì)取對(duì)應(yīng)食物儲(chǔ)存器中的食物，并通過(guò)搭載的攝像頭會(huì)尋找人臉的目標(biāo)位置，在檢測(cè)到人臉并且等待人主動(dòng)進(jìn)食的過(guò)程中使用PID控制完成人臉的動(dòng)態(tài)追隨，直到人主動(dòng)進(jìn)食動(dòng)作完成或者新的進(jìn)食語(yǔ)音指令觸發(fā)。機(jī)械手的主要工作流程是在第一次檢測(cè)到人臉以后會(huì)將關(guān)節(jié)坐標(biāo)記錄作為下次喂食的終點(diǎn)坐標(biāo)，同時(shí)進(jìn)食動(dòng)作的完成標(biāo)志是機(jī)器人攝像頭檢測(cè)到人嘴張開動(dòng)作的發(fā)生標(biāo)記一次進(jìn)食動(dòng)作完成，如果沒(méi)有新的語(yǔ)音指令中斷發(fā)生，機(jī)械手繼續(xù)下一輪的喂食動(dòng)作。2系統(tǒng)整體硬件設(shè)計(jì)在整個(gè)輔助進(jìn)食機(jī)械手控制系統(tǒng)中，硬件部分包含電源、通信、圖像采集和處理、存儲(chǔ)、語(yǔ)音輸入、脈沖輸出和網(wǎng)絡(luò)通信模塊，輔助進(jìn)食機(jī)械手硬件系統(tǒng)框圖如下所示。由硬件系統(tǒng)框圖可以看出整個(gè)系統(tǒng)包含了人機(jī)交互單元(語(yǔ)音輸入模塊也是系統(tǒng)的輸入單元)? 、基于 STM32F427 圖像處理單元(用于圖像采集和處理、數(shù)據(jù)存儲(chǔ)以及通訊)? 、基于 STM32F103 運(yùn)動(dòng)控制單元(路徑規(guī)劃、伺服舵機(jī)控制以及通信)和桌面機(jī)械手平臺(tái)，當(dāng)然作為一款服務(wù)機(jī)器人在物聯(lián)網(wǎng)(IOT)時(shí)代必然會(huì)包括一些家庭環(huán)境信息，這樣我們可以通過(guò)網(wǎng)絡(luò)來(lái)實(shí)時(shí)查看家庭環(huán)境狀態(tài)，本文提供的是機(jī)械手的末端姿態(tài)信息、當(dāng)前環(huán)境的溫度和光照強(qiáng)度信息。硬件模塊設(shè)計(jì)◆主控芯片：選擇 Cortex-M3 內(nèi)核STM32F103ZET6 作為主控制器芯片，集成有豐富的外設(shè)資源，其架構(gòu)圖如下所示。◆電源模塊 ：本設(shè)計(jì)的電源系統(tǒng)是采用 DC-DC（直流轉(zhuǎn)直流）方式，外部電源輸入可接受 6-24V之間的直流電源，通過(guò)電壓轉(zhuǎn)換芯片 MP2359 實(shí)現(xiàn) 5 伏電壓輸出。◆語(yǔ)音模塊：選用的是支持非特定人聲語(yǔ)音識(shí)別芯片 LD3320A，實(shí)現(xiàn)正確識(shí)別出候選語(yǔ)音后能夠產(chǎn)生中斷請(qǐng)求。◆攝像頭模塊：使用的是攝像頭模塊是 OV7725 搭載 STM32F427 處理器的機(jī)器視覺庫(kù) OpenMV 。◆電機(jī)驅(qū)動(dòng)模塊：采用數(shù)字舵機(jī) TBS2701，就能夠滿足輔助進(jìn)食機(jī)械手所需精度以及扭矩。◆WiFi 網(wǎng)絡(luò)模塊 ：通過(guò)選用ESP8266WiFi模塊，內(nèi)嵌 TCP/IP 協(xié)議，能夠完成 WIFI 數(shù)據(jù)和串口之間的交換，實(shí)現(xiàn)服務(wù)機(jī)器人與遠(yuǎn)程的客戶端進(jìn)行信息交互。3系統(tǒng)的物聯(lián)網(wǎng)軟件實(shí)現(xiàn) 本文的輔助進(jìn)食機(jī)械手借助 WiFi 網(wǎng)絡(luò)連接云端服務(wù)器，實(shí)現(xiàn)的功能是完成自身控制器的溫度監(jiān)控、機(jī)器人姿態(tài)角的上報(bào)、以及家庭工作環(huán)境的溫度和光照強(qiáng)度信息實(shí)時(shí)上報(bào)遠(yuǎn)程客戶端，能夠?qū)崟r(shí)為用戶提供所需要的家庭環(huán)境信息。1、服務(wù)機(jī)器人接入機(jī)智云方案 機(jī)智云主要為用個(gè)人開發(fā)者和企業(yè)提供智能硬件開發(fā)和云服務(wù)平臺(tái)，連入物聯(lián)網(wǎng)無(wú)線WiFi網(wǎng)絡(luò)是一種非常便捷的選擇。本文服務(wù)機(jī)器人和機(jī)智云的接入方案是先在設(shè)備端（也就是機(jī)器人端連接WiFi通信模塊）嵌入WiFi模塊，然后設(shè)備通過(guò)路由器聯(lián)網(wǎng)后與機(jī)智云進(jìn)行通信，而在另一端手機(jī)應(yīng)用 APP集成機(jī)智云提供的 SDK(應(yīng)用 APP 是在機(jī)智云協(xié)議的框架下開發(fā)完成，具有特定產(chǎn)品密碼類似于 ID 號(hào)，而且遵從機(jī)智云協(xié)議就能連入機(jī)智云平臺(tái))也能連入機(jī)智云，這樣機(jī)智云就能為應(yīng)用端和設(shè)備端搭建了網(wǎng)絡(luò)通信橋梁。服務(wù)機(jī)器人和機(jī)智云接入方案，如圖所示。 2、機(jī)械手傳感器云端數(shù)據(jù)點(diǎn)創(chuàng)建 服務(wù)機(jī)器人在用戶遠(yuǎn)程信息交互時(shí)，需要知道機(jī)器人的工作狀態(tài)，其中做主要的是控制器是否工作正常，通過(guò)采集 STM32 芯片內(nèi)部的溫度以及通過(guò)傳感器 （MPU6050）采集機(jī)器人末端姿態(tài)信息了解機(jī)器人的姿態(tài)信息。同時(shí)用戶還可以通過(guò)機(jī)器人上面的溫度傳感器（DS18B20）采集的信息了解家庭環(huán)境的室溫信息，通過(guò)光照強(qiáng)度傳感器的采集信息了解居室光強(qiáng)信息，也能支持?jǐn)U展更多的物聯(lián)網(wǎng)功能。文中模擬了控制兩個(gè) LED 燈的開關(guān)。下圖是在機(jī)智云上創(chuàng)建的產(chǎn)品傳感器數(shù)據(jù)點(diǎn)的部分截圖。 3、機(jī)智云生成的產(chǎn)品代碼與硬件開發(fā) ◆ 機(jī)智云平臺(tái)開發(fā)產(chǎn)品的流程：①新建一個(gè)產(chǎn)品，然后新建產(chǎn)品相關(guān)的數(shù)據(jù)點(diǎn)信息，如機(jī)器人的傳感器信息多是從設(shè)備上采集是一種只讀類型的數(shù)值信息，而控制 LED 燈的數(shù)據(jù)點(diǎn)數(shù)據(jù)屬于可寫的布爾(BOOL)類型的信息，不僅需要從設(shè)備上讀取，而且還需要應(yīng)用端(APP)通過(guò)機(jī)智云能夠修改。②在完成數(shù)據(jù)點(diǎn)創(chuàng)建信息后，根據(jù) MCU 硬件平臺(tái)生成對(duì)應(yīng)的包含機(jī)智云協(xié)議和產(chǎn)品數(shù)據(jù)點(diǎn)信息的代碼包，接下來(lái)就是代碼移植和設(shè)備硬件開發(fā)工作，最后需要做的就是 APP 端聯(lián)合調(diào)試過(guò)程。具體的開發(fā)流程如圖所示。 ③?在生成代碼之前可以通過(guò)虛擬設(shè)備完成在線調(diào)試功能，比如手機(jī)端端打開 LED0 和LED1 云端會(huì)更新狀態(tài)為 BOOL 值 1，如下所示。對(duì)于可寫類型的數(shù)據(jù)點(diǎn)測(cè)試可以云端寫入，APP 端更新。◆?對(duì)于整個(gè)機(jī)智云移植流程以及硬件驅(qū)動(dòng)的開發(fā)在這里以流程圖的形式給出，詳細(xì)步驟如下： 步驟1：? 移植 FreeRTOS 系統(tǒng)內(nèi)核 步驟2：? 為機(jī)智云協(xié)議提供 1 毫秒(MS)時(shí)基 步驟3：? 提供 WIFI 模塊的通信接口，數(shù)據(jù)收發(fā)接口，這里是串口，并且封裝機(jī)智云協(xié)議的數(shù)據(jù)接收和發(fā)送函數(shù) 步驟4：添加設(shè)備傳感器驅(qū)動(dòng)以及機(jī)智云的軟復(fù)位程序 步驟5：創(chuàng)建?FreeRTOS?機(jī)智云任務(wù)(Gizwits_task())，主要包括機(jī)智云協(xié)議連接模式設(shè)置以及復(fù)位操作和傳感器端的上行數(shù)據(jù)處理。 在完成整個(gè)開發(fā)以后就可以在遠(yuǎn)程 APP 端控制 LED 燈的點(diǎn)亮和熄滅以及實(shí)時(shí)查看服務(wù)機(jī)器人的工作狀態(tài)，獲悉機(jī)器人工作點(diǎn)的環(huán)境信息了。如圖所示就是手機(jī) APP端顯示的機(jī)器人的實(shí)時(shí)工作狀態(tài)。4系統(tǒng)總結(jié)整個(gè)輔助進(jìn)食機(jī)械手系統(tǒng)，針對(duì)服務(wù)機(jī)器人的聯(lián)網(wǎng)信息交互給出解決的方案，移植了物聯(lián)網(wǎng)平臺(tái)的機(jī)智云協(xié)議，物聯(lián)網(wǎng)的嵌入不僅使遠(yuǎn)程的交互提供了可能，同時(shí)使輔助進(jìn)食機(jī)械手的功能變得更加完善，成為物聯(lián)網(wǎng)機(jī)器人。機(jī)械手實(shí)物圖：輔助進(jìn)食機(jī)械手取食運(yùn)作過(guò)程：