智能交互手部康復(fù)機(jī)器人講解 人機(jī)交互新視野肌電交互

智能交互手部康復(fù)機(jī)器人

一、產(chǎn)品概述

智能交互手部康復(fù)機(jī)器人是以手部康復(fù)外骨骼為被控對(duì)象，配備簡(jiǎn)潔的人機(jī)交互界面，采用模塊化設(shè)計(jì)理念，具有理實(shí)一體、操作簡(jiǎn)單、易于擴(kuò)展等特點(diǎn)，極大的提高師生的參與程度，為腦卒中患者提供多用途、層次豐富、安全易用、易于擴(kuò)展的肌電交互系統(tǒng)。該系統(tǒng)融合了 UI交互界面、嵌入式控制器、肌電手環(huán)、手部康復(fù)機(jī)器人系統(tǒng)，提供基于 python 語(yǔ)言的統(tǒng)一框架，方便操作者的使用和二次開(kāi)發(fā)，為用戶提供完整的手部康復(fù)機(jī)器人教學(xué)科研環(huán)境。

二、產(chǎn)品特色

?

可穿戴：傳統(tǒng)的人機(jī)交互方式如鍵盤、鼠標(biāo)等不方便攜帶，不適合便攜式人機(jī)交互。而基于表面肌電的人機(jī)交互方式通過(guò)采集人體皮膚表面的微弱的生理電信號(hào)，實(shí)現(xiàn)對(duì)意圖指令的解碼。肌電手環(huán)具有便攜性，可以穿戴在手臂上，便于實(shí)際場(chǎng)景中實(shí)時(shí)人機(jī)交互。

?

智能識(shí)別：表面肌電信號(hào)是一種時(shí)變的、易受干擾的非平穩(wěn)信號(hào)，如何準(zhǔn)確的識(shí)別出人體運(yùn)行意圖至關(guān)重要。通過(guò)對(duì)原始信號(hào)進(jìn)行濾波，提取時(shí)頻域統(tǒng)計(jì)學(xué)特征，使用人工智能算法來(lái)識(shí)別出人體的意圖，進(jìn)而控制手部機(jī)器人執(zhí)行相應(yīng)的動(dòng)作。

?

一體化框架：該系統(tǒng)融合了 UI 交互界面、嵌入式控制器、肌電手環(huán)、手部康復(fù)機(jī)器人系統(tǒng)，提供基于 python 語(yǔ)言的統(tǒng)一的框架，方便操作者的使用和二次開(kāi)發(fā)，整體流程框架圖如下圖所示。整體框架圖

三、系統(tǒng)性能參數(shù)

智能交互手部康復(fù)機(jī)器人基于嵌入式處理器樹(shù)莓派，實(shí)現(xiàn) UI 交互模塊、信號(hào)處理與識(shí)別模

塊、系統(tǒng)控制模塊的集成。

1、交互界面

（1）主界面

智能交互手部康復(fù)機(jī)器人可以實(shí)現(xiàn)被動(dòng)康復(fù)訓(xùn)練和主動(dòng)康復(fù)訓(xùn)練兩部分功能，交互主界面

如下圖所示，可以通過(guò)點(diǎn)擊對(duì)應(yīng)圖片選擇相應(yīng)的功能。

交互主界

（2）被動(dòng)訓(xùn)練界面

被動(dòng)訓(xùn)練可以自主設(shè)置訓(xùn)練次數(shù)，動(dòng)作時(shí)間和休息時(shí)間，同時(shí)也設(shè)置了五指分別運(yùn)動(dòng)以及

張手、握拳、捏手指和伸手指四個(gè)常用動(dòng)作，通過(guò)調(diào)節(jié)伸長(zhǎng)量來(lái)控制手部張開(kāi)和閉合的幅度。

被動(dòng)康復(fù)訓(xùn)練界面如圖所示。

被動(dòng)康復(fù)界面

（3）主動(dòng)訓(xùn)練界面

實(shí)現(xiàn)主動(dòng)訓(xùn)練首先要采集患者的肌電數(shù)據(jù)，通過(guò)在動(dòng)作列表中選擇訓(xùn)練的動(dòng)作進(jìn)行數(shù)據(jù)采

集，將采集完兩輪的數(shù)據(jù)進(jìn)行模型訓(xùn)練，訓(xùn)練好后即可實(shí)現(xiàn)主動(dòng)訓(xùn)練。主動(dòng)康復(fù)訓(xùn)練界面如圖

所示。

主動(dòng)康復(fù)訓(xùn)練界面

按下開(kāi)始采集按鈕，會(huì)顯示當(dāng)前需要做的動(dòng)作。按下模型訓(xùn)練按鈕，會(huì)自動(dòng)對(duì)采集的 sEMG

信號(hào)進(jìn)行處理，建立分類識(shí)別模型。模型建立后，按下開(kāi)始訓(xùn)練按鈕，做出相應(yīng)動(dòng)作，會(huì)控制康復(fù)手同時(shí)做出相同動(dòng)作，實(shí)現(xiàn)主動(dòng)康復(fù)功能。如在訓(xùn)練時(shí)感受到疲憊，可按下停止訓(xùn)練按鈕

暫停訓(xùn)練，在適當(dāng)休息后，也可以再次點(diǎn)擊開(kāi)始訓(xùn)練按鈕重新訓(xùn)練，最后點(diǎn)擊返回按鈕，會(huì)退

出主動(dòng)康復(fù)訓(xùn)練界面，返回主界面。

（4）動(dòng)作選擇界面

動(dòng)作選擇界面包含多個(gè)訓(xùn)練動(dòng)作，包含握拳，張手，OK，數(shù)字 1 到 10，捏指等。可以選

擇自己想做的動(dòng)作進(jìn)行訓(xùn)練，同時(shí)也可以隨時(shí)增加或刪除新老動(dòng)作。動(dòng)作選擇界面如圖所示。

動(dòng)作選擇界面

2、信號(hào)處理與模式識(shí)別

采用統(tǒng)計(jì)學(xué)特征和機(jī)器學(xué)習(xí)的方法，從非平穩(wěn)、高噪聲的肌電信號(hào)中解碼出人的動(dòng)作意圖。

首先佩戴肌電手環(huán)，然后根據(jù)上位機(jī)界面來(lái)做出相應(yīng)的動(dòng)作，同時(shí)采集肌電數(shù)據(jù)，之后對(duì)數(shù)據(jù)

進(jìn)行降噪、特征提取和識(shí)別，解碼出人體的運(yùn)動(dòng)意圖。算法處理流程如下圖所示：

信號(hào)處理與模式識(shí)別

3、相關(guān)硬件參數(shù)

手部康復(fù)機(jī)器人控制系統(tǒng)：1）整體：包括藍(lán)牙模塊、運(yùn)動(dòng)控制模塊，實(shí)現(xiàn)多種手勢(shì)的實(shí)時(shí)手部機(jī)器人控制。可以快速

搭建手部機(jī)器人研究平臺(tái)，支持控制算法和特征工程處理的快速開(kāi)發(fā)

2）工作技術(shù)參數(shù)：

開(kāi)發(fā)方式：Python

工作范圍：2m*2m

工作環(huán)境溫度：室溫溫度

驅(qū)動(dòng)方式：直流電機(jī)驅(qū)動(dòng)

工作采樣頻率：50HZ

控制模式：位置，速度

實(shí)驗(yàn)工程及 demo：提供實(shí)驗(yàn)工程及 demo

微型直線伺服驅(qū)動(dòng)器：

1）小體積、高功率密度、高重復(fù)定位精度；

2）內(nèi)部集成了微型電機(jī)、減速器、絲桿機(jī)構(gòu)、傳感器以及驅(qū)動(dòng)控制系統(tǒng)，集成度

高；

3）接口豐富：

電氣接口：具有 LVTTL3.3V 串口（D 型）和 PWM（

P 型）兩種接口。D 型接口的驅(qū)動(dòng)器

可以配置地址編號(hào)（

ID），多個(gè)不同 ID 的驅(qū)動(dòng)器可以通過(guò)串口總線控制。P 型接口的驅(qū)動(dòng)器兼

容標(biāo)準(zhǔn)舵機(jī)接口，支持 50HZ 和 333HZ 兩種頻率的 PWM 控制信號(hào)

機(jī)械接口：具有豐富的接口方式可選，方便用戶安裝使用

4）寬電壓：DC6V～9V 寬電壓范圍供電，建議供電 8V，斷電后不會(huì)丟失位置信息

5）具備過(guò)熱、過(guò)流保護(hù)功能

樹(shù)莓派 3B+：

1）64 位的 1.4GHz 四核 ARM Cortex-A53

2）1GB 內(nèi)存和千兆以太網(wǎng) (最大吞吐量 300Mbps)

3）IEEE 802.11.b/g/n/ac 雙頻 2.4GHz/5GHz 無(wú)線網(wǎng)卡

4）低功耗藍(lán)牙 4.2 (BLE)

5）HDMI 接口、PoE 接口和四個(gè) USB 2.0 接口

6）MicroSD 卡插槽7）3.5 mm 音頻輸出接口

8）40PIN GPIO 接口

Myo 肌電手環(huán)：

1）手臂尺寸可在 7.5-13 英寸(19-34 厘米)前臂周長(zhǎng)之間展開(kāi)

2）8 個(gè)醫(yī)用級(jí)不銹鋼肌電圖傳感器

3）重量: 93g

4）1 個(gè)包含三軸陀螺儀、三軸加速度計(jì)、三軸磁強(qiáng)計(jì)的九軸 IMU

5）短、中、長(zhǎng)振動(dòng)的觸覺(jué)反饋

6）ARM Cortex M4 處理器

7）雙指示燈 LED 使用藍(lán)牙智能

8）micro-usb 充電，內(nèi)置可充電鋰離子電池一次性使用一整天

9）1 個(gè)肌臂帶 1 根標(biāo)準(zhǔn) micro USB 電纜

10）1 個(gè)藍(lán)牙適配器，用于 Mac 和 Windows PC 連接

11）10 個(gè) MYO 尺寸夾

12）1 個(gè)開(kāi)放的、免費(fèi)的、有原始數(shù)據(jù)可用的 SDK

康復(fù)手：

剛性手部外骨骼采用 3d 打印材質(zhì)，配合金屬零件共同組裝而成；并配用樹(shù)脂材料打印的控

制盒，盒內(nèi)集成了樹(shù)莓派和電源線、HDMI 走線等，可以實(shí)現(xiàn)樹(shù)莓派的開(kāi)關(guān)及急停功能

四、配套實(shí)驗(yàn)內(nèi)容

模式識(shí)別基礎(chǔ)實(shí)驗(yàn)：

1

模式識(shí)別導(dǎo)論

理解模式識(shí)別的定義，了解課程學(xué)習(xí)目標(biāo)、學(xué)習(xí)內(nèi)容和學(xué)習(xí)方法，

激發(fā)學(xué)習(xí)動(dòng)力和學(xué)習(xí)興趣。

2

模式識(shí)別基礎(chǔ)

理解模式識(shí)別的基礎(chǔ)概念：包括特征與特征空間、有監(jiān)督學(xué)習(xí)與

無(wú)監(jiān)督學(xué)習(xí)、緊致性、維數(shù)災(zāi)難、泛化能力與過(guò)擬合。

3

模式識(shí)別系統(tǒng)

解模式識(shí)別系統(tǒng)的一般結(jié)構(gòu)，并理解各個(gè)環(huán)節(jié)的主要任務(wù)4

線性分類器

理解線性分類器的基本原理：包括線性判別和廣義線性判別，多

分類線性判別函數(shù)和線性判別函數(shù)的幾何意義

5

支持向量機(jī)

理解支持向量機(jī)的原理，并能編程實(shí)現(xiàn)支持向量機(jī)去解決簡(jiǎn)單的

模式識(shí)別問(wèn)題。

6

感知器算法

理解感知器算法的原理，并能編程實(shí)現(xiàn)感知器算法去求解線性分

類器。

7

貝葉斯分類器

理解貝葉斯分類器的原理，并能夠編程實(shí)現(xiàn)貝葉斯分類器。

8

k 近鄰算法

理解 k 近鄰算法的原理，并能夠編程實(shí)現(xiàn) KNN 算法。

9

特征降維

理解特征降維的基本概念，理解特征降維的主要方法，并能夠在

解決模式識(shí)別問(wèn)題的過(guò)程中加以應(yīng)用

10

聚類算法

理解數(shù)據(jù)聚類的基本概念、特點(diǎn)和聚類算法的一般流程，理解常

用數(shù)據(jù)聚類算法的原理，包括試探法聚類、層次法聚類和動(dòng)態(tài)聚

類。

11

組合分類器

理解組合分類器的原理，理解 Adaboost 算法和隨機(jī)森林算法的

基本原理，并能夠編程實(shí)現(xiàn)這兩種算法來(lái)解決模式識(shí)別問(wèn)題。

12

神經(jīng)網(wǎng)絡(luò)分類器

理解人工神經(jīng)元網(wǎng)絡(luò)的基本概念和用于模式識(shí)別的基本原理，理

解 BP 算法的原理，并能夠編程實(shí)現(xiàn) BP 算法

模式識(shí)別高級(jí)實(shí)驗(yàn)：

1

sEMG 特征提取

學(xué)習(xí)提取原始數(shù)據(jù)的時(shí)域、頻域和時(shí)頻域等常用特征，將原始數(shù)

據(jù)提煉為特征供分類模型使用。

2

sEMG 特征降維

學(xué)習(xí)主元分析（

PCA）、線性判別分析（

LDA）、獨(dú)立元分析（

ICA）

等常用降維算法，采用降維算法降低 sEMG 特征。

3

神經(jīng)網(wǎng)絡(luò)算法

理解神經(jīng)網(wǎng)絡(luò)算法的原理，進(jìn)而對(duì)深度神經(jīng)網(wǎng)絡(luò)和卷積神經(jīng)網(wǎng)絡(luò)

有所學(xué)習(xí)，并能通過(guò)編程解決動(dòng)作識(shí)別和康復(fù)評(píng)估的問(wèn)題。

4

支持向量機(jī)

理解支持向量機(jī)的原理，用于解決動(dòng)作識(shí)別的問(wèn)題。

5

組合分類器

理解 GBDT 算法和隨機(jī)森林算法的基本原理，并能通過(guò)編程實(shí)現(xiàn)

這兩種算法來(lái)解決模式識(shí)別問(wèn)題sEMG 信號(hào)處理實(shí)驗(yàn)：

序號(hào)

實(shí)驗(yàn)名稱

課程內(nèi)容

1

sEMG 概念

了解 sEMG 信號(hào)的概念，了解課程學(xué)習(xí)目標(biāo)、學(xué)習(xí)內(nèi)容

2

sEMG 采集

學(xué)習(xí) sEMG 信號(hào)采集方法。

3

sEMG 特征提取

學(xué)習(xí) sEMG 特征提取方法，了解常用的 sEMG 時(shí)域特征、頻域、

時(shí)頻域特征。

4

sEMG 特征選擇

學(xué)習(xí)過(guò)濾式、包裹式、嵌入式等特征選擇方法，降低 sEMG 特征。

5

建立動(dòng)作分類模

型

學(xué)習(xí)隨機(jī)森林、神經(jīng)網(wǎng)絡(luò)等常用分類算法，通過(guò) sEMG 進(jìn)行動(dòng)作

分類。

6

動(dòng)作在線識(shí)別

學(xué)習(xí)使用建立的分類模型進(jìn)行在線識(shí)別。

7

建立康復(fù)評(píng)估模

型

學(xué)習(xí)深度、卷積神經(jīng)網(wǎng)絡(luò)等常用分類算法，建立合適的康復(fù)評(píng)估

模型。

8

評(píng)估患者康復(fù)等

級(jí)

通過(guò)評(píng)估模型對(duì)患者進(jìn)行康復(fù)等級(jí)評(píng)估，適時(shí)調(diào)整患者的康復(fù)方

案。

五、平臺(tái)配置清單

產(chǎn)品名稱

產(chǎn)品型號(hào)

平臺(tái)配置

智能交互手部康復(fù)機(jī)器人

Robot-HRb

智能交互系統(tǒng)

定制

剛性康復(fù)手

定制

顯示屏

維辰思系列

樹(shù)莓派

3b+

電機(jī)

因時(shí) LA-16 型

肌電手環(huán)

8 通道 MYO