北京航空航天大學(xué)發(fā)布軟體機(jī)器人智能感知系統(tǒng)最新進(jìn)展

機(jī)器人瓦力、機(jī)器人大白，都有一雙令人記憶深刻的眼睛(●—●)——提到機(jī)器人感知環(huán)境，人們總能想到他們的眼睛。但是一個(gè)物品的材質(zhì)、粗糙度，是眼睛無(wú)法看到的信息。

如何區(qū)分一個(gè)以假亂真的蘋(píng)果模型和真實(shí)的蘋(píng)果？如何感知一張桌布的絲滑程度？當(dāng)視覺(jué)無(wú)法感知這些信息，我們便需要機(jī)器人通過(guò)觸覺(jué)來(lái)感知環(huán)境——開(kāi)發(fā)一個(gè)能夠多模態(tài)感知和描述物體的機(jī)器人，對(duì)幫助機(jī)器人與環(huán)境交互有十分重要的作用。

在人類(lèi)感知世界的過(guò)程中，皮膚的多模態(tài)感知為我們感受真實(shí)的物理世界提供了重要的工具。正如人們用手指觸摸未知的物品，當(dāng)具有多模態(tài)感知能力的機(jī)器人手摩擦未知物品時(shí)，機(jī)器人便能感知到物品的粗糙度；當(dāng)機(jī)器人手隔空拂過(guò)位置物品時(shí)，它甚至能像X射線(xiàn)和3D掃描儀那樣感知到物品的材質(zhì)和形狀。因此，能夠感知環(huán)境的多模態(tài)傳感與擅長(zhǎng)交互的軟體機(jī)器人的結(jié)合必然能擦出火花。

最新一期《先進(jìn)功能材料》（Advanced Functional Materials）報(bào)道了北京航空航天大學(xué)仿生軟體機(jī)器人實(shí)驗(yàn)室在柔性傳感器與軟體機(jī)器人感知領(lǐng)域的最新研究。

該項(xiàng)工作開(kāi)發(fā)了一套智能軟體機(jī)器人系統(tǒng)，該系統(tǒng)能夠?qū)ξ矬w的物理特性進(jìn)行感知、描述和分類(lèi)，可協(xié)助機(jī)器人解釋物理世界、與物理世界進(jìn)行交互，為人工智能與世界的交互提供了可能的接口。

智能軟體機(jī)器人系統(tǒng)根據(jù)物體的物理特性對(duì)其進(jìn)行感知、描述和分類(lèi)。

▍當(dāng)前研究面臨的問(wèn)題

軟體機(jī)器人具有與生俱來(lái)的安全無(wú)損特性，在各種實(shí)際應(yīng)用中逐步展現(xiàn)出獨(dú)特的優(yōu)勢(shì)?；趬弘?、壓阻、電容、摩擦電、和巨磁彈性效應(yīng)開(kāi)發(fā)的大量柔性傳感器，能夠賦予軟體機(jī)器人感知能力，但它們的單一識(shí)別模態(tài)無(wú)法滿(mǎn)足機(jī)器人全方面智能的要求。軟體機(jī)器人，特別是軟體機(jī)器人手，需要類(lèi)似于人類(lèi)手部的多模態(tài)信息感知和描述能力。為了擴(kuò)大軟體機(jī)器人的實(shí)際應(yīng)用范圍，開(kāi)發(fā)高性能多模態(tài)柔性傳感器和集成機(jī)器學(xué)習(xí)的智能軟體機(jī)器人系統(tǒng)勢(shì)在必行。

迄今為止，人們已經(jīng)為開(kāi)發(fā)多模態(tài)柔性傳感器做出了許多努力，然而在分離和解耦各種刺激類(lèi)型的信號(hào)方面仍存在挑戰(zhàn)。雖然研究人員一直致力于開(kāi)發(fā)具有多模態(tài)柔性傳感器的智能機(jī)器人以感知各種環(huán)境信息，然而，目前的智能機(jī)器手缺乏全面的多模態(tài)信息感知，尤其是對(duì)表面物理特性的描述能力。這些局限性為軟體機(jī)器手進(jìn)一步感知多模態(tài)環(huán)境信息和執(zhí)行精細(xì)操作任務(wù)造成了阻礙。

▍結(jié)構(gòu)簡(jiǎn)單的雙模態(tài)自供電柔性傳感器

研究團(tuán)隊(duì)研發(fā)了一種基于摩擦納米發(fā)電機(jī)和巨磁效應(yīng)的雙模態(tài)自供電柔性傳感器（BSFS）。BSFS結(jié)構(gòu)簡(jiǎn)單，由磁彈性導(dǎo)電薄膜和封裝的液態(tài)金屬線(xiàn)圈組成，可以在10毫秒的響應(yīng)時(shí)間內(nèi)精確檢測(cè)和解耦接觸和非接觸雙模態(tài)信號(hào)。

研究團(tuán)隊(duì)在硅膠材料中摻入微磁體和碳納米管，制備具有多孔結(jié)構(gòu)的磁彈性導(dǎo)電薄膜。隨后，使用磁化儀對(duì)磁彈性導(dǎo)電薄膜進(jìn)行磁化，使微磁體重新定向，然后印刷并用硅膠封裝液態(tài)線(xiàn)圈。所有組件都是由柔性材料制成的，因此BSFS整體結(jié)構(gòu)柔軟可變形。磁彈性導(dǎo)電薄膜還表現(xiàn)出顯著的磁彈性。

雙模態(tài)自供電柔性傳感器（BSFS）的結(jié)構(gòu)和工作機(jī)制。a）BSFS由兩層功能性柔性薄膜、磁彈性導(dǎo)電薄膜和帶封裝薄膜的液態(tài)金屬線(xiàn)圈組成。b）磁彈性導(dǎo)電薄膜橫截面的掃描電子顯微鏡圖像。c）BSFS在彎曲狀態(tài)下的照片。d）軟磁彈性導(dǎo)電薄膜的磁滯回線(xiàn)。初始狀態(tài)e）和壓縮狀態(tài)f）下軟磁彈性薄膜的磁通密度熱力圖。g）BSFS 的工作機(jī)制：(i) 由于摩擦電效應(yīng)，外部物體（淺藍(lán)色）在多次接觸后獲得負(fù)電荷。(ii) 當(dāng)外部物體接近磁彈性導(dǎo)電薄膜（金色層）時(shí)，由于靜電感應(yīng)效應(yīng)，薄膜與地面之間的電勢(shì)發(fā)生變化。自由電子在電勢(shì)的驅(qū)動(dòng)下從磁彈性導(dǎo)電薄膜流向地面。(iii) 由于外部物體的接觸作用于磁彈性導(dǎo)電薄膜，BSFS開(kāi)始變形，進(jìn)一步促進(jìn)了自由電子從磁彈性導(dǎo)電薄膜流向地面。同時(shí)，液態(tài)金屬線(xiàn)圈（灰色）根據(jù)電磁感應(yīng)原理產(chǎn)生電流。(iv) 當(dāng)外部物體與BSFS完成接觸時(shí)，自由電子停止運(yùn)動(dòng)。(v) 當(dāng)外部壓力釋放時(shí)，自由電子從地面流回磁彈性導(dǎo)電薄膜。同時(shí)，液態(tài)金屬線(xiàn)圈中產(chǎn)生反向電流。(vi) 當(dāng)外部物體離開(kāi)BSFS表面時(shí)，電子流回磁彈性導(dǎo)電薄膜。

研究團(tuán)隊(duì)搭建了測(cè)試平臺(tái)對(duì)傳感器的輸出信號(hào)進(jìn)行測(cè)試，證明了BSFS能夠?qū)⒎墙佑|信號(hào)與接觸信號(hào)解耦，并展示了BSFS感知壓力的能力。

此外，不同材料的外部物體具有不同的電子親和性，會(huì)影響摩擦電和靜電感應(yīng)，從而改變BSFS的無(wú)接觸輸出信號(hào)。而根據(jù)電磁感應(yīng)原理，接觸信號(hào)不會(huì)受到材料特性的影響。

快速的動(dòng)態(tài)響應(yīng)能力使BSFS能夠檢測(cè)到更全面的信息，拓寬了其潛在的應(yīng)用場(chǎng)景。由于采用了主動(dòng)感應(yīng)原理，非接觸信號(hào)的動(dòng)態(tài)響應(yīng)時(shí)間可以忽略不計(jì)，而接觸信號(hào)的動(dòng)態(tài)響應(yīng)時(shí)間則小于10毫秒。BSFS對(duì)非接觸信號(hào)和接觸信號(hào)分別表現(xiàn)出37.4和37.2 dB的超高信噪比，同時(shí)具有出色的耐用性和穩(wěn)定性。

a) 外部物體與BSFS之間的距離對(duì)非接觸（紅色）和接觸（藍(lán)色）輸出信號(hào)的影響。b) 非接觸和接觸信號(hào)與作用在 BSFS 上的壓力的函數(shù)關(guān)系。c) 不同材質(zhì)的物體的非接觸和接觸輸出信號(hào)。d) 快速接觸刺激下的 BSFS 輸出信號(hào)。e) d) 部分虛線(xiàn)方框所示區(qū)。f) 1000次重復(fù)刺激證明傳感器的穩(wěn)定性和耐用性。g)、h)部分顯示網(wǎng)球落到BSFS上時(shí)的圖像和輸出信號(hào)。左側(cè)發(fā)光二極管（LED）被編程為在接觸信號(hào)超過(guò)閾值時(shí)開(kāi)啟；右側(cè)發(fā)光二極管在非接觸信號(hào)超過(guò)閾值時(shí)開(kāi)啟。

▍能夠感知和描述物體的智能機(jī)器人系統(tǒng)

通過(guò)將BSFS集成到軟體手指中，研究團(tuán)隊(duì)開(kāi)發(fā)了具有多模態(tài)感知能力的仿人軟體手，其中非接觸信號(hào)可感知有關(guān)物體形狀和材質(zhì)的信息，而接觸信號(hào)則可感知有關(guān)表面粗糙度的信息。這種抓手模仿了人手的靈巧性，能夠感知和操縱各種物體。研究團(tuán)隊(duì)將軟體手安裝在機(jī)械臂上，機(jī)械臂控制軟體手對(duì)物體進(jìn)行非接觸及接觸掃描，并收集BSFS的信號(hào)輸出。然后通過(guò)使用獲取的數(shù)據(jù)訓(xùn)練CNN模型，在線(xiàn)測(cè)試達(dá)到了99%的準(zhǔn)確率。

帶有BSFS的軟體機(jī)器手可以識(shí)別不同物體的材質(zhì)和粗糙度。a) 由氣動(dòng)軟體手指和BSFS層組成的軟體機(jī)器手實(shí)物圖。b) 以BSFS為底面的軟體氣動(dòng)手指結(jié)構(gòu)圖。c) 軟體氣動(dòng)手指的工作原理圖。d) 感應(yīng)信號(hào)波形對(duì)應(yīng)5種不同材質(zhì)。e) 識(shí)別材質(zhì)的混淆矩陣，總準(zhǔn)確率達(dá)99%。g) 感應(yīng)信號(hào)波形對(duì)應(yīng)6種不同的粗糙度。h) 識(shí)別粗糙度的混淆矩陣，總準(zhǔn)確率為97%。

研究團(tuán)隊(duì)將CNN集成到智能軟體手系統(tǒng)中。該模型能夠精確地感知和描述物體的特征信息。此外，軟體手還能根據(jù)多模態(tài)傳感器的識(shí)別結(jié)果進(jìn)行變形和抓取。

通過(guò)對(duì)材質(zhì)、形狀和表面粗糙度方面各不相同的27種物品采集原始數(shù)據(jù)訓(xùn)練，該系統(tǒng)的識(shí)別準(zhǔn)確率達(dá)到了97%。此外研究團(tuán)隊(duì)還展示了智能軟體手系統(tǒng)在根據(jù)物體的物理特性感知、描述和分類(lèi)物體方面的卓越能力。該系統(tǒng)可以通過(guò)屏幕顯示和揚(yáng)聲器傳輸?shù)淖匀徽Z(yǔ)言信息，簡(jiǎn)明扼要地描述物體的特征，包括形狀、材質(zhì)和粗糙度。此外，該系統(tǒng)的交互界面還有助于用戶(hù)與智能系統(tǒng)之間進(jìn)行無(wú)縫的問(wèn)答交流。例如，系統(tǒng)可以回答用戶(hù)有關(guān)物體屬性的詢(xún)問(wèn)，并根據(jù)用戶(hù)的要求有效地將物體分類(lèi)到特定的盒子中。

智能軟體手系統(tǒng) 智能軟體手系統(tǒng)用語(yǔ)言描述物體的物理特性（材質(zhì)、形狀和粗糙度）。a) 智能軟體手根據(jù)物體的物理特性對(duì)其進(jìn)行感知、描述和分類(lèi)的流程圖。b) 27個(gè)不同材質(zhì)、形狀和粗糙度的物體的照片。c) 系統(tǒng)對(duì)540組數(shù)據(jù)識(shí)別結(jié)果的混淆矩陣，總準(zhǔn)確率為97%。d) 智能軟體手系統(tǒng)的交互過(guò)程。智能軟體手系統(tǒng)能夠簡(jiǎn)明扼要地感知和描述物體的各種特征，并以一句話(huà)的形式將信息顯示在屏幕上并通過(guò)揚(yáng)聲器傳輸。利用交互式界面，智能系統(tǒng)可以有效地回答用戶(hù)的詢(xún)問(wèn)，并根據(jù)鍵盤(pán)輸入的指令準(zhǔn)確地將物體分類(lèi)到所要求的特定盒子中。

▍項(xiàng)目作者及團(tuán)隊(duì)信息

該論文第一作者為北京航空航天大學(xué)機(jī)械工程及自動(dòng)化學(xué)院博士生研究生劉文博，朵有寧、陳星雨為共同第一作者，文力教授為論文唯一通訊作者。北京航空航天大學(xué)為論文第一/通訊單位、北航丁希侖教授團(tuán)隊(duì)，清華大學(xué)計(jì)算機(jī)科學(xué)與技術(shù)系孫富春教授團(tuán)隊(duì)、中國(guó)科學(xué)院北京納米能源與系統(tǒng)研究所張弛研究員團(tuán)隊(duì)為本研究的合作單位。本研究得到國(guó)家自然科學(xué)基金（Nos. 61822303, T2121003, 91848206）和國(guó)家重點(diǎn)研發(fā)計(jì)劃（Nos. 2020YFB1313003）的資助。