研究人員展示了一種事件驅(qū)動(dòng)的視覺觸覺感知系統(tǒng)

實(shí)踐證明，將神經(jīng)形態(tài)技術(shù)從實(shí)驗(yàn)室應(yīng)用于實(shí)踐的過程很緩慢。本周，新加坡國立大學(xué)的研究人員向前推進(jìn)了一步，展示了一種事件驅(qū)動(dòng)的視覺觸覺感知系統(tǒng)，該系統(tǒng)使用英特爾的Loihi芯片控制結(jié)合了觸覺感知和視覺的機(jī)械臂。值得注意的是，他們還在GPU系統(tǒng)上運(yùn)行了該練習(xí)，并報(bào)告了基于Loihi的系統(tǒng)性能稍好，功耗卻低得多。

國大研究人員今天在本周舉行的虛擬機(jī)器人科學(xué)與系統(tǒng)會(huì)議上介紹了他們的研究結(jié)果。預(yù)期將觸覺感測(cè)（抓地力）與視覺（位置）結(jié)合起來，可以顯著提高機(jī)械手的精確度和處理物體時(shí)的抓地力。神經(jīng)形態(tài)技術(shù)的使用也有望降低機(jī)器人技術(shù)所需的功耗，這是神經(jīng)形態(tài)技術(shù)的主要目標(biāo)。

“我們對(duì)這些結(jié)果感到興奮。他們表明，神經(jīng)形態(tài)系統(tǒng)是組合多個(gè)傳感器以改善機(jī)器人感知力的有希望的難題。這是朝著建設(shè)能效高，值得信賴的機(jī)器人邁出的一步，該機(jī)器人可以在意外情況下快速，適當(dāng)?shù)刈龀鲰憫?yīng)。”國大教授和作者哈羅德·索（Harold Soh）在一篇 描述工作的論文（事件驅(qū)動(dòng)的視覺觸覺傳感和機(jī)器人學(xué)習(xí)）中說道 。

長(zhǎng)期以來，英特爾一直處于將神經(jīng)形態(tài)技術(shù)商業(yè)化的最前沿，其Loihi （芯片）/ Pohoiki（系統(tǒng)）是最發(fā)達(dá)的平臺(tái)之一。神經(jīng)形態(tài)系統(tǒng)模仿自然系統(tǒng)（例如大腦），因?yàn)樗鼈兪褂眉夥?a href="http://ttokpm.com/tags/神經(jīng)網(wǎng)絡(luò)/" target="_blank">神經(jīng)網(wǎng)絡(luò)（SNN）來處理信息，而不是機(jī)器/深度學(xué)習(xí)中更常用的人工神經(jīng)網(wǎng)絡(luò)（ANN）。

英特爾神經(jīng)形態(tài)計(jì)算實(shí)驗(yàn)室主任Mike Davies表示：“新加坡國立大學(xué)的這項(xiàng)研究使人對(duì)機(jī)器人技術(shù)的未來有了一個(gè)令人信服的瞥見，在機(jī)器人技術(shù)中，事件是通過事件驅(qū)動(dòng)的方式結(jié)合多種方式進(jìn)行感知和處理的。這項(xiàng)工作增加了越來越多的結(jié)果，表明一旦在基于事件的范式中重新設(shè)計(jì)了整個(gè)系統(tǒng)，包括傳感器，數(shù)據(jù)格式，算法和硬件體系結(jié)構(gòu)，神經(jīng)形態(tài)計(jì)算可以顯著提高延遲和功耗?！?英特爾還公布了這項(xiàng)工作的情況。

國大論文的摘錄很好地描述了挑戰(zhàn)和貢獻(xiàn)：

“許多日常任務(wù)需要多種感覺方式才能成功執(zhí)行。例如，考慮從冰箱中取出一箱豆?jié){，人們可以通過視覺來確定該紙箱的位置，并可以通過簡(jiǎn)單的掌握推斷出該紙箱中包含多少液體。然后，他們可以使用視覺和觸覺來提起物體而不會(huì)使其滑落。這些動(dòng)作（和推論）是使用高效節(jié)能的神經(jīng)底物來進(jìn)行的，與當(dāng)前人工系統(tǒng)中使用的多模式深度神經(jīng)網(wǎng)絡(luò)相比，人腦所需的能量要少得多。

“在這項(xiàng)工作中，我們采取了關(guān)鍵步驟，以實(shí)現(xiàn)對(duì)機(jī)器人系統(tǒng)的有效視覺觸覺感知。我們從異步和事件驅(qū)動(dòng)的生物系統(tǒng)中獲得啟發(fā)。與耗費(fèi)大量資源的深度學(xué)習(xí)方法相反，事件驅(qū)動(dòng)的感知形成了一種替代方法，該方法可保證高能效和低延遲-這些功能是實(shí)時(shí)移動(dòng)機(jī)器人的理想選擇。但是，相對(duì)于標(biāo)準(zhǔn)的同步感知方法，事件驅(qū)動(dòng)的系統(tǒng)仍未開發(fā)?！?/p>

長(zhǎng)期以來，多模式傳感的價(jià)值已被公認(rèn)為是推進(jìn)機(jī)器人技術(shù)的重要組成部分。但是，使用尖峰神經(jīng)網(wǎng)絡(luò)的局限性阻礙了在實(shí)時(shí)感測(cè)功能中使用神經(jīng)形態(tài)芯片。

“神經(jīng)形態(tài)學(xué)習(xí)，特別是尖峰神經(jīng)網(wǎng)絡(luò)（SNN），為學(xué)習(xí)事件數(shù)據(jù)提供了一種競(jìng)爭(zhēng)性方法。類似于基于事件的傳感器，SNN直接與離散的尖峰一起工作，因此具有相似的特性，即低延遲，高時(shí)間分辨率和低功耗。從歷史上看，SNN由于缺乏良好的培訓(xùn)程序而受到阻礙。由于尖峰不可微，因此無法使用基于梯度的方法（例如反向傳播）。有效的SNN培訓(xùn)的最新發(fā)展以及神經(jīng)形態(tài)硬件（例如，IBM TrueNorth和Intel Loihi）的新生出現(xiàn)，引起了人們對(duì)包括機(jī)器人技術(shù)在內(nèi)的各種應(yīng)用的神經(jīng)形態(tài)學(xué)習(xí)的興趣。SNN尚未在偽事件圖像數(shù)據(jù)集上始終勝過其深層ANN表親，

另一個(gè)障礙是僅僅開發(fā)足夠的觸覺傳感設(shè)備?！氨M管觸覺傳感器有許多應(yīng)用（例如，微創(chuàng)手術(shù)和智能假體），但觸覺傳感技術(shù)仍落后于視覺。特別地，當(dāng)前的觸覺傳感器仍然難以縮放并與機(jī)器人平臺(tái)集成。原因有兩個(gè)：首先，許多觸覺傳感器通過時(shí)分多址（TDMA）進(jìn)行接口連接，在該接口中，周期性地和順序地對(duì)各個(gè)分類單元進(jìn)行采樣。隨著傳感器中紫杉樹數(shù)量的增加，TDMA的串行讀取本質(zhì)會(huì)固有地導(dǎo)致讀取延遲的增加。其次，高空間定位精度通常是通過在傳感器中添加更多的出租車來實(shí)現(xiàn)的。這總是導(dǎo)致更多的接線，

研究人員開發(fā)了自己的新型“神經(jīng)啟發(fā)式”觸覺傳感器（NeuTouch）：“ NeuTouch的結(jié)構(gòu)類似于人的指尖：它包含“皮膚”和“骨骼”，并且物理尺寸為37×21 ×13毫米 這種設(shè)計(jì)有助于與擬人化末端執(zhí)行器（用于假肢或類人機(jī)器人）和標(biāo)準(zhǔn)的多指夾持器集成。在我們的實(shí)驗(yàn)中，我們將NeuTouch與Robotiq 2F-140抓手配合使用。研究人員寫道：“我們的重點(diǎn)是指尖設(shè)計(jì)，但是可以開發(fā)出適合不同應(yīng)用的替代結(jié)構(gòu)。”

NeuTouch的觸覺感應(yīng)是通過帶有39個(gè)紫杉醇的電極層和基于石墨烯的壓阻薄膜實(shí)現(xiàn)的。紫杉樹的形狀類似于人的指尖的快速適應(yīng)（FA）機(jī)械感受器，并且沿徑向排列，其密度從傳感器的中心到外圍，范圍從高到低。

在典型的抓握過程中，NeuTouch（具有凸表面）往往會(huì)與紫杉醇密度最高的中央?yún)^(qū)域的物體進(jìn)行初始接觸。相應(yīng)地，可以在觸覺感測(cè)的較早階段捕獲豐富的觸覺數(shù)據(jù)，這可能有助于加速推理（例如，用于早期分類）。基于石墨烯的壓力傳感器由于其高的楊氏模量而形成了有效的觸覺傳感器，有助于減少傳感器的磁滯和響應(yīng)時(shí)間。

研究人員說，主要目標(biāo)是確定他們的多模式系統(tǒng)是否能夠有效檢測(cè)使用單個(gè)傳感器難以分離的物體之間的差異，以及重量峰值計(jì)數(shù)損失是否會(huì)帶來更好的早期分類性能?！罢?qǐng)注意，我們的目標(biāo)不是得出最佳的分類器;實(shí)際上，我們沒有包括可能會(huì)改善結(jié)果的本體感受數(shù)據(jù)，也沒有進(jìn)行詳盡（且計(jì)算量大）的最佳架構(gòu)搜索。相反，我們?cè)噲D了解在合理的設(shè)置中同時(shí)使用視覺和觸覺峰值數(shù)據(jù)的潛在好處?！?/p>

他們使用了四個(gè)不同的容器：一個(gè)咖啡罐，百事可樂瓶，紙板豆?jié){紙箱和金屬金槍魚罐。該機(jī)器人被用來抓握和提起每個(gè)物體15次，并對(duì)物體進(jìn)行分類并確定其重量。多模態(tài)SNN模型得分最高（81%），比任何單模測(cè)試高出約10%。

在將Loihi神經(jīng)形態(tài)芯片與GPU（Nvidia GeForce RTX 2080）進(jìn)行比較時(shí)，它們的整體性能大致相似，但是基于Loihi的系統(tǒng)使用的功率卻少得多（見表）。最新的工作是向前邁出的重要一步。

最好閱讀全文，但這里是對(duì)本文實(shí)驗(yàn)的概述。

機(jī)器人運(yùn)動(dòng)。機(jī)器人將抓握并提升每個(gè)對(duì)象類別十五次，每個(gè)類別產(chǎn)生15個(gè)樣本。使用MoveIt笛卡爾姿勢(shì)控制器計(jì)算運(yùn)動(dòng)各部分的軌跡。簡(jiǎn)要地說，將機(jī)器人抓具初始化為在每個(gè)物體的指定抓握點(diǎn)上方10厘米處。然后將末端執(zhí)行器移至抓握位置（2秒），并使用Robotiq抓握控制器關(guān)閉抓具（4秒）。然后，per紙牙將物體提起5厘米（2秒），并保持0.5秒。

數(shù)據(jù)預(yù)處理。對(duì)于這兩種方式，我們都從抓取，提升和保持階段中選擇了數(shù)據(jù)（對(duì)應(yīng)于圖4中的2.0s至8.5s窗口），并將bin持續(xù)時(shí)間設(shè)置為0.02s（325個(gè)bin），并且合并閾值Smin = 1我們使用分層的K折創(chuàng)建5個(gè)拆分;每個(gè)分組包含240個(gè)訓(xùn)練課程和60個(gè)具有相同班級(jí)分布的測(cè)試示例。

分類模型。我們將SNN與常規(guī)的深度學(xué)習(xí)進(jìn)行了比較，特別是具有門控循環(huán)單元（GRU）的多層感知器（MLP）［54］和3D卷積神經(jīng)網(wǎng)絡(luò)（CNN-3D）［55］。我們使用（i）僅觸覺數(shù)據(jù)，（ii）僅視覺數(shù)據(jù)和（iii）組合的視覺觸覺數(shù)據(jù)來訓(xùn)練每個(gè)模型。注意，組合數(shù)據(jù)上的SNN模型對(duì)應(yīng)于VT-SNN。在單一模式上訓(xùn)練時(shí)，我們視情況使用視覺或觸覺SNN。我們使用PyTorch實(shí)施了所有模型。