深度圖像和深度學(xué)習(xí)結(jié)合用于機(jī)器人抓取的Dex-Net、復(fù)雜目標(biāo)分割以及讓機(jī)器人整理床鋪

編者按：關(guān)于訓(xùn)練機(jī)器人抓手的研究并不少，大多都是從計(jì)算機(jī)視覺的角度出發(fā)，訓(xùn)練機(jī)器人“看得清”、“抓得準(zhǔn)”。本文同樣如此，不過與以往觀察彩色圖片不同，伯克利的研究者們借助“深度圖像”這個(gè)“利器”，提出了一種更加高效的方法，能讓機(jī)器人成功抓起此前并未見過的物體。

左：3D立方體。右：對(duì)應(yīng)深度圖像，距相機(jī)越近顏色越深。

早在AlexNet誕生的兩年前，微軟就為X-Box推出了Kinect。隨著深度學(xué)習(xí)加速了超參數(shù)函數(shù)的性能，這種低成本的深度感知器層出不窮，也使得深度學(xué)習(xí)在圖像分類、語音識(shí)別和語言翻譯中取得了驚人的效果。如今，深度學(xué)習(xí)在端到端的電子游戲、機(jī)器人操控等問題中也表現(xiàn)出大有前景的勢(shì)頭。

在機(jī)器人感知方面，類似于VGG或ResNet的卷積神經(jīng)網(wǎng)絡(luò)成為了主流選擇。在一些機(jī)器人或計(jì)算機(jī)視覺的任務(wù)中，常會(huì)用到這些框架，附帶有經(jīng)過與訓(xùn)練的權(quán)重，進(jìn)行遷移學(xué)習(xí)或?qū)唧w數(shù)據(jù)進(jìn)行微調(diào)。但是在某些任務(wù)中，只了解圖像的顏色是很有限的。當(dāng)你想訓(xùn)練機(jī)器人抓住一個(gè)陌生物體時(shí)，更重要的是讓機(jī)器人了解周圍環(huán)境的幾何結(jié)構(gòu)，而不僅僅是顏色和材質(zhì)。對(duì)目標(biāo)物體進(jìn)行控制時(shí)的物理過程，即通過力量控制一個(gè)或多個(gè)物體，取決于目標(biāo)的形狀、擺放位置和其他和顏色無關(guān)的因素。例如，當(dāng)你手中拿筆時(shí)，不用看就能改變手中筆的位置。于是，這里有一個(gè)問題：這在彩色圖像上也能成立嗎？

與彩色圖像相對(duì)應(yīng)的是深度圖像，它是只有單個(gè)通道的灰度圖像，可以測(cè)量到相機(jī)的深度值，讓我們了解一幅圖像中目標(biāo)物體的除了顏色以外的特征。我們還可以用深度來“過濾”一定范圍之外的點(diǎn)，這可以用來去除背景噪聲（如文中開頭的圖像示例）。

這篇文章中，我們將深度圖像和深度學(xué)習(xí)結(jié)合起來，用在伯克利AUTOLab三個(gè)正在進(jìn)行的項(xiàng)目中：用于機(jī)器人抓取的Dex-Net、復(fù)雜目標(biāo)分割以及讓機(jī)器人整理床鋪。

深度感知簡(jiǎn)介

深度圖像將物體表面到相機(jī)的距離進(jìn)行編碼，顯示出了特殊的視角。在文章開頭的案例圖片里，左邊的立方體3D結(jié)構(gòu)圖中有很多點(diǎn)都處于離相機(jī)不同的位置上。右邊的深度圖像中，顏色越深的地方表示距離相機(jī)越近。

深度感知最近的成果

在計(jì)算機(jī)視覺和深度學(xué)習(xí)不斷進(jìn)步的同時(shí)，深度感知領(lǐng)域也出現(xiàn)了許多成果。

通常，深度感知會(huì)將兩個(gè)不同相機(jī)生成的RGB圖像結(jié)合在一起，然后利用生成的視差圖獲取物體在環(huán)境中的深度值。

目前常用的深度傳感器是結(jié)構(gòu)光傳感器，它可以用一種看不見的波長(zhǎng)將一直物體的形狀投射到某場(chǎng)景中，比如我們熟知的Kinect。另一種深度感知的方法就是LIDAR，這種技術(shù)此前常用于地形測(cè)繪，最近在一些自動(dòng)駕駛汽車上也出現(xiàn)了它的身影。LIDAR比Kinect生成的深度映射質(zhì)量更高，但是速度較慢、成本高昂，因?yàn)樗枰獟呙杓す馄鳌?/p>

總的來說，Kinect屬于消費(fèi)級(jí)RGB-D系統(tǒng)，可以通過硬件直接捕捉到RGB圖像，以及每個(gè)像素的深度值，比此前的很多方法更快更便宜?，F(xiàn)在，很多用于研究或工業(yè)的機(jī)器人，例如AGV或人形輔助機(jī)器人，都含有類似的內(nèi)置深度感知相機(jī)。未來用于機(jī)器人的深度感知設(shè)備很可能會(huì)進(jìn)一步升級(jí)。

相關(guān)研究

針對(duì)機(jī)器人的深度感知，研究人員將這一技術(shù)用于實(shí)時(shí)導(dǎo)航、實(shí)時(shí)映射和追蹤以及對(duì)室內(nèi)環(huán)境的建模。由于深度感知能讓機(jī)器人知道它們距離障礙物有多遠(yuǎn)，就能使其進(jìn)行定位，在導(dǎo)航時(shí)避免碰撞。除此之外，深度圖像還用于實(shí)時(shí)檢測(cè)、辨別、定位人的身體部位等研究中。

這都說明在某些任務(wù)中，深度圖像可以蘊(yùn)涵很多除了顏色之外的有用信息。接下來，我們研究了三種不同任務(wù)

案例一：機(jī)器人抓取

讓機(jī)器人抓取從未見過的物體是目前一個(gè)重要的難題。雖然很多研究者使用RGB圖像，但他們的系統(tǒng)需要讓機(jī)器人訓(xùn)練好幾個(gè)月的抓取動(dòng)作。利用3D目標(biāo)網(wǎng)格的關(guān)鍵有點(diǎn)就是，研究人員可以通過渲染技術(shù)精確地合成深度圖像。

我們的Dex-Net是AUTOLab正在進(jìn)行的研究項(xiàng)目，它包括訓(xùn)練機(jī)器人抓取策略的算法、代碼。以及用于訓(xùn)練抓取的數(shù)據(jù)集。Dex-Net提出在抓取狀態(tài)下的域隨機(jī)算法，目的是用簡(jiǎn)單的抓手抓取復(fù)雜目標(biāo)物體。在BAIR此前的博文中，我們介紹了含有670萬個(gè)樣本的數(shù)據(jù)集，我們用它來訓(xùn)練抓取模型。

數(shù)據(jù)集和深度圖像

上圖展示了Dex-Net的數(shù)據(jù)集生成過程。首先，我們從多個(gè)來源中得到大量目標(biāo)物的網(wǎng)格模型，并進(jìn)行強(qiáng)化。每個(gè)模型都會(huì)被機(jī)械手抓起來進(jìn)行采樣。有了網(wǎng)格模型和被抓起后的圖像，我們計(jì)算出它的魯棒性，并生成模擬深度圖像。通過計(jì)算擺放位置、摩擦力、質(zhì)量、外力（例如重力）和蒙特卡羅積分法，計(jì)算出抓取成功地概率，從而對(duì)魯棒性進(jìn)行估計(jì)。上圖右邊，我們展示了正采樣（抓取成功）和負(fù)采樣（抓取失?。┑睦印?/p>

訓(xùn)練GQ-CNN

有了模擬數(shù)據(jù)集后，它們將用來訓(xùn)練一個(gè)抓取質(zhì)量卷積神經(jīng)網(wǎng)絡(luò)，來預(yù)測(cè)機(jī)器人抓取成功的概率。結(jié)構(gòu)如圖所示，一張圖像經(jīng)過處理后，調(diào)整了角度和抓取中心，同時(shí)對(duì)應(yīng)的96×96的深度圖像被當(dāng)做輸入，高度為z，用于預(yù)測(cè)抓取的成功概率。

下圖我們展示了Dex-Net用于在某個(gè)容器內(nèi)，對(duì)多個(gè)目標(biāo)物體進(jìn)行抓取的模擬深度圖像：

上行：ABB Yumi機(jī)器人的攝像機(jī)捕捉到的真實(shí)深度圖像

下行：Dex-Net的模擬深度圖像，紅色表示抓取的位置

案例二：在箱子中分割物體

實(shí)例分割就是判斷圖像中的像素屬于哪個(gè)物體，同時(shí)也要將同一類別中的每個(gè)物體分開。實(shí)例分割在機(jī)器人感知中很常用。例如，想讓機(jī)器人從裝滿物體的紙箱中選擇目標(biāo)物體，首先就要對(duì)圖片進(jìn)行分割，定位到目標(biāo)物體，再進(jìn)行抓取。

先前的研究表明，Mask R-CNN可以用于訓(xùn)練對(duì)RGB圖像的目標(biāo)分割，但是這一訓(xùn)練需要大量經(jīng)過手動(dòng)標(biāo)記的RGB圖像數(shù)據(jù)集。除此之外，用于訓(xùn)練的圖像必須是自然場(chǎng)景下包含有限的目標(biāo)物體種類。所以，預(yù)訓(xùn)練Mask R-CNN網(wǎng)絡(luò)可能不適用于倉庫這種雜亂的場(chǎng)景。

數(shù)據(jù)集和深度圖像

上圖是數(shù)據(jù)集的生成過程。和Dex-Net類似，我們對(duì)3D目標(biāo)物體進(jìn)行采樣，然后通過模擬，將這些物體堆放在一個(gè)盒子中。生成對(duì)應(yīng)的深度圖像，以及用于訓(xùn)練的目標(biāo)物體掩碼和標(biāo)準(zhǔn)評(píng)估圖像。

對(duì)于基于幾何形狀的分割，我們可以用模擬和渲染技術(shù)，自動(dòng)收集大量用于訓(xùn)練的數(shù)據(jù)集和經(jīng)過標(biāo)記的深度圖像。我們假設(shè)，這些深度圖像可能含有足夠的用于分割的信息，因?yàn)楦魑矬w之間的像素邊界不連貫。最終我們收集了5萬張深度圖像組成了數(shù)據(jù)集，并通過PyBullet模擬器將它們匯聚到盒子里。利用這一數(shù)據(jù)集，我們訓(xùn)練了另一個(gè)版本的Mask R-CNN，我們稱之為SD Mask R-CNN。

實(shí)際分割結(jié)果

雖然沒有在真實(shí)圖像上訓(xùn)練，我們提出的SD Mask R-CNN的表現(xiàn)超過了點(diǎn)云分割和經(jīng)過改進(jìn)的Mask R-CNN。如上圖所示，我們的模型可以準(zhǔn)確進(jìn)行分割。更重要的是，用于創(chuàng)造手動(dòng)標(biāo)簽數(shù)據(jù)集的目標(biāo)物體并不是從SD Mask R-CNN的訓(xùn)練分布中選擇的，而是常見的家用物品，我們并沒有它們的3D模型。所以，SD Mask R-CNN可以預(yù)測(cè)此前從未見過的物體掩碼。

總的來說，我們的分割方法有三大優(yōu)點(diǎn)：

深度信息在分離目標(biāo)或者背景時(shí)，其中編碼了很多有用信息；

合成深度圖像可以快速生成，用它們訓(xùn)練可以高效地轉(zhuǎn)移到現(xiàn)實(shí)圖像中；

用深度圖像訓(xùn)練過的網(wǎng)絡(luò)對(duì)此前未見過的物體泛化結(jié)果更好

案例三：讓機(jī)器人整理床鋪

整理床鋪可以運(yùn)用于家庭機(jī)器人身上，因?yàn)樗鼪]有時(shí)間限制，并且可以允許出現(xiàn)小差錯(cuò)。在此前的文章中，我們研究了用RGB圖像，將其看作是序列決策問題，實(shí)現(xiàn)更好的模擬學(xué)習(xí)。

數(shù)據(jù)集和深度圖像

我們將整理床鋪的任務(wù)看作是檢測(cè)毯子的四個(gè)角，家庭機(jī)器人需要抓起毯子，并且把它的角和床對(duì)齊。我們最初的假設(shè)是深度圖像含有足夠的有關(guān)毯子的幾何形狀的信息。

為了手機(jī)訓(xùn)練數(shù)據(jù)，我們使用的是白色的毯子，將四個(gè)角用紅色標(biāo)記，如上圖所示。重復(fù)幾次將毯子隨意仍在床上，然后從機(jī)器人內(nèi)置的RGB-D傳感器中采集RGB圖像和深度圖像。

接下來，我們訓(xùn)練一個(gè)深度卷積神經(jīng)網(wǎng)絡(luò)，只從深度圖像中檢測(cè)它的四個(gè)角。我們希望網(wǎng)絡(luò)可以泛化到能檢測(cè)出不同毯子的四角。我們的深度網(wǎng)絡(luò)使用了YOLO中的與訓(xùn)練權(quán)重，之后添加了幾個(gè)圖層。結(jié)果表明，利用預(yù)訓(xùn)練權(quán)重是非常有效果的。

毯子檢測(cè)結(jié)果

我們將訓(xùn)練策略實(shí)施之后，模型表現(xiàn)出了優(yōu)秀的結(jié)果，超越了無學(xué)習(xí)的基準(zhǔn)策略，幾乎和人類完成的效果相當(dāng)。雖然我們這里檢測(cè)的標(biāo)準(zhǔn)是毯子是否最大程度地覆蓋了床，不過這也說明，只有完成了精準(zhǔn)的檢測(cè)，才能實(shí)現(xiàn)高度覆蓋。

結(jié)語

通過這三個(gè)項(xiàng)目的實(shí)踐，我們的結(jié)果表明深度圖像在進(jìn)行物體抓取、圖像分割和不規(guī)則物體頂點(diǎn)檢測(cè)三方面，包含了許多有用的線索。我們認(rèn)為，隨著深度相機(jī)質(zhì)量的提高，深度圖像對(duì)機(jī)器人的應(yīng)用越來越重要。有了深度圖像，訓(xùn)練樣本的合成更加簡(jiǎn)單，背景噪音也能更容易地過濾掉。