如何在3D機(jī)器視覺應(yīng)用中利用DLP？

TI為機(jī)器視覺攝影鏡頭提供了一些非常不錯(cuò)的參考設(shè)計(jì)。TI為3D機(jī)器視覺提供的一種獨(dú)特的解決方案，利用了其數(shù)字光源處理器（DLP）技術(shù)。透過圖5中的例子可以看到，如何可在3D機(jī)器視覺應(yīng)用中利用DLP。

圖5 針對(duì)3D機(jī)器視覺的DLP解決方案。

除硬件外，TI還提供DLP結(jié)構(gòu)光軟件開發(fā)工具包（SDK），以及基于其TIDA-00254的3D機(jī)器視覺完整參考設(shè)計(jì)。

ADI

ADI選擇為條形碼掃描儀開發(fā)解決方案。機(jī)器視覺系統(tǒng)設(shè)計(jì)因?yàn)樾枰孀R(shí)和讀取大量的各類標(biāo)簽，而無論其大小、形狀、顏色或條件如何，所以需要使用這類基于影像的系統(tǒng)。該公司認(rèn)為條形碼掃描儀市場(chǎng)目前正在從基于雷射的系統(tǒng)轉(zhuǎn)向成像解決方案，從而獲得更高的掃描分辨率、吞吐量和專一性。為此，嵌入式處理器需要進(jìn)行邊緣檢測(cè)與分類，腐蝕、膨脹、復(fù)位位和感興趣區(qū)域選擇，以及掃描算法包含顏色和模板匹配部分。

在機(jī)器視覺攝影鏡頭領(lǐng)域，要求攝影鏡頭本身就能實(shí)時(shí)檢測(cè)缺陷或異常，Blackfin DSP的分析處理功能可以提高效率，并提供更具成本效益的線掃描和故障檢測(cè)解決方案。

ADI還推出了一款六足蜘蛛機(jī)器人，它可以部署在對(duì)人類來說過于危險(xiǎn)的惡劣環(huán)境中，例如地震或其他自然災(zāi)害地區(qū)。

協(xié)作型機(jī)器人

機(jī)器人將在智慧工廠和太空中與人類一起工作，這類協(xié)作型機(jī)器人被稱為cobot（collaborative robot的簡(jiǎn)稱）。計(jì)算機(jī)視覺和影像辨識(shí)的新技術(shù)進(jìn)步，將幫助這些cobot避免與其人類同事相接觸。VEO Robotics是一家為工業(yè)cobot開發(fā)感知和智慧方案的公司典范。

NASA自動(dòng)漫游車的機(jī)器視覺

現(xiàn)在我們來看看NASA用于自動(dòng)漫游車的機(jī)器視覺技術(shù)。最新的火星漫游車是Mars 2020 Rover，它有一個(gè)非常獨(dú)特的”SuperCam”—不像大多數(shù)其他機(jī)器視覺攝影鏡頭那樣看影像，而是使用紅外線和綠色激光束來遠(yuǎn)程分析土壤和巖石等材料的化學(xué)成分。使用的技術(shù)是雷射誘導(dǎo)擊穿光譜法（LIBS），利用漫游車上的遠(yuǎn)程RAMAN光譜系統(tǒng)進(jìn)行礦物分析（圖6）。欲了解更多信息，可參閱《”SuperCam” Update： Multi-purpose Instrument Coming Together for 2020 Launch to Mars》一文。

圖6 Mars 2020 Rover使用SuperCam。

使用機(jī)器人視覺的創(chuàng)新和教育應(yīng)用

6自由度機(jī)械手

人工智能正在成功地應(yīng)用于計(jì)算機(jī)視覺系統(tǒng)，特別是機(jī)器人視覺（robotic vision）。計(jì)算機(jī)視覺可以獲取、分析、處理和理解影像，《Computer Vision Based Object Grasping 6DoF RoboticArm Using Picamera》一文中提供了基本的機(jī)械手臂設(shè)計(jì)，它可以在特定位置執(zhí)行起吊、運(yùn)輸和卸放物體等多種任務(wù)。這個(gè)機(jī)械手臂與基于攝影鏡頭的3D視覺系統(tǒng)相配合—該系統(tǒng)連接到一臺(tái)具有視覺算法功能的計(jì)算機(jī)，能夠辨識(shí)物體的變形，以及空間協(xié)調(diào)，從而使機(jī)械手臂能夠遵循特定程序來完成其任務(wù)。

這種機(jī)器人設(shè)計(jì)使用了Picamera—這是一款官方的Raspberry Pi產(chǎn)品，能夠拍攝照片、錄制視訊，并可將所用影像特效用作輸入（圖7）。

圖7 系統(tǒng)框圖。

計(jì)算機(jī)視覺算法

這個(gè)系統(tǒng)設(shè)計(jì)使用了兩種算法：算法1用于辨識(shí)紅色物體，而算法2可在將物體位置與機(jī)械手臂手爪位置進(jìn)行比較時(shí)，與機(jī)械手臂一起辨識(shí)物體位置。

這是初學(xué)者學(xué)習(xí)機(jī)器視覺或計(jì)算機(jī)視覺和機(jī)器人技術(shù)的一個(gè)相對(duì)基礎(chǔ)的例子。這個(gè)示例利用將機(jī)械手臂的所有軸聚焦到所需對(duì)象來執(zhí)行一些不同的基本功能，并可在所需位置對(duì)其卸放。

配備機(jī)械手臂的輪椅

這個(gè)例子比前一個(gè)例子復(fù)雜一點(diǎn)。該設(shè)計(jì)將幫助有醫(yī)療運(yùn)動(dòng)障礙的患者執(zhí)行日常任務(wù)。由于患有上肢肢體疾?。ㄈ缗两鹕习Y）的患者手動(dòng)控制機(jī)械手臂會(huì)比較困難，因此這種設(shè)計(jì)可以使他們受益，將使用計(jì)算機(jī)視覺的自主手臂安裝在輪椅上是基本的思路。

機(jī)械手臂具有6自由度，并結(jié)合計(jì)算機(jī)系統(tǒng)和兩個(gè)視覺傳感器安裝在電動(dòng)輪椅上。一個(gè)傳感器使用計(jì)算機(jī)視覺算法，檢測(cè)架子上隨機(jī)所放有色物體的粗略位置；第二個(gè)傳感器透過確保物體準(zhǔn)確放在手爪前以提供物體的精確位置。手臂將自動(dòng)抓取有色物體，并將其交給使用者（圖8）。

圖8 安裝在電動(dòng)輪椅上的機(jī)械手臂。

這種機(jī)械手臂是由Trossen Robotics開發(fā)的PhantomX Reactor機(jī)械手臂套件。它使用的Arbotix-M機(jī)器人控制器是由Trossen自行開發(fā)—這款微控制器與Arduino兼容。為了透過計(jì)算機(jī)與手臂通信，設(shè)計(jì)人員使用了python串口訪問庫(kù)PySerial。

視覺傳感器

兩個(gè)USB網(wǎng)絡(luò)攝影鏡頭視覺傳感器用于物體檢測(cè)。視覺傳感器1是羅技HD c920網(wǎng)絡(luò)攝影鏡頭，安裝在面向架子的機(jī)械手臂上方，這樣可以擷取手臂和架子的視訊以便進(jìn)行實(shí)時(shí)的粗略定位，利用對(duì)視訊訊框進(jìn)行處理即可定位目標(biāo)對(duì)象的X和Y位置。視覺傳感器2是一個(gè)機(jī)器人VGA網(wǎng)絡(luò)攝影鏡頭，使用200mm鵝頸管安裝在手爪上方，這一視覺傳感器用來擷取目標(biāo)物體的近距離特寫視訊。計(jì)算機(jī)視覺算法負(fù)責(zé)尋找并抓住對(duì)象物體，并將其拿到使用者面前，交給使用者。

Cartman

澳大利亞機(jī)器人視覺中心（ACRV）團(tuán)隊(duì)成功設(shè)計(jì)了一款用于自動(dòng)倉(cāng)儲(chǔ)的取放機(jī)器人Cartman，而贏得了2018年亞馬遜機(jī)器人挑戰(zhàn)賽（Amazon Robotics Challenge）冠軍。

對(duì)于機(jī)器人來說，從雜亂的隨機(jī)物體堆中選擇一件特定物體是比較困難的事。這個(gè)項(xiàng)目則更加先進(jìn)，可以用于家庭清潔，或先進(jìn)的空間相關(guān)樣品退還任務(wù)，圖9顯示了Cartman的組成部分。

圖9 Cartman設(shè)計(jì)有兩個(gè)6自由度機(jī)械手臂。其手腕上安裝有一個(gè)攝影鏡頭，以及兩個(gè)效應(yīng)器工具（抽吸工具和平行夾持機(jī)構(gòu)），框架上安裝了第二個(gè)攝影鏡頭，對(duì)紅色背景幕布區(qū)域的物品拾取進(jìn)行二次拍攝。

攝影鏡頭

由于要安裝在機(jī)器人的手腕上，英特爾RealSense SR300 RGB-D攝影鏡頭因其體積小和重量輕等優(yōu)點(diǎn)而被選中。這款攝影鏡頭使用攝影鏡頭中的紅外線投影儀來確定深度；另一個(gè)RealSense攝影鏡頭安裝在機(jī)器人的框架上，用于對(duì)所拾取的物品進(jìn)行第二次分類檢查。

這次比賽中一個(gè)有趣的挑戰(zhàn)是，機(jī)器人要拾取的物品僅在每次競(jìng)賽開始前45分鐘才提供給參賽團(tuán)隊(duì)。這為深度學(xué)習(xí)帶來了挑戰(zhàn)。這個(gè)獲獎(jiǎng)團(tuán)隊(duì)選擇在一組最小的未見物品數(shù)據(jù)上微調(diào)其基礎(chǔ)RefineNet網(wǎng)絡(luò)，該團(tuán)隊(duì)開發(fā)了一個(gè)半自動(dòng)數(shù)據(jù)收集流程，而使他們能夠收集到每個(gè)未見物品七個(gè)獨(dú)特姿勢(shì)的影像數(shù)據(jù)，并創(chuàng)建帶標(biāo)記的數(shù)據(jù)集，從而在7分鐘內(nèi)對(duì)網(wǎng)絡(luò)進(jìn)行微調(diào)。在比賽期間，微調(diào)是在Intel Core i5-7600計(jì)算機(jī)和四片Nvidia GTX1080Ti顯卡上進(jìn)行。

從挑戰(zhàn)賽可以看出，該團(tuán)隊(duì)意識(shí)到，機(jī)器人系統(tǒng)的性能仍然有很長(zhǎng)的路要走，才能達(dá)到人類的水平（人類可以做到大約400次拾取/小時(shí)，而Cartman只能執(zhí)行大約120次/小時(shí)）。他們認(rèn)為以下兩個(gè)特性對(duì)于贏得挑戰(zhàn)比賽至關(guān)重要，對(duì)設(shè)計(jì)能夠在現(xiàn)實(shí)世界中使用的自動(dòng)機(jī)器人系統(tǒng)同樣重要：

?采用專注于系統(tǒng)級(jí)整合和測(cè)試的設(shè)計(jì)方法，可以幫助優(yōu)化競(jìng)賽表現(xiàn)；

?需要設(shè)計(jì)強(qiáng)健且能處理錯(cuò)誤的高階邏輯。

機(jī)器視覺在紡織檢驗(yàn)中的挑戰(zhàn)

Teledyne Dalsa擁有不錯(cuò)的區(qū)域掃描、線掃描、TDI線掃描、智能和紅外線攝影鏡頭系列。他們已經(jīng)接受了在要求苛刻的紡織產(chǎn)業(yè)中使用機(jī)器視覺的挑戰(zhàn)，即要求成品不能有結(jié)構(gòu)性和表面缺陷，這是一項(xiàng)艱巨而復(fù)雜的任務(wù)。

機(jī)器視覺主要用于惡劣工業(yè)環(huán)境中的工業(yè)攝影鏡頭。在紡織產(chǎn)業(yè)，生產(chǎn)線可能每天24小時(shí)運(yùn)作，材料又可能在這樣的生產(chǎn)在線以高達(dá)120公尺/分鐘的速度移動(dòng)，同時(shí)要求保持產(chǎn)品有高度的一致性和質(zhì)量，這樣才能提高效率和利潤(rùn)。

這種工作中所采用的攝影鏡頭通常是線掃描攝影鏡頭，其單行畫素可用于對(duì)快速移動(dòng)材料創(chuàng)建連續(xù)的2D影像。這些攝影鏡頭特別適用于連續(xù)布料成像，同時(shí)可以檢測(cè)出圖案、顏色和紋理的變化，以及材料中的缺陷。與面掃描攝影鏡頭相比，這類攝影鏡頭在提供高速無污漬影像方面表現(xiàn)出色，具有很好的處理效率和更低的每畫素成本。

較新的多線掃描攝影鏡頭與不同的LED光源相結(jié)合，可以檢測(cè)沿生產(chǎn)線快速移動(dòng)的紡織品在整個(gè)長(zhǎng)度和寬度上的一系列缺陷，整個(gè)視場(chǎng)角范圍內(nèi)的照明應(yīng)該是均勻并且具高密度。

《A New Look： How Machine Vision Is Changing Textile Inspection》一文中指出，”線掃描攝影鏡頭產(chǎn)生的數(shù)據(jù)通常用于創(chuàng)建2D影像，或自動(dòng)創(chuàng)建一張圖，用來準(zhǔn)確顯示缺陷位于紡織品表面的位置，質(zhì)量控制檢驗(yàn)員可以查看這張缺陷圖來確定其有效性。質(zhì)量控制檢驗(yàn)員所尋找的一些典型缺陷包括水損壞、印刷錯(cuò)誤、異物纖維、油斑等，然后，圖像處理軟件對(duì)影像或缺陷圖進(jìn)行分析，來對(duì)所檢測(cè)紡織品構(gòu)建虛擬切割方案。這個(gè)過程可使制造商在實(shí)際切割紡織品之前虛擬地構(gòu)建一個(gè)切割方案，從而能夠以最小的缺陷達(dá)到最大產(chǎn)量。一旦生成了理想的切割方案之后，制造商就可以據(jù)此實(shí)施，并準(zhǔn)備紡織品的出貨了?！?/p>

圖10 檢測(cè)結(jié)構(gòu)性缺陷。

機(jī)器人正與人們一起工作，它們可以看到許多人類無法看到的東西，處理大量數(shù)據(jù)的速度要比人類大腦快幾個(gè)數(shù)量級(jí)。他們有眼睛、耳朵、語(yǔ)音，以及嗅覺和感覺能力，可以走路、交談、抓取，并執(zhí)行復(fù)雜的功能。我們正在進(jìn)入人工智能的時(shí)代，這是機(jī)器人推理的開始，但我們是這項(xiàng)技術(shù)的創(chuàng)造者和主人，有責(zé)任確保創(chuàng)造用于正當(dāng)目的，同時(shí)需要重新培訓(xùn)可能因先進(jìn)技術(shù)而失去工作的人。技術(shù)是好的，但作為技術(shù)的監(jiān)護(hù)者，必須保持它們?cè)谏鐣?huì)中的地位，同時(shí)確保為每個(gè)人創(chuàng)造更美好和更成功的世界。
責(zé)任編輯:pj