第一代機(jī)器人,如第一批消費(fèi)級(jí)機(jī)器人吸塵器,相對(duì)來說比較簡單,自我導(dǎo)航和執(zhí)行任務(wù)的能力有限。這些機(jī)器人通過紅外發(fā)射器等探測障礙物,使用震動(dòng)傳感器檢測碰撞。但是,這些都已成為歷史。
隨著人工智能(AI)、機(jī)器學(xué)習(xí)(ML)和計(jì)算機(jī)視覺(CV)等融合技術(shù)的進(jìn)步,現(xiàn)在,機(jī)器人可以看到周圍的環(huán)境,分析動(dòng)態(tài)場景或變化的條件,并做出決定。而硬件創(chuàng)新進(jìn)一步推動(dòng)了這些功能的完善,比如越來越強(qiáng)大的移動(dòng)平臺(tái)、更復(fù)雜的傳感器和高分辨率圖像捕獲。
有了這些資源,開發(fā)者可以專注于開發(fā)更少依賴外部硬件(如GPS)的更自主的智能機(jī)器人,機(jī)器人的工作環(huán)境也得到大大的拓展(如,在室內(nèi)、在弱光下等),并且可以處理不斷變化的環(huán)境和移動(dòng)物體。為零售、汽車、農(nóng)業(yè)、工業(yè)物聯(lián)網(wǎng)(IoT)、健康和企業(yè)等領(lǐng)域的新型機(jī)器人應(yīng)用鋪平了道路。
為實(shí)現(xiàn)上述目標(biāo),機(jī)器人開發(fā)者應(yīng)努力克服機(jī)器人視覺三大挑戰(zhàn):
? 確定對(duì)象的方向:不僅要識(shí)別周圍環(huán)境中的對(duì)象,還必須確定它們?cè)?D空間中的方向,以便機(jī)器人與這些對(duì)象交互和/或回避這些對(duì)象。
? 處理移動(dòng)對(duì)象:給定環(huán)境中的對(duì)象可能不是靜態(tài)的。機(jī)器人需要在空間和時(shí)間上檢測、識(shí)別和跟蹤對(duì)象。
? 導(dǎo)航:要使機(jī)器人具有自主性,還需要相應(yīng)的算法,允許其在變化的環(huán)境中進(jìn)行移動(dòng)。
四階段戰(zhàn)略
開發(fā)者可以根據(jù)要求,通過采用四階段策略來克服這些挑戰(zhàn):
1. 預(yù)處理:從現(xiàn)實(shí)世界(如,傳感器和相機(jī))收集數(shù)據(jù)并轉(zhuǎn)換,使數(shù)據(jù)更加方便使用。
2. 特征檢測:從預(yù)處理數(shù)據(jù)中提取諸如角落、邊緣等特征。
3. 對(duì)象檢測和分類:從特征檢測對(duì)象,并且可以根據(jù)已知的特征圖對(duì)對(duì)象進(jìn)行分類。
4. 對(duì)象跟蹤和導(dǎo)航:跟蹤已識(shí)別對(duì)象,包括對(duì)象和在機(jī)器人導(dǎo)航時(shí)改變環(huán)境的視點(diǎn)。
然后,這些階段生成的數(shù)據(jù)可用于控制伺服、制定決策以及執(zhí)行其他高級(jí)機(jī)器人任務(wù)。
聽起來好像工作量很大,事實(shí)上也可能如此,但幸運(yùn)的是,現(xiàn)在有相應(yīng)的框架和硬件,幫助您解決這個(gè)問題。Qualcomm Technologies, Inc.最近發(fā)布了 Qualcomm機(jī)器人RB3平臺(tái)(RB3)(基于QualcommSDA845 SoC(SDA845))及相關(guān)的Qualcomm RoboticsRB3開發(fā)套件。該套件為開發(fā)者提供了移動(dòng)硬件功能和豐富的工具支持,助力您解決上述挑戰(zhàn)。
本系列文章共兩篇,在第一篇中,我們將介紹該策略的前兩個(gè)階段:預(yù)處理和特征檢測,以及如何使用功能豐富的開發(fā)工具包(如Qualcomm Robotics RB3開發(fā)套件。
預(yù)處理
機(jī)器人使用一個(gè)或多個(gè)攝像頭和/或其他傳感器從現(xiàn)實(shí)世界收集數(shù)據(jù)。但是,這些原始數(shù)據(jù)可能不適合于滿足既定目標(biāo)所需的準(zhǔn)確計(jì)算和預(yù)測。此時(shí),可以使用數(shù)字信號(hào)處理(DSP)等方法,“清理”數(shù)據(jù),使其方便使用。比如,可以采用多種方式清理圖像數(shù)據(jù),包括調(diào)整大小、伽馬校正和對(duì)比度增強(qiáng);而傳感器數(shù)據(jù),如來自Qualcomm Robotics RB3開發(fā)套件上的慣性測量單元(IMU)、加速度計(jì)、氣壓計(jì)和/或麥克風(fēng)的傳感器數(shù)據(jù),可以進(jìn)行融合、內(nèi)推和/或過濾。
在處理圖像數(shù)據(jù)時(shí),必須規(guī)劃好收集數(shù)量和速度。Qualcomm Robotics RB3開發(fā)套件支持兩個(gè)(立體)圖像,這意味著系統(tǒng)必須同時(shí)處理兩個(gè)平面。此外,還可以支持16-32萬像素的分辨率和30-60 fps的幀速率。同樣,可以使用Qualcomm SDA845上的高速和低速連接器以及您采用的傳感器類型,以各種頻率和比特率收集傳感器數(shù)據(jù)。
為減少處理這些數(shù)據(jù)的開銷,一般希望使用最低采樣率和分辨率,滿足應(yīng)用程序所需的數(shù)據(jù)量即可。此外,還應(yīng)盡可能將處理流程卸載到合適的處理器。Qualcomm SDA845與專用硬件兼容,包括Qualcomm Hexagon 685 DSP和Qualcomm Spectra 280 ISP,以及更通用的Qualcomm Kryo385 CPU和面向圖形的Qualcomm Adreno 630 GPU。
在API方面,開發(fā)者可以使用Qualcomm計(jì)算機(jī)視覺庫,該庫包含許多用于圖像預(yù)處理的硬件加速API。也可以使用Qualcomm神經(jīng)處理引擎SDK,其中包含圖像預(yù)處理API,用于處理神經(jīng)網(wǎng)絡(luò)中的圖像。另外,還可以選擇使用Qualcomm驍龍異構(gòu)計(jì)算SDK,進(jìn)一步控制計(jì)算操作的執(zhí)行方式。
特征檢測
通過提供干凈的數(shù)據(jù),可以提取功能。對(duì)于可視化數(shù)據(jù),計(jì)算機(jī)視覺開發(fā)者希望的四種常用特性包括:
? 角落:具有局部2D結(jié)構(gòu)的點(diǎn)狀特征
? 邊緣:兩個(gè)區(qū)域之間的一組點(diǎn)
? Blob:感興趣的區(qū)域
? 脊:具有脊點(diǎn)的曲線
這篇維基百科文章提供了有關(guān)這些特性的更多信息,并列出了許多特性檢測器算法以及以檢測的特性類型。下圖顯示了從可視數(shù)據(jù)中檢測到的特性:
特征檢測算法需要大量處理能力,但通常逐個(gè)像素運(yùn)行,因此,很適合在Qualcomm SDA845不同處理器上并行執(zhí)行。開發(fā)者可以使用計(jì)算機(jī)視覺庫中的特性檢測API,其中包括Harris角檢測器、FAST、Hough Transform和其他檢測器,以及基于最大穩(wěn)定極值區(qū)(MSER)的對(duì)象檢測API。
結(jié)論
前兩個(gè)階段為機(jī)器人視覺處理打下了堅(jiān)實(shí)的基礎(chǔ)。預(yù)處理將數(shù)據(jù)轉(zhuǎn)換為可用形式,而特征檢測則是了解數(shù)據(jù)的過程。在以后的文章中,我們將繼續(xù)探討最后兩個(gè)階段:對(duì)象檢測和分類、對(duì)象跟蹤和導(dǎo)航,為機(jī)器人提供導(dǎo)航和與周圍環(huán)境交互所需的數(shù)據(jù)。(來源于Qualcomm)
責(zé)任編輯:xj
原文標(biāo)題:機(jī)器人視覺處理四階段策略
文章出處:【微信公眾號(hào):新機(jī)器視覺】歡迎添加關(guān)注!文章轉(zhuǎn)載請(qǐng)注明出處。
-
機(jī)器人
+關(guān)注
關(guān)注
210文章
27883瀏覽量
204793 -
機(jī)器視覺
+關(guān)注
關(guān)注
161文章
4275瀏覽量
119598 -
CV
+關(guān)注
關(guān)注
0文章
51瀏覽量
16801
原文標(biāo)題:機(jī)器人視覺處理四階段策略
文章出處:【微信號(hào):vision263com,微信公眾號(hào):新機(jī)器視覺】歡迎添加關(guān)注!文章轉(zhuǎn)載請(qǐng)注明出處。
發(fā)布評(píng)論請(qǐng)先 登錄
相關(guān)推薦
評(píng)論