基于深度學(xué)習的機器人目標識別和跟蹤

如今，深度學(xué)習算法的發(fā)展越來越迅速，并且在圖像處理以及目標對象識別方面已經(jīng)得到了較為顯著的突破，無論是對檢測對象的類型判斷，亦或者對檢測對象所處方位的檢測，深度學(xué)習算法都取得了遠超過傳統(tǒng)機器學(xué)習算法的準確率。當前，可以機器人技術(shù)分為以下兩種學(xué)科的跨學(xué)科分支，即工程和科學(xué)。其包含計算機科學(xué)、機械工程、電子信息工程等。機器人的設(shè)計與制造和用于機器人的運動規(guī)劃控制、傳感器反饋和信息處理的技術(shù)系統(tǒng)在機器人鄰域都有涉及。機器人視覺也是當下研究生的一個大熱門，其包含機器人對目標環(huán)境對象的視覺信息處理以及圖像方面的處理。從工程角度來說，他可以代替人的視覺系統(tǒng)，使得機器人可以代替人們?nèi)⊥瓿梢恍└呶Ｈ蝿?wù)。

伴隨著當前智能化社會的進步，其次，目前計算機視覺和機器人等人工智能化的前言技術(shù)發(fā)展得到了學(xué)術(shù)界和人們廣泛的關(guān)注，并對我國工業(yè)領(lǐng)域以及社會生活產(chǎn)生了巨大的貢獻。目前移動智能體的自主能力成為了當前一個主要熱門的研究方向。移動智能體需要能實現(xiàn)完全自主的運動，還需要擁有對周邊環(huán)境信息的感知能力、動態(tài)環(huán)境剖析能力以及對危險環(huán)境的判斷和執(zhí)行能力。相對人類的視覺來說，目前移動智能體的視覺判斷速度相對較慢，精確度也不高，智能體可能無法在短時間內(nèi)做出較為精準的判斷。在平時生活中，人們可以從自己的所見的景象、視頻中，獲取目標物體的大致信息，如物體的位置和它們的外型、大小等。這樣能使得人類通過自己的視覺顯示，反饋給自己的大腦，并快速識別鎖定所需要關(guān)注的目標，不需要過多的下意識的思考。例如，在駕駛汽車行駛時，我們必須做到及時的對前方以及兩側(cè)路段進行判斷。因此當下針對智能體來，擁有一定的自主能力，且具有速度快、精確度較高的多目標識別算法是十分重要的，一個好的算法能提高智能體的自主能動性，精確感知周邊環(huán)境，并結(jié)合傳感器做出及時、準確的判斷，所以，當前針對自主移動智能體的開發(fā)，其實時性和準確性也就成為了尤為重要的指標。

智能體對目標識別和跟蹤在工業(yè)生產(chǎn)、偵察安全防控以及人們生活中都擁有者廣泛的應(yīng)用前景，其也是機器人領(lǐng)域的重要研究方向之一。當前，深度學(xué)習技術(shù)的飛速發(fā)展以及工業(yè)相機、激光雷達等傳感技術(shù)不斷提高，給目標識別奠定了良好的基礎(chǔ)。本文基于深度學(xué)習方法研究了機器人的目標識別和跟蹤進行了研究。

1 深度學(xué)習目標識別算法國內(nèi)外研究現(xiàn)狀

國內(nèi)對目標識別技術(shù)的相關(guān)研究相對于西方一些國家起步較晚。上世紀八十年代，相關(guān)科研工作者提出將反向傳播算法用于神經(jīng)網(wǎng)絡(luò)中，并首次提出了卷積神經(jīng)網(wǎng)絡(luò)的概念。

隨著時代的進步發(fā)展， Krizhevsky 等人提出了基于深度學(xué)習的卷積神經(jīng)網(wǎng)絡(luò)目標識別算法，該算法在著名 ImageNet 數(shù)據(jù)集上的檢測效果比第二名手工特征提取算法高了十幾個百分比，在當時取得了最好的檢測效果。深度學(xué)習也因為 ILSVC 賽事的推動下快速發(fā)展，通過賽事對目標識別加以一定的要求，使得大量學(xué)者開始使用當下較為熱門的深度學(xué)習相關(guān)技術(shù)去對目標識別算法進行研究。

如今，全球有好多高校已經(jīng)專門設(shè)立了人工智能與計算機視覺研究實驗室。并成功開發(fā)出了許多運用目標識別算法的實用應(yīng)用軟件。此外，一些著名公司如微軟、微軟公司等，也開始投入大量資金和精力，進行智能識別的相關(guān)研究，使得目標識別算法逐步開始在工業(yè)生產(chǎn)中應(yīng)用起來。

國內(nèi)在目標識別技術(shù)和深度學(xué)習研究比國外起步較晚，但近些年發(fā)展的勢頭卻很迅猛。近年來，在一大批優(yōu)秀科研技術(shù)人員的努力下，取得了很多豐碩的成果。涌現(xiàn)出了一大批相關(guān)產(chǎn)業(yè)的科技公司，如大疆、科大訊飛等。

2 機器人視覺國內(nèi)外研究現(xiàn)狀

機器視覺技術(shù)的產(chǎn)生最早是在歐美及日本等國家，最早的一批較為有名的機器視覺相關(guān)產(chǎn)業(yè)公司也在這些國家，如光源供應(yīng)商日本 Moritex、鏡頭廠家美國 Navitar、德國 Schneider等。不難發(fā)現(xiàn)，對于上個世紀歐美等較發(fā)達國家在該技術(shù)上有一個較為超前的地位。

一直到上世紀九十年代初，我國也開始涌現(xiàn)出不少與視覺技術(shù)相關(guān)的公司，其覆蓋了很多工業(yè)及生活領(lǐng)域，如車牌自動識別、材料表面缺陷檢測等。但是由于生產(chǎn)的產(chǎn)品本存在一定的問題且市場需求較小。一直到九八年開始，我國的機器視覺技術(shù)才得到了重視。進入新世紀以后，國內(nèi)很多企業(yè)開始有針對性的針對當下需求來確定所需要的機器視覺技術(shù)方案，并自主研發(fā)相關(guān)科研技術(shù)。近年來，由于政府的大力支持引導(dǎo)，我國的機器視覺行業(yè)得到了空前的發(fā)展。

3 目標識別與跟蹤技術(shù)的發(fā)展

1深度學(xué)習主流算法結(jié)構(gòu)

1.1卷積神經(jīng)網(wǎng)絡(luò)

在21世紀初期，卷積神經(jīng)網(wǎng)絡(luò)主要應(yīng)用于任務(wù)分配以及視覺識別。圖像分類是機器中類別的問題用以提取特征以及辨別圖像。新型的CNN 神經(jīng)網(wǎng)絡(luò)架構(gòu)表現(xiàn)出以多個網(wǎng)絡(luò)或多種網(wǎng)絡(luò)級聯(lián)組合應(yīng)用的新態(tài)勢，神經(jīng)網(wǎng)絡(luò)形態(tài)的快速進化為紛繁復(fù)雜的科研領(lǐng)域提供了智能高效的數(shù)據(jù)分析手段。卷積神經(jīng)網(wǎng)絡(luò)(CNN) 算法是用于識別和分類圖像等高維數(shù)據(jù)的新興技術(shù)，具有相對較低的計算成本和較高的準確性。CNN 的隱藏層是卷積層和池化層。這些層可以提取圖像的潛在特征，并通過訓(xùn)練映射輸入圖像和輸出類別之間的函數(shù)關(guān)系。也就是說，這些層可以從人工分類中學(xué)習分類標準。

1.2RBM (受限玻爾茲曼機)

在過去十年中，RBM 的理論和應(yīng)用得到了廣泛的研究。以圖像處理為例，原來的 RBM 只適用于處理二值圖像。為了處理真實圖像，提出了一系列 RBM 變體，如高斯二進制 RBM（GRBM）、協(xié)方差 RBM（cRBM）、均值和協(xié)方差 RBM (mcRBM) 和尖峰板 RBM (ssRBM)。受限玻爾茲曼機 (RBM) 是具有二分交互作用的概率圖模型，這些模型的一個特征是觀察到的單位給定隱藏單元的狀態(tài)，它們是獨立的，反之亦然。這是由于交互圖的二部性，并且不依賴于單元的狀態(tài)空間。通常RBM 是用二進制單位定義的，但也考慮了其他類型的單位，包括連續(xù)、離散和混合類型單位。

1.3 AE (自動編碼器)

自編碼器是一類人工神經(jīng)網(wǎng)絡(luò)，由編碼器和解碼器這兩個主要組件組成。編碼器是一組神經(jīng)層，將其輸入的原始維度限制為一個更小的維度，稱為潛在空間。解碼器是一組層，其目的是將潛在空間擴展回輸入的原始維度。自動編碼器通常使用反向傳播算法進行訓(xùn)練，其中所需的輸出與輸入相同，這使其成為一種無監(jiān)督學(xué)習方法。

1.4RNN (循環(huán)神經(jīng)網(wǎng)絡(luò))

循環(huán)神經(jīng)網(wǎng)絡(luò)(RNN) 對于處理數(shù)據(jù)的順序性質(zhì)至關(guān)重要，其中時間序列類型的數(shù)據(jù)就是一個典型示例。RNN 具有一種具有循環(huán)連接的神經(jīng)元。這些連接用作內(nèi)存，使 RNN 能夠從順序數(shù)據(jù)中學(xué)習時間動態(tài)性。目前，LSTM神經(jīng)網(wǎng)絡(luò)模型在人類活動識別方面表現(xiàn)出最先進的性能。

2目標識別算法模型

Wenling Xue等學(xué)者為了減少不同天氣條件的影響，提出了一種新方法GMM來模擬包含不同天氣數(shù)據(jù)的目標。高斯分量密度的加權(quán)和可用于表示 GMM，GMM是參數(shù)概率密度函數(shù)。GMM可用于在不同天氣條件下擬合目標的特性;功能數(shù)量越多，系統(tǒng)性能越高。為了估計GMM參數(shù)，使用訓(xùn)練有素的先前模型和訓(xùn)練數(shù)據(jù)。GMM是圍繞用于檢測的最佳似然比測試構(gòu)建的，使用簡單但有效的貝葉斯適應(yīng)模型來推導(dǎo)天氣影響。與SVM相比，GMM的識別率提高了。但存在著如何選擇正確的閾值以及如何對背景噪聲進行建模以提高識別率等問題。Fan Zhang等學(xué)者提出一種改進的YOLO深度學(xué)習模型，自動識別玉米葉片的氣孔，并采用熵率超像素算法對氣孔參數(shù)進行精確測量。根據(jù)氣孔圖像數(shù)據(jù)集的特點，對YOLOv5的網(wǎng)絡(luò)結(jié)構(gòu)進行了修改，在不影響識別性能的情況下，大大縮短了訓(xùn)練時間。優(yōu)化YOLO深度學(xué)習模型中的預(yù)測因子，降低了誤檢率。同時，根據(jù)氣孔物體的特點，對16倍和32倍的下采樣層進行了簡化，提高了識別效率。實驗表明該方法快速可靠。Hui Zeng等學(xué)者對非結(jié)構(gòu)化網(wǎng)絡(luò)物理系統(tǒng)環(huán)境交際機器人多模態(tài)感知模型進行構(gòu)建。改進的PSOBT-SVM 在不改變SVM分類器數(shù)量的情況下優(yōu)化了分類精度，并證明了其在多模態(tài)觸覺信號分類方面的準確性。

3目標識別和跟蹤技術(shù)

運動物體檢測是識別給定區(qū)域或區(qū)域中物體的物理運動的任務(wù)。在過去的幾年中，移動物體檢測因其廣泛的應(yīng)用而受到廣泛關(guān)注，如視頻監(jiān)控、人體運動分析、機器人導(dǎo)航、事件檢測、異常檢測、視頻會議、交通分析和安全。此外，運動目標檢測是計算機視覺和視頻處理領(lǐng)域非常重要和有效的研究課題，因為它是視頻目標分類和視頻跟蹤活動等許多復(fù)雜過程的關(guān)鍵步驟。因此，從給定的視頻幀序列中識別移動對象的實際形狀變得相關(guān)。然而，由于動態(tài)場景變化、光照變化、陰影的存在、偽裝和引導(dǎo)問題等各種挑戰(zhàn)，檢測運動中物體的實際形狀的任務(wù)變得很棘手。幀間差分法是檢測運動物體最常用的方法，它分別找到當前幀和前一個連續(xù)幀以及當前幀和下一個連續(xù)幀之間的差異，然后，該算法選擇兩個不同幀之間的最大像素強度值，接下來，將得到的差異幀劃分為不重疊的塊，并計算每個塊的強度總和和平均值，隨后，它使用閾值和強度平均值找到每個塊的前景和背景像素。

幀間差分方法的缺點是在目標細節(jié)識別中比較粗糙。傳統(tǒng)的幀間差分方法對閾值的選擇范圍要求較高。如果閾值不合理，則檢測效果不理想，輪廓不清晰、破損。然而，幀間差分算法相對簡單、速度快、易于硬件實現(xiàn)，能夠適應(yīng)實時性要求高的應(yīng)用環(huán)境。因此，該算法具有很強的實用性。

可以在幀間差分算法的基礎(chǔ)上提出一種優(yōu)化改進的目標檢測與跟蹤算法，構(gòu)建兩次區(qū)域限定與Kalman濾波算法融合的檢測方法。該算法能夠迅速、準確地提取目標區(qū)域，且對目標位置具有較高的可預(yù)測性。

4 基于深度學(xué)習的機器人目標識別和發(fā)展趨勢

目標檢測是計算機視覺、深度學(xué)習、人工智能等。它是更復(fù)雜的計算機視覺任務(wù)的重要前提，例如目標跟蹤、事件檢測、行為分析和場景語義理解。它旨在定位從圖像中提取感興趣目標，準確確定類別并給出每個目標的邊界框目標。已廣泛應(yīng)用于汽車自動駕駛、視頻圖像檢索、智能視頻監(jiān)控、醫(yī)學(xué)圖像分析、工業(yè)檢測等領(lǐng)域。傳統(tǒng)的人工提取特征檢測算法主要包括預(yù)處理、窗口滑動、特征提取、特征選擇、特征分類和后處理六個步驟，一般針對特的識別任務(wù)。它的缺點主要是數(shù)據(jù)量小，可移植性差，沒有針對性，時間復(fù)雜度高，窗口冗余，對多樣性沒有魯棒性變化，只有在特定的簡單環(huán)境下才有良好的性能。目標檢測作為計算機視覺中最基本和最具挑戰(zhàn)性的問題之一近年來備受關(guān)注。基于深度學(xué)習的檢測算法已被廣泛應(yīng)用在很多領(lǐng)域，但深度學(xué)習還有一些問題有待探索：

減少對數(shù)據(jù)的依賴。

實現(xiàn)小物體的高效檢測。

多類別目標檢測的實現(xiàn)。

現(xiàn)如今隨著科學(xué)技術(shù)的進步，以前很多機器視覺領(lǐng)域的技術(shù)都得到了長足的發(fā)展，但是在某些方面還是存在著一定的不足。比如說機器人的目標識別方面：機器人在對物體進行識別時，大目標通常都能正常檢測出來，但是對于小目標受限于目標大小和周圍環(huán)境影響等等會出現(xiàn)漏檢等情況。在目標跟蹤方面

專門應(yīng)用于目標跟蹤任務(wù)的訓(xùn)練集較少，無法適應(yīng)當前多變的跟蹤環(huán)境，完成訓(xùn)練任務(wù)。

當前的訓(xùn)練模型受限于目標的遮擋、外觀的強烈變化等等問題，使得算法無法實現(xiàn)長時間的精確跟蹤。除此以外跟蹤時，由于受到外界因素影響，可能會有一些相似對象，從而使得跟蹤出現(xiàn)錯誤。

但是我相信經(jīng)過人們對于機器視覺領(lǐng)域的不斷研究，未來會有越來越多的基于深度學(xué)習的方法去優(yōu)化目標跟蹤任務(wù)中出現(xiàn)的一系列情況，比如說采用大規(guī)模視頻數(shù)據(jù)的數(shù)據(jù)集進行離線訓(xùn)練等等，在目標識別領(lǐng)域未來也將會降低環(huán)境對檢測的影響能更加精準的檢測各種大小的目標，并且最終將兩種技術(shù)更好的結(jié)合在一起應(yīng)用到機器人技術(shù)應(yīng)用的各個方面。

審核編輯：湯梓紅