一種輕量級(jí)在線多目標(biāo)車輛跟蹤方法“extraCK”

摘要：本文提出了一種基于最小成本線性成本分配的親和匹配多目標(biāo)車輛跟蹤系統(tǒng)。該跟蹤系統(tǒng)的目標(biāo)是從安裝在移動(dòng)的自我車輛上的攝像機(jī)獲取的場(chǎng)景記錄。與其他低速跟蹤應(yīng)用（例如傳統(tǒng)的行人跟蹤）相比，在道路場(chǎng)景上的車輛跟蹤和從移動(dòng)的自我車輛的相機(jī)獲取的圖像放大了更大的邊界框幾何形狀變化的問(wèn)題。這種擾動(dòng)發(fā)生在許多跟蹤場(chǎng)景中，例如當(dāng)高速物體從相對(duì)的車道接近時(shí)。由于自動(dòng)駕駛算法需要以有效的方式使用處理資源，即使在滿足計(jì)算復(fù)雜任務(wù)（如定位，對(duì)象檢測(cè)，占用網(wǎng)格更新，傳感器融合和軌跡規(guī)劃）的要求時(shí)，我們的研究特別集中在開發(fā)計(jì)算輕量級(jí)的在線多物體跟蹤模型和基準(zhǔn)測(cè)試上。為了測(cè)試和評(píng)估我們的模型，我們使用KITTI對(duì)象跟蹤 - 汽車基準(zhǔn)數(shù)據(jù)集，我們的模型統(tǒng)計(jì)指標(biāo)值相對(duì)較高; 我們的模型優(yōu)于ML和MT的最先進(jìn)方法，在MOTA和MOTP度量評(píng)估方面排名第二，與其他方法相比，處理時(shí)間快6到20倍。

I.介紹

多目標(biāo)跟蹤及其對(duì)周圍動(dòng)態(tài)交通場(chǎng)景的預(yù)測(cè)能力在自主駕駛中起著至關(guān)重要的作用，比如軌道規(guī)劃和決策制定等安全關(guān)鍵任務(wù)[1]，[2]。卷積神經(jīng)網(wǎng)絡(luò)( CNN )在運(yùn)行時(shí)間和檢測(cè)精度方面的性能增強(qiáng)創(chuàng)造了“檢測(cè)跟蹤”范例[ 3 ]–[ 5 ]。提供更高精度和更低數(shù)量的假陰性的網(wǎng)絡(luò)需要嵌入更多的復(fù)雜性，需要調(diào)整大量的參數(shù)和更多的處理要求[ 6 ]。

鑒于自動(dòng)駕駛[7]，[8]中使用的定位，目標(biāo)檢測(cè)、傳感器融合、占用網(wǎng)格更新、軌跡規(guī)劃、動(dòng)態(tài)建模和控制等任務(wù)，廣泛使用都需要計(jì)算效率高且準(zhǔn)確的解決方案。無(wú)論是使用激光雷達(dá)點(diǎn)云、立體對(duì)像、單相機(jī)圖像傳感器，還是采用在線或批量處理方法，多目標(biāo)跟蹤器都會(huì)被劃分。我們提出了一種輕量級(jí)在線多目標(biāo)車輛跟蹤方法“extraCK”，它是一種依賴于單個(gè)攝像頭的在線“檢測(cè)跟蹤”多目標(biāo)車輛跟蹤器。

II.相關(guān)工作

在線多目標(biāo)跟蹤（MOT）已被廣泛研究。由于噪聲檢測(cè)，與先前跟蹤的對(duì)象的關(guān)聯(lián)是一項(xiàng)具有挑戰(zhàn)性的任務(wù)。馬爾可夫決策過(guò)程（MDP）已被采用，例如“出生/死亡”和目標(biāo)的“出現(xiàn)/消失”被視為MDP中的狀態(tài)轉(zhuǎn)換[9]。在[10]中研究了MOT的最低成本流量?jī)?yōu)化，并且學(xué)習(xí)了“檢測(cè)”，“生死”和“檢測(cè)之間的過(guò)渡”邊緣的成本。使用貪婪算法和線性規(guī)劃提取具有二次交互的最優(yōu)軌跡集。在[11]中使用長(zhǎng)短期記憶（LSTM）模型對(duì)外觀、運(yùn)動(dòng)和交互特征進(jìn)行編碼和組合，在行人跟蹤方面獲得了有希望的結(jié)果。引入了單個(gè)基于CNN的對(duì)象跟蹤器，發(fā)現(xiàn)了每個(gè)目標(biāo)的特定CNN分支，在線和提取的特征與目標(biāo)運(yùn)動(dòng)模型相結(jié)合[12]。四核CNN已經(jīng)在[13]中使用，跨幀的跟蹤分配是根據(jù)四倍損失完成的。對(duì)檢測(cè)到的物體進(jìn)行網(wǎng)格劃分，并根據(jù)它們的位置、外觀相似性、目標(biāo)動(dòng)力學(xué)和軌跡正則化對(duì)局部流描述符進(jìn)行分類，并將模型表述為所有假設(shè)集的能量最小化框架。在[14]中已經(jīng)研究了物體和變化點(diǎn)的檢測(cè)，通過(guò)以下[15]檢測(cè)并將點(diǎn)軌跡定義為圖形模型，并且解決了成對(duì)電位的最小成本多切問(wèn)題。

已經(jīng)研究了目標(biāo)特定的相似度函數(shù)，對(duì)于時(shí)間局部窗口對(duì)象，在線學(xué)習(xí)了外觀相似度函數(shù)，并且在[16]中解決了最小成本的多商品流問(wèn)題。在[17]中已經(jīng)提出了利用網(wǎng)絡(luò)流優(yōu)化來(lái)跟蹤基于在線目標(biāo)的外觀和運(yùn)動(dòng)線索。[ 18 ]關(guān)注從安裝在移動(dòng)車輛上的攝像機(jī)獲取的復(fù)雜場(chǎng)景，這也是我們的方法遵循的類似目標(biāo)。將由對(duì)象之間的位置和速度差描述的結(jié)構(gòu)運(yùn)動(dòng)約束與檢測(cè)錨進(jìn)行比較，并給出具有最小成本的分配。

III.方法

A.親和特征

對(duì)于每個(gè)檢測(cè)到的對(duì)象，可以提取各種特征用于親和度測(cè)量，例如包含邊界框坐標(biāo)，寬度，高度的幾何特征，取決于立體圖像的可用性的視差度量，以及其他檢測(cè)到的對(duì)象的遮擋百分比?；谕庥^的功能包括檢查顏色直方圖或關(guān)鍵點(diǎn)描述符[19]。準(zhǔn)確測(cè)量?jī)蓚€(gè)連續(xù)幀的檢測(cè)對(duì)象之間的成對(duì)親和度是多對(duì)象跟蹤的關(guān)鍵挑戰(zhàn)。由于移動(dòng)視覺(jué)平臺(tái)，可以看到大量的運(yùn)動(dòng)場(chǎng)景，比如自我車輛合并右轉(zhuǎn)道路，車輛穿過(guò)對(duì)面車道。

圖1 :跟蹤器模型的流程圖。CNN處理獲取的圖像以進(jìn)行對(duì)象檢測(cè)。對(duì)于每個(gè)檢測(cè)特征向量和RGB顏色直方圖與前一幀進(jìn)行比較。根據(jù)其親和度測(cè)量來(lái)分配對(duì)象IDS。

在這些情況下，如果特征向量之間的給定距離足夠大，則分配新的ID，否則在擁擠情況下分配的ID之間的切換次數(shù)會(huì)增加?？偟膩?lái)說(shuō)，選擇用于親和力測(cè)量的廣義信息特征集是一項(xiàng)具有挑戰(zhàn)性的任務(wù)。

根據(jù)跟蹤場(chǎng)景和情況，特定的問(wèn)題可能會(huì)因不同的特性而發(fā)生。關(guān)鍵點(diǎn)描述符可用于被遮擋的對(duì)象，或者它們可以位于遠(yuǎn)離小的邊界框區(qū)域內(nèi)。使用距離信息看起來(lái)很直觀，但是當(dāng)可以發(fā)生由環(huán)境部分遮擋的檢測(cè)到的對(duì)象時(shí)，可能存在如圖2中突出顯示的一些特定情況。在圖2中，第一行給出了來(lái)自左攝像機(jī)圖像的幀，第二行繪制了跟隨[ 20 ]的視差圖估計(jì)。在圖2中，第一行給出了來(lái)自左攝像機(jī)圖像的幀，第二行繪制了跟隨[ 20 ]的視差圖估計(jì)。即使對(duì)于低遮擋率，由于已經(jīng)最小和最大差異度量沒(méi)有給出任何有用的知識(shí)，因此平均差異度量表現(xiàn)出不一致性。需要先進(jìn)的處理方法，如遮擋姿勢(shì)估計(jì)[21]，遮擋分類器[22]或直方圖比較。被檢測(cè)對(duì)象的外觀被顯示為信息豐富，RGB通道直方圖通常被入庫(kù)到任意數(shù)量的庫(kù)[ 23 ]。即使對(duì)于低數(shù)量的區(qū)間，如果將三個(gè)通道的值添加到特征向量，則吸收邊界框位置，也需要加權(quán)距離計(jì)算和權(quán)重參數(shù)的學(xué)習(xí)。

最后，如果使用一個(gè)物體與其他被檢測(cè)物體的遮擋比率，當(dāng)遮擋另一個(gè)物體的最近物體消失時(shí)，這兩個(gè)物體之間會(huì)交換值。特征向量Fi由其邊界框的特定值定義如下：

其中寬度和高度相關(guān)特征根據(jù)所獲取幀的大小在0和1的范圍之間歸一化。另外，由Hi表示的i-th邊界框補(bǔ)丁的三維RGB直方圖用每個(gè)通道的6個(gè)區(qū)間提取。RGB直方圖被歸一化并平面化成一維，結(jié)果長(zhǎng)度為216。

B.跟蹤器模型

使用Faster R-CNN（[3]）檢測(cè)獲取圖像中的對(duì)象，其中300個(gè)區(qū)域提議和錨步長(zhǎng)為8個(gè)像素，骨干卷積網(wǎng)絡(luò)是在ImageNet上預(yù)訓(xùn)練的預(yù)訓(xùn)練的Inception-Resnet-V2模型[24] 使用KITTI 2D物體檢測(cè)數(shù)據(jù)集[4]，[5]對(duì)數(shù)據(jù)集進(jìn)行微調(diào)。對(duì)于每個(gè)檢測(cè)到的對(duì)象，由Fi表示的親和度特征被提取，并且對(duì)于幀 t> 1，成對(duì)的特征余弦距離矩陣Di*j被導(dǎo)出如下：

還使用卡方距離比較直方圖，其中Si*j表示RGB顏色直方圖的卡方距離矩陣。同樣，對(duì)于t> 1，兩個(gè)直方圖的卡方距離由下式給出：

當(dāng)分配成對(duì)特征距離和直方圖相似度時(shí)，親和力成本矩陣Ci*j通過(guò)以下公式計(jì)算：

一旦建立了成本矩陣，就提取行和列的最小值，以便確定先前跟蹤的對(duì)象是否消失或者出現(xiàn)了新的對(duì)象。在這種情況下，計(jì)算親和力成本大于確定的閾值，緩存消失的車輛，然后交叉檢查新對(duì)象并與高速緩存的對(duì)象進(jìn)行比較。圖3從上到下分別顯示了特征距離矩陣、方形直方圖距離和成本矩陣。消失的車輛列和新出現(xiàn)的行都從成本矩陣中移除。

存在于成本矩陣中的剩余車輛被分配求解線性和分配問(wèn)題，匈牙利算法引入的二分圖的最小權(quán)重匹配[25]。如果X是布爾矩陣并且X（i; j）= 1當(dāng)且僅當(dāng)行i被分配給列j時(shí)，通過(guò)求解來(lái)確定最佳賦值：

對(duì)命令min（i; j）的方陣進(jìn)行分配，因此如果對(duì)象未被分配給任何先前的檢測(cè)或者未被確定類似于高速緩存的對(duì)象，則分配新的軌跡。

圖2：頂行示出了用于KITTI對(duì)象跟蹤訓(xùn)練序列0001，幀160到164的檢測(cè)到的車輛和底行立體視差圖。由邊界框標(biāo)記的區(qū)域的平均差異值以黃色顯示。即使低的遮擋率也會(huì)導(dǎo)致檢測(cè)到的對(duì)象的平均差異度量在序列中波動(dòng)，并且不提供穩(wěn)定的親和力特征。

圖3：特征余弦距離矩陣，卡方RGB顏色直方圖相似度和成本矩陣分別從上到下表示。行索引表示對(duì)幀t處的對(duì)象的檢測(cè)，列對(duì)前一幀的對(duì)象進(jìn)行索引，t-1。

C.后幀處理

當(dāng)完成當(dāng)前幀的軌跡分配時(shí)，預(yù)測(cè)下一幀的高速緩存和活動(dòng)車輛特征。此任務(wù)有三個(gè)目的：調(diào)整成本矩陣，識(shí)別先前跟蹤的對(duì)象已消失但在下面的幀中重新出現(xiàn)，以及調(diào)整近處物體的邊界框行為，這些行為也可能以高速移動(dòng)。通過(guò)應(yīng)用最小二乘法在時(shí)間索引t處擬合線，在時(shí)間索引t + 1處為幀預(yù)測(cè)對(duì)象特征。對(duì)于活動(dòng)或緩存的所有對(duì)象，如果已經(jīng)為高于給定閾值的幀數(shù)提供了數(shù)據(jù)，則提取每個(gè)特征的t + 1處的擬合值。外推特征值被觀察到的特征值替換，并用于下一幀中的特征向量距離比較。

在圖5中，被跟蹤物體相對(duì)于自我車輛從相反方向接近。由于攝像機(jī)和檢測(cè)到的物體之間的相對(duì)高速度，邊界框特征顯示出相當(dāng)大的變化。如果親和力模型接受這種相當(dāng)大的特征距離，則在擁擠的跟蹤場(chǎng)景中預(yù)測(cè)性能會(huì)顯著降低。但是，將特征向量外推到下一幀可以深入了解下一個(gè)可能的邊界框以及車輛是否僅部分可見(jiàn)。如果在幀限制之外外推邊界框，則排除期望在框架外的部分。放置在圖5左下方的框架示出了框架97處的檢測(cè)的邊界框與框架97的預(yù)測(cè)邊界框和框架96中觀察到的邊界框之間的余弦距離。

由于CNN的遮擋或假陰性，也無(wú)法觀察到先前跟蹤的車輛。圖4示出了說(shuō)明性示例。CNN在幀73處最后檢測(cè)到相同的車輛，其被繪制在第一行的最右邊，并且直到幀78被重新檢測(cè)，被繪制在第二行的最左邊。在此消失期間，外推緩存的車輛特征以最小化再現(xiàn)時(shí)的特征距離。

圖4：KITTI對(duì)象跟蹤測(cè)試序列0007，幀73到78。右上方的圖像顯示了車輛的最后一次檢測(cè)，其中紅色水平和垂直線代表邊界框坐標(biāo)。對(duì)于框架74-77，紫色邊界框是同一車輛的預(yù)測(cè)運(yùn)動(dòng)。最左邊的數(shù)字，第78幀顯示了檢測(cè)到同一車輛時(shí)的邊界框。

圖5：屬于跟蹤訓(xùn)練序列0008的編號(hào)為94到97的幀序列表示連續(xù)幀之間的相當(dāng)大的邊界框大小變化。對(duì)于親和力匹配，預(yù)期部分可見(jiàn)的被跟蹤對(duì)象的邊界框被調(diào)整。

IV.評(píng)估

出于評(píng)估目的，使用[2]中的KITTI對(duì)象跟蹤評(píng)估2012數(shù)據(jù)集，僅考慮“汽車”類。訓(xùn)練數(shù)據(jù)集由21個(gè)具有8.008幀的序列組成，測(cè)試數(shù)據(jù)集由29個(gè)序列和11.095幀組成。從安裝在自我車輛上的攝像機(jī)以10FPS記錄幀。所有序列都具有不同數(shù)量的對(duì)象和長(zhǎng)度及其獨(dú)特的運(yùn)動(dòng)場(chǎng)景。在我們的評(píng)估研究中，采用以下指標(biāo)：CLEAR MOT [26]以及Fragmentation（FRAG），ID-switch（IDS），Mostly-Tracked（MT）和Mostly-Lost（ML），它們?cè)赱27]中定義。

表I給出了我們方法“extraCK”的召回率、精確度、F - measure、虛警率( FAR )和真陽(yáng)性( TP )、假陽(yáng)性( FP )、假陰性( FN )、虛警率( FAR )的統(tǒng)計(jì)度量值。這些度量值是跟蹤器的目標(biāo)檢測(cè)部分的結(jié)果。表II顯示了多目標(biāo)跟蹤相關(guān)的統(tǒng)計(jì)度量值，即多目標(biāo)跟蹤精度（MOTP）說(shuō)明了跟蹤器估計(jì)精確對(duì)象位置的能力，多目標(biāo)跟蹤精度（MOTA）是FN總和的比值，F(xiàn)P 和總計(jì)幀數(shù)相對(duì)于地面實(shí)況對(duì)象總數(shù)計(jì)算的不匹配，[26]。

MT定義為覆蓋超過(guò)80％的地面實(shí)際軌跡的輸出軌跡的百分比，ML是覆蓋不到20％的地面實(shí)際軌跡的輸出軌跡的百分比，IDS是跟蹤軌跡變化的次數(shù)和FRAG定義地面實(shí)況軌跡被中斷的次數(shù)。我們的方法的性能與根據(jù)KITTI跟蹤基準(zhǔn)測(cè)試的最新方法進(jìn)行了比較(例如，參見(jiàn)[ 2 )，列表基準(zhǔn)目標(biāo)跟蹤評(píng)估方法相對(duì)于不同的度量值可在http://www.cvlibs.net/datasets/kitti/eval_tracking.php.獲得。

在撰寫本論文時(shí)，我們的模型在MOTA指標(biāo)上排名第二，因?yàn)榕c性能更好的方法相比，它具有更高的FN度量值和IDS值，參見(jiàn)表II中的七種方法。定位跟蹤對(duì)象(即MOTP值)的性能再次排名第二，并且相對(duì)接近第一排名方法。根據(jù)MT統(tǒng)計(jì)度量值以及ML統(tǒng)計(jì)度量值，為了捕獲大部分跟蹤，我們的方法“extraCK”優(yōu)于其他最先進(jìn)的方法。我們的方法的基準(zhǔn)測(cè)試性能被可視化，并與圖6中最先進(jìn)的方法進(jìn)行比較。

圖6：“Car”類多目標(biāo)跟蹤精度（MOTA），多目標(biāo)跟蹤精度（MOTP），主要跟蹤（MT）和大部分丟失（MT）度量與KITTI對(duì)象跟蹤基準(zhǔn)中的其他已發(fā)布方法的比較。

具有親和力成本矩陣的跟蹤分配的計(jì)算復(fù)雜性取決于當(dāng)前和先前檢測(cè)的最小數(shù)量，詳細(xì)分析在[25]，[28]中給出。鑒于在英特爾i7 - 6820HK上以2.70 GHz CPU測(cè)試包含檢測(cè)對(duì)象的幀時(shí)的運(yùn)行時(shí)性能，我們的跟蹤器模型的平均運(yùn)行時(shí)間為0.0295秒或34 fps，標(biāo)準(zhǔn)偏差為0.01228秒。運(yùn)行時(shí)直方圖和概率分布如圖7所示。

圖7 :運(yùn)行時(shí)間直方圖和概率分布圖，由當(dāng)前和先前檢測(cè)到的物體數(shù)量的最小值決定。模型在KITTI物體跟蹤序列上的平均頻率≈34Hz。

V. 結(jié)論

本文提出了一種輕量級(jí)在線多目標(biāo)車輛跟蹤方法“extraCK”，該方法解決了結(jié)合外觀特征的外推運(yùn)動(dòng)最小成本線性和分配問(wèn)題。鑒于ML度量，我們的extraCK方法優(yōu)于最先進(jìn)的方法，同時(shí)我們的方法在MOTA、MOTP和MT測(cè)試的前三個(gè)度量結(jié)果中以KITTI對(duì)象跟蹤基準(zhǔn)的“Car”級(jí)為基準(zhǔn)。運(yùn)行時(shí)性能（0.03秒）將進(jìn)行測(cè)試和交叉檢查。與其他方法相比，速度提高了6到20倍，實(shí)現(xiàn)了自動(dòng)駕駛的計(jì)算“輕量級(jí)”多車輛跟蹤。所實(shí)現(xiàn)的運(yùn)行時(shí)性能使得能夠根據(jù)具有挑戰(zhàn)性的跟蹤場(chǎng)景中的周圍車輛的運(yùn)動(dòng)來(lái)進(jìn)行軌跡規(guī)劃。沿著可接受的跟蹤度量值水平的運(yùn)行時(shí)性能使得自動(dòng)駕駛車輛的計(jì)算資源能夠被其他時(shí)間關(guān)鍵任務(wù)使用。