一種無需監(jiān)督的目標(biāo)追蹤新方法——給視頻上色

追蹤視頻中的對象目標(biāo)是計(jì)算機(jī)視覺的基本問題，這對于動作辨識、目標(biāo)對象交互或者視頻風(fēng)格化等應(yīng)用非常重要。然而，教機(jī)器在視覺上追蹤物體是非常有挑戰(zhàn)性的，因?yàn)樗枰笮偷摹⒈粯?biāo)記的數(shù)據(jù)集進(jìn)行訓(xùn)練，但是這些跟蹤數(shù)據(jù)無法大規(guī)模標(biāo)記。論智君昨天在六種人體姿態(tài)估計(jì)的深度學(xué)習(xí)模型和代碼總結(jié)一文中談到了對人體姿態(tài)估計(jì)的方法，感興趣的讀者可以閱讀一下。

今天，谷歌AI博客發(fā)表文章，稱他們找到了一種無需監(jiān)督的目標(biāo)追蹤新方法——給視頻上色。在之前的Tracking Emerges by Colorizing Videos一文中，谷歌研究者介紹了一種卷積神經(jīng)網(wǎng)絡(luò)，它可以給灰度視頻上色，但是無法從單個參照系中復(fù)制顏色。為了達(dá)到這一目的，這次提出的的網(wǎng)絡(luò)學(xué)會了如何在沒有監(jiān)督的情況下自動對目標(biāo)物體進(jìn)行視覺追蹤。重要的是，雖然模型不能直接訓(xùn)練用于追蹤，但它可以跟蹤多個物體，同時在圖形變換上能保持較高的魯棒性，并且不需要任何標(biāo)記過的訓(xùn)練數(shù)據(jù)。以下是論智對原文的編譯。

上圖是在DAVIS 2017數(shù)據(jù)集上的追蹤預(yù)測示例。學(xué)會給視頻上色后，一種用于追蹤的機(jī)制就自動出現(xiàn)，不需要監(jiān)督。我們在第一幀用不同顏色標(biāo)出了需要識別的對象，之后模型不需要學(xué)習(xí)或監(jiān)督就可以在接下來的視頻中自動延續(xù)需要上色的部分。

學(xué)習(xí)對視頻重新上色

我們假設(shè)，只在第一幀顯示出的顏色可以提供大量訓(xùn)練數(shù)據(jù)，能讓機(jī)器學(xué)習(xí)在視頻中追蹤所選定的區(qū)域。顯然，有些情況下，顏色會暫時變得不連貫，比如光線突然改變，但是總體來說，顏色是穩(wěn)定的。另外，大多數(shù)視頻帶有顏色，同時還有大量的自監(jiān)督學(xué)習(xí)信號。我們對視頻去顏色化，在給它們上色，是因?yàn)榭赡芏鄠€物體的顏色都相同，但是通過上色，我們可以教機(jī)器追蹤具體的物體或區(qū)域。

為了訓(xùn)練我們的系統(tǒng)，我們用的是Kinestics數(shù)據(jù)集中的視頻，該數(shù)據(jù)集中的視頻記錄的大多是日?；顒?。我們把視頻中除了第一幀之外的所有幀都轉(zhuǎn)換成了灰調(diào)，并訓(xùn)練一個卷積網(wǎng)絡(luò)預(yù)測原本的顏色。我們希望模型學(xué)習(xí)如何追蹤區(qū)域，從而能準(zhǔn)確地復(fù)原顏色。我們主要的關(guān)注點(diǎn)在于，跟蹤物體將會讓模型自動學(xué)習(xí)。

我們用DAVIS 2017數(shù)據(jù)集中的視頻說明這一過程，在模型中輸入灰度視頻和一幀帶有顏色的視頻，讓其判斷剩下視頻的顏色。模型學(xué)會從第一幀中復(fù)制顏色，即它可以不在人類監(jiān)督下學(xué)會追蹤目標(biāo)物體。

想從單一參照視頻中復(fù)制顏色，模型需要在內(nèi)部學(xué)會如何找到正確的區(qū)域，這樣才能填充正確的顏色。這就迫使它學(xué)習(xí)一種可以用來追蹤的機(jī)制。下面是模型上色的過程：

左：第一幀上色；中：輸入視頻；右：輸出視頻

雖然網(wǎng)絡(luò)在訓(xùn)練時沒有標(biāo)準(zhǔn)參照，我們的模型學(xué)會了以第一幀為參照對任意區(qū)域進(jìn)行上色。我們可以跟蹤任一物體甚至視頻中的某個點(diǎn)。唯一的不同是，我們不是改變顏色，而是添加代表這一區(qū)域的標(biāo)簽。

分析跟蹤器

由于模型在大量未標(biāo)記的視頻上訓(xùn)練，我們想掌握模型到底學(xué)到了什么。下面的動圖展現(xiàn)了如何用模型學(xué)習(xí)來的可視化方法將嵌入映射到三維空間中，這一過程用到了主成分分析（PCA）并將其變成RGB格式的圖像。結(jié)果顯示，在與學(xué)到的嵌入空間最近的區(qū)域似乎更對應(yīng)目標(biāo)物體的識別，即使變了形或改變了視角。

第一行：DAVIS 2017數(shù)據(jù)集中的視頻；第二行：上色模型內(nèi)部的嵌入。相似的嵌入會在視覺表示中有相似的顏色，這說明目標(biāo)識別將學(xué)習(xí)到的嵌入進(jìn)行像素劃分

姿態(tài)跟蹤

我們發(fā)現(xiàn)，如果在開頭幀中給定幾個關(guān)鍵點(diǎn)，模型還可以跟蹤人類的姿態(tài)。我們展示了JHMDB數(shù)據(jù)集中的幾個結(jié)果，其中我們追蹤了人類的關(guān)節(jié)骨架。

在這個例子中，輸入的是第一幀人類的動作，接下來的動作模型會自動追蹤。即使之前沒有訓(xùn)練過此種場景，模型也能追蹤到人類動作

雖然我們的模型還不足以超越監(jiān)督模型，但是與最近基于光流的模型相比，它所學(xué)到的視頻分割和人類姿勢追蹤表現(xiàn)已經(jīng)勝出了。我們的模型比光流追蹤方面更穩(wěn)定，尤其在復(fù)雜的情況下，例如動態(tài)背景、快速運(yùn)動和障礙物面前。想了解更多細(xì)節(jié)，請閱讀原論文。

結(jié)語

我們的工作表示，給視頻上色可以用作在無監(jiān)督情況下學(xué)習(xí)追蹤視頻中的目標(biāo)物體。另外，我們發(fā)現(xiàn)系統(tǒng)的失敗會導(dǎo)致給視頻上色時出現(xiàn)錯誤，這也說明，未來改善視頻的上色模型可以提高姿態(tài)追蹤系統(tǒng)的表現(xiàn)