如何通過深度學(xué)習(xí)來完成計(jì)算機(jī)視覺中的所有工作？

作者 | George Seif
譯者 | 天道酬勤，責(zé)編 | Carol
出品 | AI科技大本營（ID:rgznai100）

你想做計(jì)算機(jī)視覺嗎？

如今，深度學(xué)習(xí)是必經(jīng)之路。大規(guī)模數(shù)據(jù)集以及深層卷積神經(jīng)網(wǎng)絡(luò)（CNN）的表征能力可提供超準(zhǔn)確和強(qiáng)大的模型。但目前仍然只有一個挑戰(zhàn)：如何設(shè)計(jì)模型？

像計(jì)算機(jī)視覺這樣廣泛而復(fù)雜的領(lǐng)域，解決方案并不總是清晰明了的。計(jì)算機(jī)視覺中的許多標(biāo)準(zhǔn)任務(wù)都需要特別考慮：分類、檢測、分割、姿態(tài)估計(jì)、增強(qiáng)和恢復(fù)以及動作識別。盡管最先進(jìn)的網(wǎng)絡(luò)呈現(xiàn)出共同的模式，但它們都需要自己獨(dú)特的設(shè)計(jì)。

那么，我們?nèi)绾螢樗羞@些不同的任務(wù)建立模型呢？

作者在這里向你展示如何通過深度學(xué)習(xí)完成計(jì)算機(jī)視覺中的所有工作！

1、分類

計(jì)算機(jī)視覺中最出名的就是分類。圖像分類網(wǎng)絡(luò)從一個固定大小的輸入開始。輸入圖像可以有任意數(shù)量的通道，但對于RGB圖像通常為3。在設(shè)計(jì)網(wǎng)絡(luò)時，分辨率在技術(shù)上可以是任意大小，只要足夠大到能夠支持在整個網(wǎng)絡(luò)中將要進(jìn)行的向下采樣量即可。例如，如果你對網(wǎng)絡(luò)內(nèi)的4個像素進(jìn)行向下采樣，則你的輸入大小至少應(yīng)為42= 16 x 16像素。

隨著深入網(wǎng)絡(luò)，當(dāng)我們嘗試壓縮所有信息并降至一維矢量表示形式時，空間分辨率將降低。為了確保網(wǎng)絡(luò)始終有能力將其提取的所有信息進(jìn)行處理，我們根據(jù)深度的比例增加特征圖的數(shù)量，來適應(yīng)空間分辨率的降低。也就是說，我們在向下采樣過程中損失了空間信息，為了適應(yīng)這種損失，我們擴(kuò)展了特征圖來增加我們的語義信息。

在選擇了一定數(shù)量的向下采樣后，特征圖被矢量化并輸入到一系列完全連接的圖層中。最后一層的輸出與數(shù)據(jù)集中的類一樣多。

2、目標(biāo)檢測

目標(biāo)檢測器分為兩種：一級和二級。他們兩個都以錨框開始。這些是默認(rèn)的邊界框。我們的檢測器將預(yù)測這些框與地面真相之間的差異，而不是直接預(yù)測這些框。
在二級檢測器中，我們自然有兩個網(wǎng)絡(luò)：框提議網(wǎng)絡(luò)和分類網(wǎng)絡(luò)?？蛱嶙h網(wǎng)絡(luò)在認(rèn)為很有可能存在物體的情況下為邊界框提供坐標(biāo)。再次，這些是相對于錨框。然后，分類網(wǎng)絡(luò)獲取每個邊界框中的潛在對象進(jìn)行分類。

在一級檢測器中，提議和分類器網(wǎng)絡(luò)融合為一個單一階段。網(wǎng)絡(luò)直接預(yù)測邊界框坐標(biāo)和該框內(nèi)的類。由于兩個階段融合在一起，所以一級檢測器往往比二級檢測器更快。但是由于兩個任務(wù)的分離，二級檢測器具有更高的精度。

快速RCNN二級目標(biāo)檢測架構(gòu)

SSD一級目標(biāo)檢測架構(gòu)

3、分割

分割是計(jì)算機(jī)視覺中較獨(dú)特的任務(wù)之一，因?yàn)榫W(wǎng)絡(luò)既需要學(xué)習(xí)低級信息，也需要學(xué)習(xí)高級信息。低級信息可按像素精確分割圖像中的每個區(qū)域和對象，而高級信息可直接對這些像素進(jìn)行分類。這導(dǎo)致網(wǎng)絡(luò)被設(shè)計(jì)為將來自較早層和高分辨率（低層空間信息）的信息與較深層和低分辨率（高層語義信息）相結(jié)合。

如下所示，我們首先通過標(biāo)準(zhǔn)分類網(wǎng)絡(luò)運(yùn)行圖像。然后，我們從網(wǎng)絡(luò)的每個階段提取特征，從而使用從低到高的范圍內(nèi)的信息。每個信息級別在依次組合之前都是獨(dú)立處理的。當(dāng)這些信息組合在一起時，我們對特征圖進(jìn)行向上采樣，最終得到完整的圖像分辨率。

要了解更多關(guān)于如何分割與深度學(xué)習(xí)工作的細(xì)節(jié)，請查看這篇文章：
https://towardsdatascience.com/semantic-segmentation-with-deep-learning-...

GCN細(xì)分架構(gòu)

4、姿態(tài)估計(jì)

姿態(tài)估計(jì)模型需要完成兩個任務(wù)：
（1）檢測圖像中每個身體部位的關(guān)鍵點(diǎn)；
（2）找出如何正確連接這些關(guān)鍵點(diǎn)。

這分以下三個階段完成：

① 使用標(biāo)準(zhǔn)分類網(wǎng)絡(luò)從圖像中提取特征。

② 給定這些特征，就可以訓(xùn)練一個子網(wǎng)絡(luò)來預(yù)測一組2D熱圖。每個熱圖都與一個特定的關(guān)鍵點(diǎn)相關(guān)聯(lián)，并包含每個圖像像素關(guān)于是否可能存在關(guān)鍵點(diǎn)的置信值。

③ 再次給出分類網(wǎng)絡(luò)的特征，我們訓(xùn)練一個子網(wǎng)絡(luò)來預(yù)測一組2D向量場，其中每個向量場都與關(guān)鍵點(diǎn)之間的關(guān)聯(lián)度進(jìn)行編碼。然后，具有較高關(guān)聯(lián)性的關(guān)鍵點(diǎn)被稱為已連接。

用這種方法訓(xùn)練子網(wǎng)絡(luò)的模型，可以聯(lián)合優(yōu)化關(guān)鍵點(diǎn)的檢測并將它們連接在一起。

OpenPose姿態(tài)估計(jì)架構(gòu)

5、增強(qiáng)和恢復(fù)

增強(qiáng)和恢復(fù)網(wǎng)絡(luò)是它們自己獨(dú)特的野獸。我們不會對此進(jìn)行任何向下采樣，因?yàn)槲覀冋嬲P(guān)心的是高像素/空間精度。向下采樣會真正抹殺這些信息，因?yàn)樗鼘p少我們?yōu)榭臻g精度而擁有的像素?cái)?shù)。相反，所有處理都是在全圖像分辨率下完成的。

我們開始以全分辨率將想要增強(qiáng)/恢復(fù)的圖像傳遞到我們的網(wǎng)絡(luò)，而無需進(jìn)行任何修改。網(wǎng)絡(luò)僅由許多卷積和激活函數(shù)組成。這些塊通常是受啟發(fā)的，并且有時直接復(fù)制那些最初為圖像分類而開發(fā)的塊，例如殘差塊、密集塊、擠壓激勵塊等。最后一層沒有激活函數(shù)，即使是sigmoid或softmax也沒有，因?yàn)槲覀兿胫苯宇A(yù)測圖像像素，不需要任何概率或分?jǐn)?shù)。

這就是所有這些類型的網(wǎng)絡(luò)。在圖像的全分辨率上進(jìn)行了大量的處理，來達(dá)到較高的空間精度，使用了與其他任務(wù)相同的卷積。

EDSR超分辨率架構(gòu)

6、動作識別

動作識別是少數(shù)幾個需要視頻數(shù)據(jù)才能正常運(yùn)行的應(yīng)用程序之一。要對一個動作進(jìn)行分類，我們需要了解隨著時間推移，場景中發(fā)生的變化， 這自然導(dǎo)致我們需要視頻。我們的網(wǎng)絡(luò)必須經(jīng)過訓(xùn)練來學(xué)習(xí)時空信息，即時空變化。最完美的網(wǎng)絡(luò)是3D-CNN。

顧名思義，3D-CNN是使用3D卷積的卷積網(wǎng)絡(luò)。它們與常規(guī)CNN的不同之處在于，卷積是在3維上應(yīng)用的：寬度、高度和時間。因此，每個輸出像素都是根據(jù)其周圍像素以及相同位置的前一幀和后一幀中的像素進(jìn)行計(jì)算來預(yù)測的。

直接大量傳遞圖像

視頻幀可以通過幾種方式傳遞：

直接在大批量中，例如第一個圖。由于我們正在傳遞一系列幀，因此空間和時間信息都是可用的。

單幀+光流（左） 視頻+光流（右）

我們還可以在一個流中傳遞單個圖像幀（數(shù)據(jù)的空間信息），并從視頻中傳遞其相應(yīng)的光流表示形式（數(shù)據(jù)的時間信息）。我們將使用常規(guī)2D CNN從這兩者中提取特征，然后再將其組合起來傳遞給我們的3D CNN，后者將兩種類型的信息進(jìn)行合并。

將幀序列傳遞給一個3D CNN，并將視頻的光流表示傳遞給另一個3D CNN。這兩個數(shù)據(jù)流都具有可用的空間和時間信息。鑒于我們正在對視頻的兩種不同表示（均包含我們的所有信息）進(jìn)行特定處理，因此這是最慢的選擇，但也可能是最準(zhǔn)確的選擇。

所有這些網(wǎng)絡(luò)都輸出視頻的動作分類。

文章來源于AI科技大本營，作者George Seif

審核編輯 黃昊宇