如何使用語義分割概率圖作為語義先驗來約束超分辨率的解空間

商湯科技在CVPR 2018發(fā)表論文44篇，錄取論文在以下領(lǐng)域?qū)崿F(xiàn)突破：大規(guī)模分布式訓(xùn)練、人體理解與行人再識別、自動駕駛場景理解與分析、底層視覺算法、視覺與自然語言的綜合理解、物體檢測、識別與跟蹤、深度生成式模型、視頻與行為理解等。

以下是在底層視覺算法領(lǐng)域，商湯科技提出的面向生成更自然真實紋理圖像的超分辨率算法。本文為商湯科技CVPR 2018論文解讀第3期。

簡介

單幀圖像超分辨率旨在基于單張低分辨率圖像恢復(fù)對應(yīng)的高分辨率圖像。卷積神經(jīng)網(wǎng)絡(luò)近年在圖像超分辨率任務(wù)中表現(xiàn)出了優(yōu)異的重建效果，但是恢復(fù)出自然而真實的紋理依然是超分辨率任務(wù)中的一大挑戰(zhàn)。

如何恢復(fù)出自然而真實的紋理呢？一個有效的方式是考慮語義類別先驗，即使用圖像中不同區(qū)域所屬的語義類別作為圖像超分辨率的先驗條件，比如天空、草地、水、建筑、森林、山、植物等。不同類別下的紋理擁有各自獨特的特性，換句話說，語義類別能夠更好的約束超分辨中同一低分辨率圖存在多個可能解的情況。如圖1中展示的建筑和植物的例子，它們的低分辨率圖像塊非常類似。雖然結(jié)合生成對抗式網(wǎng)絡(luò)（GAN）進行超分復(fù)原，若未考慮圖像區(qū)域的類別先驗信息，獲得的結(jié)果雖然增加了紋理細(xì)節(jié)，但是并不符合圖像區(qū)域本身應(yīng)該具有的紋理特點。

圖1：

不同的語義先驗對

建筑和植物區(qū)域圖像超分辨率的影響

在結(jié)合語義類別先驗的過程中會遇到兩個問題。第一個問題是，如何表達語義類別先驗，特別是當(dāng)一個圖像中存在多種語義類別時。本文選擇了語義分割概率圖作為先驗條件，其能提供像素級的圖像區(qū)域信息，每個像素點的概率向量能夠更精細(xì)地調(diào)控紋理結(jié)果。第二個問題是，如何有效地將語義先驗結(jié)合到網(wǎng)絡(luò)中去。本文提出了一種新的空間特征調(diào)制層（SFT），它能將額外的圖像先驗（比如語義分割概率圖）有效地結(jié)合到網(wǎng)絡(luò)中去，恢復(fù)出與所屬語義類別特征一致的紋理。

最終結(jié)果顯示（如圖2所示）和現(xiàn)有的SRGAN模型以及EnhanceNet模型相比，使用空間特征調(diào)制層的超分辨率網(wǎng)絡(luò)能夠生成更加自然的紋理，恢復(fù)出的高分辨率圖像視覺效果更為真實。

圖2：

在4倍超分辨率下，

SRCNN、SRGAN、EnhanceNet

和本文提出SFT-GAN算法最終結(jié)果的比較

空間特征調(diào)制

本文提出的空間特征調(diào)制層受到條件BN層的啟發(fā)，但是條件BN層以及其他的特征調(diào)制層（比如FiLM），往往忽略了網(wǎng)絡(luò)提取特征的空間信息，即對于同一個特征圖的不同位置，調(diào)制的參數(shù)保持一致。但是超分辨率等底層視覺任務(wù)往往需要考慮更多的圖像空間信息，并在不同的位置進行不同的處理?；谶@個觀點，本文提出了空間特征調(diào)制層，其結(jié)構(gòu)如圖3所示。

圖3：

空間特征調(diào)制層的結(jié)構(gòu)

空間特征調(diào)制層對網(wǎng)絡(luò)的中間特征進行仿射變換，變換的參數(shù)由額外的先驗條件（如本文中考慮的語義分割概率圖）經(jīng)過若干層神經(jīng)網(wǎng)絡(luò)變換得到。若以F表示網(wǎng)絡(luò)的特征，γ和β分別表示得到的仿射變換的尺度和平移參數(shù)，那么經(jīng)過空間特征調(diào)制層得到的輸出特征為：

空間特征調(diào)制層可以方便地被集成至現(xiàn)有的超分辨率網(wǎng)絡(luò)，如SRResNet等。圖4是本文中使用的網(wǎng)絡(luò)結(jié)構(gòu)。為了提升算法效率，先將語義分割概率圖經(jīng)過一個Condition Network得到共享的中間條件，然后把這些條件“廣播”至所有的SFT層。本文算法模型在網(wǎng)絡(luò)的訓(xùn)練中，同時使用了perceptual loss和adversarial loss，被簡稱為SFT-GAN。

圖4：

網(wǎng)絡(luò)框架示意圖

實驗結(jié)果

語義分割結(jié)果

如圖5所示，當(dāng)前基于深度學(xué)習(xí)的語義分割網(wǎng)絡(luò)在低分辨率數(shù)據(jù)集上進行fine-tune后，對于大多數(shù)場景能夠生成較為滿意的分割效果。

圖5：

語義分割結(jié)果

SFT-GAN和其他模型的結(jié)果比較

圖6展示了SFT-GAN模型和其他模型結(jié)果的比較，可以看到基于GAN的算法模型SRGAN、EnhanceNet以及本文的SFT-GAN在視覺效果上超過了以優(yōu)化PSNR為目標(biāo)的模型。SFT-GAN在紋理的恢復(fù)上能夠生成比SRGAN和EnhanceNet更自然真實的結(jié)果（圖中的動物毛發(fā)、建筑物的磚塊、以及水的波紋）。

圖6：

本文SFT-GAN模型

和現(xiàn)有超分辨率模型的結(jié)果對比

在進行的人類用戶評價中，SFT-GAN模型在各個語義類別上也比之前的基于GAN的方法有著顯著的提升（如圖7所示）。

圖7：

人類用戶評價不同算法效果

其他實驗探究

本文還可視化了語義分割概率圖和特征調(diào)制層參數(shù)的關(guān)系。圖8中展示了建筑和草地類別的概率圖以及網(wǎng)絡(luò)中某一層的調(diào)制參數(shù)的聯(lián)系?？梢钥吹剑{(diào)制參數(shù)和語義分割概率圖有著緊密的聯(lián)系，同時在調(diào)制參數(shù)中不同類別的界限依舊比較清晰。

圖8：

語義分割概率圖和特征調(diào)制層參數(shù)的聯(lián)系

實際場景中，物體類別的分隔界限通常并不十分明顯，比如圖9中的植物和草的區(qū)域，它們之間的過渡是“無縫”且連續(xù)的，而本文中使用的語義分割概率圖以及調(diào)制層的參數(shù)也是連續(xù)變化的。因此，SFT-GAN可以更為精細(xì)地調(diào)制紋理的生成。

圖9：

SFT層能夠更為精細(xì)地調(diào)制參數(shù)

本文還比較了其他結(jié)合先驗條件的方式：

將圖像和得到的語義分割概率圖級聯(lián)起來共同輸入；

通過不同的分支處理不同的場景類別，然后利用語義分割概率圖融合起來；

不考慮空間關(guān)系的特征調(diào)制方法FiLM。

從圖10中可以看到：

方法1）的結(jié)果沒有SFT層有效（SFT-GAN模型中有多個SFT層能將先驗條件更為緊密地結(jié)合）；

方法2）的效率不夠高（SFT-GAN只需要進行一次前向運算）；

方法3）由于沒有空間位置的關(guān)系，導(dǎo)致不同類別之間的紋理相互干擾。

圖10：

不同先驗條件結(jié)合方式的結(jié)果比較

結(jié)論

本文深入探討了如何使用語義分割概率圖作為語義先驗來約束超分辨率的解空間，使生成的圖像紋理更符合真實而自然的紋理特性。還提出了一種新穎的空間特征調(diào)制層（SFT）來有效地將先驗條件結(jié)合到現(xiàn)有網(wǎng)絡(luò)中?？臻g特征調(diào)制層可以和現(xiàn)有的超分辨率網(wǎng)絡(luò)使用同樣的損失函數(shù)，端到端地進行訓(xùn)練。測試時，整個網(wǎng)絡(luò)可以接受任意大小尺寸的圖像作為輸入，只需要一次前向傳播，就能夠輸出結(jié)合語義類別先驗的高分辨率圖像。實驗結(jié)果顯示，相較于現(xiàn)有超分辨率算法，本文SFT-GAN模型生成的圖像具有更加真實自然的紋理。