作者:SFXiang
首發(fā):AI算法修煉營(yíng)
今天給大家介紹一篇圖像超分辨率鄰域的綜述,這篇綜述總結(jié)了圖像超分辨率領(lǐng)域的幾方面:problem settings、數(shù)據(jù)集、performance metrics、SR方法、特定領(lǐng)域應(yīng)用以結(jié)構(gòu)組件形式,同時(shí),總結(jié)超分方法的優(yōu)點(diǎn)與限制。討論了存在的問題和挑戰(zhàn),以及未來(lái)的趨勢(shì)和發(fā)展方向。
1.前言
超分辨率(Super Resolution,SR)是從給定的低分辨率(LR)圖像中恢復(fù)高分辨率(HR)圖像的過程,是計(jì)算機(jī)視覺的一個(gè)經(jīng)典應(yīng)用。SR是指通過軟件或硬件的方法,從觀測(cè)到的低分辨率圖像重建出相應(yīng)的高分辨率圖像(說(shuō)白了就是提高分辨率),在監(jiān)控設(shè)備、衛(wèi)星圖像遙感、數(shù)字高清、顯微成像、視頻編碼通信、視頻復(fù)原和醫(yī)學(xué)影像等領(lǐng)域都有重要的應(yīng)用價(jià)值。
近年來(lái),目睹了使用深度學(xué)習(xí)技術(shù)的圖像超分辨率的顯著進(jìn)步。文中將現(xiàn)有的使用深度學(xué)習(xí)方法解決圖像超分辨率問題的研究工作主要分成三個(gè)部分:
1.supervised SR(有監(jiān)督學(xué)習(xí)的圖像超分辨率)
2.unsupervised SR(無(wú)監(jiān)督學(xué)習(xí)的圖像超分辨率)
3.domain-specific SR (特定應(yīng)用領(lǐng)域的圖像超分辨率)
2.超分辨率SR問題定義
其中,Φ(θ)是正則化項(xiàng),SR最常見的損失函數(shù)為逐像素差的均方誤差,更強(qiáng)大的模型往往采用將多種損失函數(shù)相結(jié)合的方式。
3.數(shù)據(jù)集
一些數(shù)據(jù)集提供HR-LR圖像對(duì),有的只提供HR圖像,LR圖像通常是通過MATLAB中默認(rèn)設(shè)置的imresize函數(shù)(雙三次插值with anti-aliasing)獲得。下表是一些SR常用數(shù)據(jù)集:
4.圖像質(zhì)量評(píng)估
如何定量地評(píng)估模型的性能?許多圖像質(zhì)量評(píng)估(IQA)技術(shù)(或度量)用于相同的目的。這些指標(biāo)可以大致分為兩類——主觀指標(biāo)和客觀指標(biāo)。
峰值信噪比 PSNR
峰值信噪比(PSNR)是一種常用的客觀指標(biāo),通常用來(lái)衡量有損變換的圖像質(zhì)量。對(duì)于SR,通過圖片間的最大可能像素值L和均方誤差MSE定義,PSNR與ground truth圖像與生成圖像的均方誤差(MSE)的對(duì)數(shù)成反比。假設(shè)HR圖像I和重建圖像 ? I,兩者的像素都是N,MSE和PNSR(db)如下所示:
在上面的公式中,8bit表示一個(gè)像素點(diǎn)的取值,取值范圍為0~255,L是可能的最大像素值(對(duì)于8位RGB圖像,它是255),PSNR的典型值從20到40不等,越高越好。從式子可以看出,L一定,PNSR只與像素間的MSE有關(guān),所以,PSNR只關(guān)心像素值之間的差異,它并不能很好地代表感知質(zhì)量。PSNR在真實(shí)場(chǎng)景的SR衡量效果較差,但由于缺乏感知衡量標(biāo)準(zhǔn),運(yùn)用最為廣泛。
結(jié)構(gòu)相似度 SSIM
Operating Channels
除了RGB,YCbCr顏色空間也被廣泛使用。Y, Cb, Cr 分別表示亮度、藍(lán)差、紅差色度分量。早期的模型更傾向于在Y通道上進(jìn)行操作,最近的模型更多的處理RGB顏色通道。在不同的顏色空間或者通道上操作會(huì)使評(píng)估的性能造成很大的不同。
其他的IQA分?jǐn)?shù)
平均意見評(píng)分(MOS)
基于任務(wù)的評(píng)價(jià)
信息保真度準(zhǔn)則(IFC)
視覺信息保真度(VIF)
5.監(jiān)督式SR方法
深度學(xué)習(xí)可以用給定的低分辨率圖像來(lái)估計(jì)高分辨率圖像。通過使用高分辨率圖像作為目標(biāo)(或 ground-truth)和LR圖像作為輸入,我們可以將其視為監(jiān)督學(xué)習(xí)問題。監(jiān)督式SR方法是同時(shí)使用LR和相應(yīng)的HR圖像進(jìn)行訓(xùn)練。
監(jiān)督式SR方法框架
通過上采樣模塊在模型中的位置,可以將這些模型分為四個(gè)框架。
1、前置上采樣SR
該方法首先對(duì)低分辨率圖像進(jìn)行插值,得到“粗”的高分辨率圖像。
直接從LR圖像學(xué)習(xí)HR圖像存在一定難度,利用傳統(tǒng)方法(雙三次插值)上采樣,在通過神經(jīng)網(wǎng)絡(luò)優(yōu)化重建高質(zhì)量的細(xì)節(jié),是一種直接的解決方案。SRCNN學(xué)習(xí)經(jīng)過插值處理的LR圖像到HR圖像之間的映射。
優(yōu)點(diǎn):通過傳統(tǒng)算法進(jìn)行上采樣,神經(jīng)網(wǎng)絡(luò)只需要對(duì)粗HR圖像進(jìn)行精細(xì)化處理,大大降低了學(xué)習(xí)難度??梢詫⑷我獯笮〉牟逯堤幚砗蟮膱D像作為輸入,效果與單尺度模型相當(dāng)。
預(yù)先上采樣方法的副作用:噪聲放大、模糊、在高維空間計(jì)算造成的時(shí)間和空間成本大。由于這里沒有使用轉(zhuǎn)置卷積,checkerboard artifacts可能會(huì)被繞過。
2、后置上采樣SR
在這種情況下,低分辨率圖像被傳遞到CNNs。上采樣在最后一層使用可學(xué)習(xí)層來(lái)執(zhí)行。將上采樣操作移至網(wǎng)絡(luò)末端,在低維空間中學(xué)習(xí)映射。
該方法的優(yōu)點(diǎn)是在較低維空間(上采樣前)進(jìn)行特征提取,從而降低了計(jì)算復(fù)雜度。此外,通過使用一個(gè)可學(xué)習(xí)的上采樣層,可以對(duì)模型進(jìn)行端到端的訓(xùn)練。分辨率提升只在網(wǎng)絡(luò)后端發(fā)生,計(jì)算復(fù)雜度大大提升。上采樣只在一個(gè)步驟中進(jìn)行,學(xué)習(xí)大的上采樣因子的難度很大。每個(gè)尺度都需要單獨(dú)的SR模型,無(wú)法滿足多尺度SR的需要。
3、逐步上采樣SR
在上面的組中,雖然計(jì)算復(fù)雜度降低了,但是只使用了一個(gè)上采樣卷積。這使得大尺度縮放的學(xué)習(xí)過程更加困難。為了解決這個(gè)缺陷,Laplacian Pyramid SR Network和progressive SR采用了漸進(jìn)上采樣的框架。在這種情況下,模型使用級(jí)聯(lián)神經(jīng)網(wǎng)絡(luò)在較小的尺度上每一步逐步重建高分辨率的圖像。
通過將一個(gè)困難的任務(wù)分解成更簡(jiǎn)單的任務(wù),可以大大降低學(xué)習(xí)難度,獲得更好的性能。此外,像curriculum learning這樣的學(xué)習(xí)策略可以進(jìn)一步降低學(xué)習(xí)難度,提高最終的performance。lapSRN 采用漸進(jìn)式SR框架解決了Post-upsampling SR框架無(wú)法滿足的多尺度問題。采用連續(xù)的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu),逐步重建高分辨率圖片。MS-LapSRN和progressive SR也采用了這個(gè)框架。但存在模型復(fù)雜、訓(xùn)練難度大的問題。
4、迭代上下采樣SR
另一種流行的模型架構(gòu)是hourglass(或U-Net)結(jié)構(gòu)。有些變體,如Stacked Hourglass網(wǎng)絡(luò)使用幾個(gè)連續(xù)的hourglass結(jié)構(gòu),有效地在上采樣和下采樣過程之間交替。
該框架下的模型能夠更好地挖掘出低分辨率圖像和高分辨率圖像對(duì)之間的深層關(guān)系,從而提供更高質(zhì)量的重建結(jié)果。為了探究LR-HR圖像對(duì)之間的關(guān)系,將一種有效的迭代過程——反向投影引入到SR中,迭代的上采樣-下采樣操作,迭代的應(yīng)用反向投影精細(xì)化圖像。計(jì)算重建誤差,再將其融合回來(lái)調(diào)整HR圖像的強(qiáng)度。DBPN采用這種結(jié)構(gòu),將一系列中間HR結(jié)果聯(lián)系起來(lái)重構(gòu)成最后的HR結(jié)果。
6.上采樣方法
除了模型中的上采樣位置外,如何執(zhí)行上采樣也非常重要。盡管存在多種傳統(tǒng)的上采樣方法,但利用CNN來(lái)學(xué)習(xí)端到端的上采樣已逐漸成為一種趨勢(shì)。在本節(jié)中,我們將介紹一些傳統(tǒng)的基于插值的算法和基于深度學(xué)習(xí)的上采樣方法。
上采樣方法有:
1、最近鄰插值和雙線性插值
最近鄰插值:每個(gè)待插值的位置選擇最相鄰的像素值,而不考慮其他像素,處理速度快,生成圖片質(zhì)量低、塊狀化。
雙線性插值:每次在一個(gè)軸上進(jìn)行,然后在另一個(gè)軸上再次進(jìn)行。保持速度較快的同時(shí),性能比最近鄰插值好得多。感受野為2*2雙三次插值同樣,雙三次插值對(duì)圖像的兩個(gè)維度進(jìn)行三次插值,需要4x4的像素進(jìn)行計(jì)算,計(jì)算速度慢,效果更平滑。anti-aliasing的雙三次插值是目前構(gòu)造SR數(shù)據(jù)集的主流方法。
基于插值的上采樣方法只能通過圖像的本身內(nèi)容提高圖像的分辨率,并沒有帶來(lái)更多信息,相反還有噪聲放大、計(jì)算復(fù)雜度增加、結(jié)果模糊等副作用。
2、轉(zhuǎn)置卷積
通過插入零值,進(jìn)行卷積來(lái)提高圖像的分辨率。由于轉(zhuǎn)置卷積在保持與卷積兼容的連接模式的同時(shí)以端到端的方式放大了圖像大小,因此它被廣泛用作SR模型的上采樣層。
然而,該層很容易在每個(gè)軸上引起“不均勻重疊”,并且兩個(gè)軸上的相乘結(jié)果進(jìn)一步創(chuàng)建了大小變化的棋盤狀圖案,從而損害了SR性能。
3、亞像素層
與轉(zhuǎn)置卷積層相比,亞像素層具有更大的感受野,它提供了更多的上下文信息以幫助生成更多逼真的細(xì)節(jié)。然而,由于感受野的分布是不均勻的,并且塊狀區(qū)域?qū)嶋H上共享相同的感受野,因此可能會(huì)導(dǎo)致在不同塊的邊界附近出現(xiàn)一些偽影。另一方面,獨(dú)立預(yù)測(cè)塊狀區(qū)域中的相鄰像素可能會(huì)導(dǎo)致輸出不平滑。
4、Meta upscale module
以前的方法需要預(yù)先定義縮放因子,即針對(duì)不同的因子訓(xùn)練不同的上采樣模塊,效率低下,而且不符合實(shí)際需求。Meta upscale 模塊基于元學(xué)習(xí)解決任意比例因子的SR。具體來(lái)說(shuō),對(duì)于HR圖像上的每個(gè)目標(biāo)位置,此模塊將其投影到LR特征圖上的一個(gè)小塊(即k ×k×cin),根據(jù)密集層的投影偏移和縮放因子預(yù)測(cè)卷積權(quán)重(即,k×k×cin×cout)并執(zhí)行卷積。
這樣,Meta upscale module可以通過單個(gè)模型以任意因子連續(xù)放大它。并且由于大量的訓(xùn)練數(shù)據(jù)(同時(shí)訓(xùn)練多個(gè)因素),該模塊在固定因素上可以表現(xiàn)出相當(dāng)甚至更好的性能。但是,該方法基于與圖像內(nèi)容無(wú)關(guān)的多個(gè)值來(lái)預(yù)測(cè)每個(gè)目標(biāo)像素的大量卷積權(quán)重,因此當(dāng)面對(duì)較大放大倍數(shù)時(shí),預(yù)測(cè)結(jié)果可能不穩(wěn)定且效率較低。
7.常用網(wǎng)絡(luò)結(jié)構(gòu)設(shè)計(jì)
除了經(jīng)典的2D卷積,網(wǎng)絡(luò)中還可以使用一些有趣的變體來(lái)改進(jìn)結(jié)果。Dilated卷積可以提供更有效的感受野,因此可以使用長(zhǎng)距離依賴的信息。Skip connections、Spatial Pyramid Pooling和Dense Blocks推動(dòng)了低級(jí)特征和高級(jí)特征的結(jié)合,以提高性能。
1、Residual Learning
全局殘差學(xué)習(xí):由于輸入與輸出圖像高度相關(guān),研究者嘗試只學(xué)習(xí)兩幅圖像的殘差,只需要學(xué)習(xí)一個(gè)殘差映射恢復(fù)丟失的高頻細(xì)節(jié),大大降低了模型的復(fù)雜度和難度。
局部殘差學(xué)習(xí):用于緩解網(wǎng)絡(luò)不斷加深造成的梯度消失、爆炸的問題,增強(qiáng)網(wǎng)絡(luò)的學(xué)習(xí)能力。
由跳躍連接和逐像素加法進(jìn)行計(jì)算,前者連接輸入與輸出,后者在不同網(wǎng)絡(luò)層之間進(jìn)行連接。
2、Recursive Learning
為了實(shí)現(xiàn)更大的感受野和進(jìn)行更高層次的特征學(xué)習(xí)并且避免更多的參數(shù),將遞歸引入模型。16個(gè)循環(huán)的DRCN采用單卷積層遞歸,感受野達(dá)到41×41,遠(yuǎn)大于SRCNN的13×13,并且沒有過多參數(shù)。
DRRN將殘差塊作為遞歸單元進(jìn)行25次遞歸,性能優(yōu)于17個(gè)殘差塊的非遞歸基線。
后來(lái)Tai等人提出了基于記憶塊的MemNet,記憶塊由6個(gè)遞歸殘塊組成,每個(gè)遞歸的輸出連接起來(lái),再經(jīng)過一個(gè)額外的1×1卷積進(jìn)行記憶和遺忘。CARN也采用了包含多個(gè)殘差塊的遞歸單元。
Han等提出了雙狀態(tài)遞歸網(wǎng)絡(luò)(dual-state network, DSRN)來(lái)交換HR狀態(tài)和LR狀態(tài)之間的信號(hào)。在每個(gè)時(shí)間步,它們根據(jù)當(dāng)前LR狀態(tài)和HR狀態(tài)更新LR狀態(tài),然后將其傳輸?shù)紿R狀態(tài)進(jìn)行更新。通過雙態(tài)遞歸學(xué)習(xí)(最多7次遞歸),更好地探索了LR-HR圖像對(duì)之間的深層關(guān)系。而Lai不僅將卷積層作為遞歸層,還將特征嵌入模塊、特征上采樣模塊和圖像上采樣模塊作為遞歸模塊,對(duì)每個(gè)子問題共享參數(shù)。
遞歸學(xué)習(xí)使得參數(shù)的數(shù)量大大減少,但帶來(lái)了梯度消失和梯度爆炸的問題。因此通常將殘差學(xué)習(xí)和遞歸學(xué)習(xí)結(jié)合來(lái)緩解這些問題。
3、Multi-path Learning
多路徑學(xué)習(xí)是指通過模型的多個(gè)路徑傳遞特性,這些路徑執(zhí)行不同的操作,以提供更好的建模能力。具體來(lái)說(shuō),它可以分為三種類型:
Global Multi-path Learning:全局多路徑學(xué)習(xí)是指利用多個(gè)路徑提取圖像不同方面的特征。這些路徑在傳播過程中可以相互交叉,從而大大提高了特征提取的能力。
LapSRN包含一種從粗到細(xì)預(yù)測(cè)子帶殘差的特征提取路徑,以及一種基于兩種路徑信息重構(gòu)可見HR圖像的圖像重建路徑。
同樣,DSRN利用LR路徑和HR路徑分別在低維空間和高維空間中提取信息。這兩條路徑不斷交換信息,進(jìn)一步提高學(xué)習(xí)能力。
Local Multi-path Learning:MSRN采用了一種新的多尺度特征提取塊,如上圖所示,在該塊中,采用核大小為3×3和5×5的兩個(gè)卷積運(yùn)算同時(shí)提取特征,然后將輸出串接起來(lái),再次進(jìn)行相同的運(yùn)算,最后再進(jìn)行一個(gè)額外的1×1卷積。,最后再進(jìn)行一個(gè)額外的1×1卷積。跳躍連接通過elementwise加法連接此塊的輸出和輸入。通過這種局部多路徑學(xué)習(xí),SR模型可以更好地從多個(gè)尺度提取圖像特征,進(jìn)一步提高性能。
Scale-speci?c Multi-path Learning:不同尺度要經(jīng)歷相同的特征提取過程,提出這種結(jié)構(gòu),來(lái)處理單一網(wǎng)絡(luò)下的多尺度SR問題。
具體來(lái)說(shuō),它們共享模型的主要部分,并在網(wǎng)絡(luò)的開始端和結(jié)束端分別附加特定尺度的預(yù)處理路徑和上采樣路徑。在訓(xùn)練期間,只啟用與所選比例相對(duì)應(yīng)的路徑。通過這種方式,大多數(shù)參數(shù)可以在不同的尺度上共享。
4、Dense Connections
5、Channel Attention
6、Advanced Convolution
Dilated Convolution. 空洞卷積,增大感受野,有助于生成逼真的細(xì)節(jié)
Group Convolution:群卷積。一些工作已經(jīng)證明,群卷積可以在性能不高的情況下減少大量的參數(shù)和運(yùn)算,而CARN-M在性能損失很小的情況下將參數(shù)數(shù)量減少了5倍,運(yùn)算減少了4倍。
7、Pixel Recursive Learning
大多數(shù)SR模型將SR看作是一個(gè)像素獨(dú)立的任務(wù),因此不能合理地獲取生成像素之間的相互依賴關(guān)系。
受PixelCNN的啟發(fā),Dahl等首先提出像素遞歸學(xué)習(xí),利用兩個(gè)網(wǎng)絡(luò)分別捕獲全局上下文信息和序列生成依賴關(guān)系,逐像素生成。雖然這些方法在一定程度上表現(xiàn)出了較好的性能,但是需要較長(zhǎng)的傳播路徑的遞歸過程大大增加了計(jì)算成本和訓(xùn)練難度,特別是對(duì)于超分辨率HR圖像。
8、Pyramid Pooling
受空間金字塔池層的激勵(lì),提出了金字塔池模塊,以更好地利用全局和局部上下文信息。
9、Wavelet Transformation
10、Desubpixel
11、xUnit
8.常用損失函數(shù)
利用損失函數(shù)來(lái)測(cè)量生成的高分辨率圖像與ground truth高分辨率圖像之間的差異。然后用這個(gè)差(誤差)來(lái)優(yōu)化監(jiān)督學(xué)習(xí)模型。存在幾種類型的損失函數(shù),每一種函數(shù)都對(duì)生成的圖像的不同方面進(jìn)行懲罰。
通常,通過對(duì)每個(gè)損失函數(shù)的誤差分別加權(quán)和求和,可以使用多個(gè)損失函數(shù)。這使得模型能夠同時(shí)關(guān)注多個(gè)損失函數(shù)所貢獻(xiàn)的方面。
total/_loss = weight/_1 * loss/_1 + weight/_ 2 * loss/_2 + weight/_3 * loss/_3
像素?fù)p失
像素?fù)p失是最簡(jiǎn)單的一類損失函數(shù),其中生成的圖像中的每個(gè)像素都直接與ground-truth圖像中的每個(gè)像素進(jìn)行比較。使用流行的損失函數(shù),如L1或L2損失,或高級(jí)變體,如smooth L1損失。
PSNR度量(下面討論)與像素?fù)p失高度相關(guān),因此最小化像素?fù)p失可以直接最大化PSNR度量值(表明性能良好)。然而,像素?fù)p失并沒有考慮到圖像質(zhì)量,而且模型常常輸出感知上不令人滿意的結(jié)果(通常缺乏高頻細(xì)節(jié))。
內(nèi)容損失
這種損失是基于圖像的感知質(zhì)量來(lái)評(píng)估圖像質(zhì)量的。一種有趣的方法是比較生成的圖像和ground truth圖像的高層特征。我們可以讓圖像通過一個(gè)預(yù)先訓(xùn)練好的圖像分類網(wǎng)絡(luò)(如VGG-Net或ResNet)來(lái)獲得這些高級(jí)特征。
上面的函數(shù)計(jì)算ground-truth圖像和生成的圖像之間的內(nèi)容損失,給定pre-trained網(wǎng)絡(luò)(Φ),和第I層的輸出,網(wǎng)絡(luò)計(jì)算這兩者的損失。這種損失鼓勵(lì)生成的圖像在感知上類似于ground-truth圖像。由于這個(gè)原因,它也被稱為感知損失。
紋理?yè)p失
為了使生成的圖像具有與ground-truth圖像相同的樣式(紋理、顏色、對(duì)比度等),使用紋理?yè)p失(或樣式重建損失)。根據(jù)Gatys et. al的描述,圖像的紋理被定義為不同特征通道之間的相關(guān)性。特征通道通常用預(yù)訓(xùn)練的圖像分類網(wǎng)絡(luò)(Φ)來(lái)提取。
對(duì)抗損失
生成對(duì)抗網(wǎng)絡(luò)(GANs)已越來(lái)越多地用于包括超分辨率在內(nèi)的幾種基于圖像的應(yīng)用。GANs通常由兩個(gè)神經(jīng)網(wǎng)絡(luò)組成——生成器和鑒別器——相互競(jìng)爭(zhēng)。
給定一組目標(biāo)樣本,生成器嘗試生成樣本,以欺騙鑒別器,使其相信它們是真實(shí)的。鑒別器試圖從假(生成的)樣本中分辨出真實(shí)(目標(biāo))樣本。使用這種迭代訓(xùn)練方法,我們最終得到一個(gè)生成器,它非常擅長(zhǎng)生成與目標(biāo)示例類似的示例。下圖顯示了一個(gè)典型GAN的結(jié)構(gòu)。
為了提高性能,對(duì)基本GAN體系結(jié)構(gòu)進(jìn)行了改進(jìn)。例如,Park et. al使用特征級(jí)鑒別器來(lái)捕捉真實(shí)高分辨率圖像的更有意義的潛在屬性。你可以查看這個(gè)blog:https://medium.com/beyondmind...
通常情況下,進(jìn)行對(duì)抗損失訓(xùn)練的模型具有更好的感知質(zhì)量,即使它們?cè)赑SNR上可能比那些進(jìn)行像素?fù)p失訓(xùn)練的模型要差。一個(gè)小缺點(diǎn)是,GAN的訓(xùn)練過程有點(diǎn)困難和不穩(wěn)定。但是,目前正在積極研究穩(wěn)定的GAN的訓(xùn)練的方法。
9.特定領(lǐng)域的應(yīng)用
1、深度圖超分辨率
深度圖記錄了場(chǎng)景中視點(diǎn)和目標(biāo)之間的距離,深度信息在姿態(tài)估計(jì) 、語(yǔ)義分割 等許多任務(wù)中發(fā)揮著重要作用。然而,由于生產(chǎn)力和成本方面的限制,由深度傳感器生成的深度圖通常分辨率較低,并飽受噪聲、量化、缺失值等方面的降級(jí)影響。為了提高深度圖的空間分辨率,研究人員引入了超分辨率。
2、人臉圖像超分辨率
人臉圖像超分辨率(又名 face hallucination,F(xiàn)H)通常有助于完成其它與人臉相關(guān)的任務(wù)。與一般圖像相比,人臉圖像擁有更多與人臉相關(guān)的結(jié)構(gòu)化信息,因此將人臉先驗(yàn)知識(shí)整合到 FH 中是一種非常流行且頗有前景的方法。
3、超光譜圖像超分辨率
與全色圖像(panchromatic image,PAN)相比,超光譜圖像(HSI)包含數(shù)百個(gè)波段的高光譜圖像,能夠提供豐富的光譜特征,幫助完成許多視覺任務(wù)。然而,由于硬件限制,不僅是搜集高質(zhì)量 HSI 比搜集 PAN 難度更大,搜集到的 HSI 分辨率也要更低。因此,該領(lǐng)域引入了超分辨率,研究人員往往將 HR PAN 與 LR HSI 相結(jié)合來(lái)預(yù)測(cè) HR HSI。
4、視頻超分辨率
在視頻超分辨率中,多個(gè)幀可以提供更多的場(chǎng)景信息,該領(lǐng)域不僅有幀內(nèi)空間依賴,還有幀間時(shí)間依賴(如運(yùn)動(dòng)、亮度和顏色變化)。因此,現(xiàn)有研究主要關(guān)注更好地利用時(shí)空依賴,包括明確的運(yùn)動(dòng)補(bǔ)償(如光流算法、基于學(xué)習(xí)的方法)和循環(huán)方法等。
5、其它應(yīng)用
基于深度學(xué)習(xí)的超分辨率也被應(yīng)用到其它特定領(lǐng)域的應(yīng)用中,而且表現(xiàn)出色。尤其是,RACNN 利用 SR 模型增強(qiáng)了用于細(xì)粒度分類的 LR 圖像細(xì)節(jié)的可辨性。類似地,感知 GAN 通過超分辨小目標(biāo)的表征解決了小目標(biāo)檢測(cè)問題,實(shí)現(xiàn)了與大目標(biāo)相似的特征,檢測(cè)更具可辨性。FSR-GAN超分辨化了特征空間而非像素空間中的小圖像,將質(zhì)量較差的原始特征轉(zhuǎn)換成了可辨性更高的特征,這對(duì)圖像檢索非常有利。此外,Dai 等人驗(yàn)證了 SR 技術(shù)在若干視覺應(yīng)用中的有效性和有用性,包括邊緣檢測(cè)、語(yǔ)義分割、數(shù)字和場(chǎng)景識(shí)別。Huang 等人 開發(fā)了專門用于超分辨率遙感圖像的 RS-DRL。Jeon 等人 利用立體圖像中的視差先驗(yàn)來(lái)重建配準(zhǔn)中具有亞像素準(zhǔn)確率的 HR 圖像。
10.未來(lái)發(fā)展方向
1、Network Design(網(wǎng)絡(luò)結(jié)構(gòu)設(shè)計(jì))
可考慮從如下方面改進(jìn)網(wǎng)絡(luò)結(jié)構(gòu):
Combining Local and Global Information,結(jié)合局部和全局信息,大的感受野可以提供更多的紋理信息,這樣可生成更加真實(shí)的的HR圖像。
Combining Low- and High-level Information,結(jié)合低層和高層信息,deep CNNs中的較淺層易于抽取如顏色和邊緣等低層特征,而較高層更易獲得如目標(biāo)識(shí)別等高層次的特征表示,結(jié)合低層網(wǎng)絡(luò)抽取的低層細(xì)節(jié)信息和高層網(wǎng)絡(luò)抽取到的高層紋理信息可獲得效果更好的HR圖像。
Context-specific Attention,結(jié)合特定內(nèi)容的注意力機(jī)制,增強(qiáng)主要特征可促進(jìn)生成的HR圖像具體更加真實(shí)的細(xì)節(jié)。
Lightweight Architectures,目前網(wǎng)絡(luò)結(jié)構(gòu)日趨復(fù)雜,如何減少模型大小,加快預(yù)測(cè)時(shí)間并保持性能仍然是一個(gè)研究課題。
Upsampling Layers,如何設(shè)計(jì)出有效并有效率的上采樣層是值得研究的,特別是在放大倍數(shù)較大的圖像超分辨率問題上。
2.Learning Strategies(學(xué)習(xí)策略)
Loss Functions,目前的損失函數(shù)是建立于 LR/HR/SR 圖像之間的限制并優(yōu)化層面上的。在實(shí)際應(yīng)用上,通常把這些損失函數(shù)進(jìn)行加權(quán)得到,對(duì)SR問題來(lái)說(shuō),最有效的損失函數(shù)還不明確。因此,一項(xiàng)有意義的研究工作是,如何找到 LR/HR/SR 圖像間的潛在聯(lián)系并找到更加準(zhǔn)確的損失函數(shù)。
Normalization,雖然BN在視覺問題上大量使用,但是在SR問題上,BN并不是最佳的規(guī)范化效果,有時(shí)使用BN反而會(huì)得到不好的效果。因此,在SR領(lǐng)域,其他有效的規(guī)范化技術(shù)是需要被提出的。
3.Evaluation Metrics(評(píng)價(jià)方法)
More Accurate Metrics,傳統(tǒng)的PSNR/SSIM圖像質(zhì)量評(píng)價(jià)方法并不能客觀反應(yīng)圖像的主觀效果,MOS方法需要大量的人力成本并且不能再現(xiàn)。因此,更加精確的圖像質(zhì)量評(píng)價(jià)方法亟待提出。
Blind IQA Methods,目前所提到的SR問題,都是LR-HR圖像對(duì)做出的,但是,在這類數(shù)據(jù)集是很難獲得的,大部分都是通過人工手段獲得的LR-HR圖像對(duì)。這樣,在評(píng)價(jià)這類問題時(shí),就變成了反向預(yù)測(cè)退化問題的過程,因此,無(wú)依賴的圖像質(zhì)量評(píng)價(jià)方法是有很大需要的。
4.Unsupervised Super-resolution(無(wú)監(jiān)督圖像超分辨率)
文中提到了一些已有的無(wú)監(jiān)督超分辨率工作:
A. Shocher, N. Cohen, and M. Irani, “zero-shot super-resolution using deep internal learning,” in CVPR, 2018.
A. Bulat, J. Yang, and G. Tzimiropoulos, “To learn image super- resolution, use a gan to learn how to do image degradation first,” in ECCV, 2018.
Y. Yuan, S. Liu, J. Zhang, Y. Zhang, C. Dong, and L. Lin, “Unsu- pervised image super-resolution using cycle-in-cycle generative adversarial networks,” in CVPRW, 2018.
D. Ulyanov, A. Vedaldi, and V. Lempitsky, “Deep image prior,” in CVPR, 2018.
目前大量的SR方法都是使用Matlab Bicubic方法獲得LR圖像,用LR-HR作為SR網(wǎng)絡(luò)的訓(xùn)練數(shù)據(jù),這樣SR問題會(huì)變成預(yù)先定義圖像退化過程的逆過程,在自然低分辨率圖像上應(yīng)用這類SR方法,效果會(huì)很不好。因此,在未來(lái)的研究領(lǐng)域,沒有LR-HR圖像對(duì)的無(wú)監(jiān)督圖像超分辨率問題是有意義的研究方向。
5.Towards Real-world Scenarios(面向真實(shí)場(chǎng)景)
Image super-resolution在真實(shí)場(chǎng)景上,往往會(huì)受到“不明確的圖像退化過程”,“缺少LR-HR圖像對(duì)”等的條件限制,使得現(xiàn)有的SR算法難以實(shí)際應(yīng)用。
Dealing with Various Degradation,解決多種圖像退化問題,針對(duì)不同方式獲得的LR圖像。目前已有一部分這方面的工作,但是存在一些固有缺點(diǎn),如模型難以訓(xùn)練,過于理想的假設(shè)條件。
Domain-specific Applications,特定領(lǐng)域的應(yīng)用,SR算法不一定非要用于特定領(lǐng)域數(shù)據(jù)或場(chǎng)景中,SR算法同樣可協(xié)助處理其他視覺問題,如視頻監(jiān)控、人臉識(shí)別、目標(biāo)跟蹤、醫(yī)學(xué)圖像、場(chǎng)景渲染等。SR算法可用于這類視覺問題的預(yù)處理或后處理。
Multi-scale Super-resolution,目前大部分SR網(wǎng)絡(luò)是針對(duì)固定放大尺寸訓(xùn)練的,實(shí)際應(yīng)用中,有一定局限性。使用單一網(wǎng)絡(luò)的進(jìn)行多尺度圖像超分辨率,有一定的研究?jī)r(jià)值。最近在CVPR 2019上,曠視提出了“Meta-SR: A Magnification-Arbitrary Network for Super-Resolution”:?jiǎn)我荒P蛯?shí)現(xiàn)任意縮放因子。是這一研究方向的最新進(jìn)展。
審核編輯 黃昊宇
-
超分辨率
+關(guān)注
關(guān)注
0文章
26瀏覽量
9917 -
深度學(xué)習(xí)
+關(guān)注
關(guān)注
73文章
5422瀏覽量
120588
發(fā)布評(píng)論請(qǐng)先 登錄
相關(guān)推薦
評(píng)論