單張圖像超分辨率和立體圖像超分辨率的相關(guān)工作

多階段策略在圖像修復(fù)任務(wù)中被廣泛應(yīng)用，雖然基于Transformer的方法在單圖像超分辨率任務(wù)中表現(xiàn)出高效率，但在立體超分辨率任務(wù)中尚未展現(xiàn)出CNN-based方法的顯著優(yōu)勢。這可以歸因于兩個關(guān)鍵因素：首先，當(dāng)前單圖像超分辨率Transformer在該過程中無法利用互補的立體信息；其次，Transformer的性能通常依賴于足夠的數(shù)據(jù)，在常見的立體圖像超分辨率算法中缺乏這些數(shù)據(jù)。為了解決這些問題，作者提出了一種混合Transformer和CNN注意力網(wǎng)絡(luò)(HTCAN)，它利用基于Transformer的網(wǎng)絡(luò)進行單圖像增強和基于CNN的網(wǎng)絡(luò)進行立體信息融合。此外，作者采用了多塊訓(xùn)練策略和更大的窗口尺寸，以激活更多的輸入像素進行超分辨率。作者還重新審視了其他高級技術(shù)，如數(shù)據(jù)增強、數(shù)據(jù)集成和模型集成，以減少過擬合和數(shù)據(jù)偏差。最后，作者的方法在NTIRE 2023立體圖像超分辨率挑戰(zhàn)的Track 1中獲得了23.90dB的分數(shù)，并成為優(yōu)勝者。

1 前言

立體圖像超分辨的最終性能取決于每個視圖的特征提取能力和立體信息交換能力。相比于卷積神經(jīng)網(wǎng)絡(luò)，變換器擁有更大的感受野和自我關(guān)注機制，可以更好地模擬長期依賴。但是，其內(nèi)存和計算成本通常要高得多。因此，作者提出了一種混合架構(gòu)，利用了變換器的強大長期依賴建模能力和卷積神經(jīng)網(wǎng)絡(luò)的信息交換的有效性。在作者的方法中，作者首先使用變換器來保留重要特征，然后使用CNN方法進行信息交換。實驗結(jié)果表明，該混合架構(gòu)具有較好的性能。

本文有以下三個貢獻：

一種混合立體圖像超分辨網(wǎng)絡(luò)。作者提出了一個統(tǒng)一的立體圖像超分辨算法，它集成了變換器和CNN架構(gòu)，其中變換器用于提取單視圖圖像的特征，而CNN模塊用于交換來自兩個視圖的信息并生成最終的超分辨圖像。

全面的數(shù)據(jù)增強。作者對多補丁訓(xùn)練策略和其他技術(shù)進行了全面研究，并將它們應(yīng)用于立體圖像超分辨。

新的最先進性能。作者提出的方法實現(xiàn)了新的最先進性能，并在立體圖像超分辨挑戰(zhàn)賽的第一軌中獲得了第一名。

2 相關(guān)背景

本文這一節(jié)介紹了單張圖像超分辨率和立體圖像超分辨率的相關(guān)工作。針對單張圖像超分辨率，研究人員一開始使用外部圖像或樣本數(shù)據(jù)庫來生成超分辨圖像，手工制作的特征依賴于先驗知識/假設(shè)，并存在很多局限性。后來引入了基于CNN的方法，CNN網(wǎng)絡(luò)通過學(xué)習(xí)局部結(jié)構(gòu)模式降低了計算成本。最近，基于Transformer的方法也受到越來越多的關(guān)注，因為它刪除了先前卷積模塊使用的局部性先知，并允許更大的接收場。對于立體圖像超分辨率，在以前的工作中，大多是從單張圖像超分辨率骨干出發(fā)的，并提出了通信分支來允許左右視圖之間的信息交換。然而，左右視圖之間的視差通常沿著基線而大于傳統(tǒng)卷積核的接收場。近年來，采用了與單張超分辨率類似的方法，引入了基于CNN和Transformer的方法，以修復(fù)立體圖像的超分辨率。

3 方法

本節(jié)中，作者詳細介紹所提出的混合Transformer和CNN Attention網(wǎng)絡(luò)（HTCAN）。所提出的HTCAN是一個多階段的恢復(fù)網(wǎng)絡(luò)。具體而言，給定低分辨率的立體圖像Llr和Rlr，作者首先使用基于Transformer的單圖像超分辨率網(wǎng)絡(luò)將其超分辨到Ls1和Rs1。在第二階段，作者采用基于CNN的網(wǎng)絡(luò)來增強Ls1和Rs1的立體效果，并得到增強的圖像Lsr和Rsr。在第三階段，作者使用與第2階段相同的基于CNN的網(wǎng)絡(luò)進行進一步的立體增強和模型集成。

3.1 階段1: 基于Transformer的單圖像超分辨率網(wǎng)絡(luò)結(jié)構(gòu)

作者提出了一個基于Transformer和CNN Attention網(wǎng)絡(luò)的立體圖像增強網(wǎng)絡(luò)，可以提高圖像分辨率和立體效果。首先采用HAT-L作為單圖像超分辨率的骨干，使用多塊訓(xùn)練策略和級聯(lián)殘差混合注意力組（RHAG）進行自注意和信息聚合，最終生成高分辨率圖像。同時，通過轉(zhuǎn)動和翻轉(zhuǎn)輸入圖像來實現(xiàn)自集成，使用SiLU激活函數(shù)替換GeLU激活函數(shù)進一步增強性能。

4.2 階段2：基于卷積神經(jīng)網(wǎng)絡(luò)的立體增強網(wǎng)絡(luò)架構(gòu)

作者介紹了基于卷積神經(jīng)網(wǎng)絡(luò)的立體增強的第二階段流程。該流程使用了由NAFSSR-L作為骨干網(wǎng)絡(luò)，在提取淺層特征后，通過K2個NAF塊和SCAM模塊對左右圖像進行跨視圖信息聚合，最終輸出立體增強后的圖像。為了提高性能，通過自組合策略對模型進行了改進。

4.3 階段3: 基于卷積神經(jīng)網(wǎng)絡(luò)的立體影像融合

作者介紹了一個基于卷積神經(jīng)網(wǎng)絡(luò)的立體影像融合的三階段流程。在第三階段中，使用第二階段自組合的輸出作為輸入，提高了模型的整體性能。雖然第三階段模型表現(xiàn)與第二階段類似，但是作為一個集成模型，可以對第二階段模型進行進一步的改進。

5 實驗

5.1 實驗細節(jié)

本文的實驗部分訓(xùn)練了一個 HTCAN 網(wǎng)絡(luò)，并對該網(wǎng)絡(luò)進行了三個階段的訓(xùn)練。在第一階段的訓(xùn)練中，使用了 Charbonnier 損失和 MSE 損失，同時還使用了各種數(shù)據(jù)增強技術(shù)。在第二階段中，我們采用 NAFSSR-L 的原始代碼在 Flickr1024 圖像上進行了訓(xùn)練，并在第二階段訓(xùn)練中使用 UnshuffleNAFSSR 模型的預(yù)訓(xùn)練模型。最后，在第三階段的訓(xùn)練中，采用與第二階段相同的設(shè)置，將網(wǎng)絡(luò)進行了微調(diào)。我們的方法在 Flickr1024 測試集上進行了評估，并通過與其他單幅圖像和立體圖像超分辨率方法的比較來證明其有效性。

5.2 實驗結(jié)果

本文的實驗結(jié)果顯示，與其他狀態(tài)-藝術(shù)單幅圖像超分辨率方法和立體圖像超分辨率方法相比，作者的方法在多數(shù)測試數(shù)據(jù)集上表現(xiàn)更好。此外，作者的方法在視覺效果上也表現(xiàn)出眾，能夠顯著地恢復(fù)圖像的細節(jié)和紋理。

5.3 實驗分析

本文介紹了一種基于多塊訓(xùn)練、數(shù)據(jù)增強和自我集成的立體圖像超分辨率方法，并引入了基于CNN的立體增強模塊來進一步提高性能。實驗表明這種方法可以有效地恢復(fù)圖像紋理和細節(jié)。其中，采用較大的接受域和窗口大小，以及自我集成策略可以進一步提高性能。本文提出的多階段方法將基于Transformer的SISR方法和基于CNN的立體增強方法相結(jié)合，進一步恢復(fù)了細節(jié)。

7 總結(jié)

本文介紹了混合Transformers和CNN注意力網(wǎng)絡(luò)（HTCAN），采用兩階段方法使用基于Transformers的SISR模塊和基于CNN的立體增強模塊來超分辨低分辨率立體圖像。作者提出的多補丁訓(xùn)練策略和大窗口大小增加了SISR階段激活的輸入像素數(shù)量，使結(jié)果相較于原始的HAT-L架構(gòu)有0.05dB的收益。此外，作者的方法采用先進的技術(shù)，包括數(shù)據(jù)增強，數(shù)據(jù)集成和模型集成，以在測試集上實現(xiàn)23.90dB的PSNR并贏得立體圖像超分辨率挑戰(zhàn)賽第一名。