如何使用RGB格式圖像傳感器去構(gòu)建一個(gè)通用馬賽克算法

Bayer 格式的圖像傳感器在每個(gè)像素位置上只采樣紅綠藍(lán)三原色中的一種。在某些應(yīng)用中，Bayer 顏色濾光片陣列（colour filter array）的一個(gè) G（綠色）濾光片會(huì)被其他濾光片代替，如 W（白色） 濾光片或 IR（紅外） 濾光片等。而絕大多數(shù)發(fā)表的去馬賽克算法都是基于經(jīng)典的Bayer 格式。文中提出了一種通用的去馬賽克算法，不僅可以適用于所有以 2x2 為最小采樣周期的圖像傳感器而且該方法在顏色峰值信噪比（CPSNR）方面也達(dá)到了很高的指標(biāo)。

1 引言

Bayer 格式的圖像傳感器在每個(gè)像素位置上只采樣紅綠藍(lán)三原色中的一種[1-5]。為了提升去馬賽克后輸出圖像的分辨率， Bayer 格式圖像傳感器在其 2×2 的最小采樣周期的對(duì)角線位置上采樣綠色。某些應(yīng)用要求成像設(shè)備能夠同時(shí)提供被攝場(chǎng)景的 RGB 圖像和紅外圖像[6]，從降低成本的角度考慮，這就需要圖像傳感器在采樣紅綠藍(lán)三原色的同時(shí)也采集紅外光。在現(xiàn)有 Bayer 格式傳感器基礎(chǔ)上最簡(jiǎn)單的一種改進(jìn)方法是將現(xiàn)有 2×2 最小采樣周期對(duì)角線上的一個(gè)綠色濾鏡換成紅外濾鏡。業(yè)內(nèi)稱這種圖像傳感器為RGBIR 格式。

S.Süsstrunk 和 C.Fredembach 也在文[7]中提出了 RGBIR 傳感器的許多其他應(yīng)用，包括去霧和皮膚平滑。而另外一些應(yīng)用要求圖像傳感器在采集彩色圖像的同時(shí)可以提供更好的低光性能，會(huì)將現(xiàn)有 Bayer 格式的一個(gè)綠色濾鏡直接拿掉，這樣該通道就可以采集各種波長(zhǎng)的光線。業(yè)內(nèi)稱這種圖像傳感器為 RGBW 格式[8]。后續(xù)為了說明的方便，統(tǒng)一稱這種改進(jìn)型圖像傳感器為 RGBX 傳感器。

為了滿足上述應(yīng)用，文獻(xiàn)[9,10]中討論了彩色濾鏡的其他排列組合方法。然而，考慮到傳感器的制造成本，本文只關(guān)注以 2×2 為最小采樣周期的非 bayer CFA 模式。如圖 1 所示，這是一種改進(jìn)型的圖像傳感器。

圖 2 是這種改進(jìn)型圖像傳感器對(duì)應(yīng)的一個(gè)典型的量化響應(yīng)曲線，橫坐標(biāo)是入射光波長(zhǎng)，縱坐標(biāo)是不同波長(zhǎng)對(duì)應(yīng)的量化效率

由于 X 通道和綠色通道對(duì)入射光的量化響應(yīng)曲線形狀存在極大差異，導(dǎo)致了對(duì)角線位置上綠色和紅外的采樣值一般也差異較大。而傳統(tǒng)針對(duì) Bayer 格式的去馬賽克方法的處理流程一般是首先利用 Bayer采樣對(duì)角線上的兩個(gè)綠色通道的相關(guān)性，內(nèi)插出全分辨率的綠色通道，然后再基于局部色差一致性的假設(shè)，內(nèi)插出全分辨率的紅色和藍(lán)色通道。不難看出，將一個(gè)綠色通道替換成了 X 通道之后，四個(gè)通道的采樣率一致，所以這種先內(nèi)插高采樣率的綠色通道的去馬賽克方法顯然不再適用于改進(jìn)型的圖像傳感器。

雖然，將雙線性（bilinearity）、雙三次（bicubic）等普通的內(nèi)插方法分別作用于 RGBX 傳感器的四個(gè)通道可以完成 RGBX 的去馬賽克操作，輸出四個(gè)全分辨率的圖像。但是這類將每個(gè)通道獨(dú)立內(nèi)插的做法完全沒有利用通道間的信息，去馬賽克后輸出圖像的效果會(huì)存在分辨率低、亮色混疊嚴(yán)重等問題。就我們學(xué)術(shù)查新的結(jié)果來看，目前學(xué)術(shù)界還沒有公布高性能的完全兼容 Bayer 格式的 RGBX 去馬賽克算法。

2 本文提出的算法

由于我們假設(shè) RGBX 圖像傳感器中所有通道都具有相同的采樣頻率（Bayer 格式可以認(rèn)為是一種RGBX 圖像傳感器的特殊格式），因此本文提出的算法不需要遵循先內(nèi)插 G 通道傳統(tǒng)去馬賽克算法流程框架。具體算法流程如下所述。

我們將原始的 RAW 圖像看成是四個(gè)全幅面的RGBX 圖像經(jīng)過采樣函數(shù)相加后的輸出結(jié)果。表示為式（1）。

（1）

其中 f 代表全幅面圖像，如 fCFA 代表全幅面的 RAW 圖像， fR 代表全幅面的 R 圖像，以此類推。

n1 = [1,2,...H]，n2 = [1,2,...W] 分別代表圖像垂直和水平方向像素位置，H 為全幅面圖像高度，W 為全幅面圖像寬度。

定義亮度分量L，色度分量C1，C2，C3 和 RGBX 的轉(zhuǎn)換關(guān)系用矩陣表示如式（2）。

（2）

因此全幅面的 RAW 圖像（CFA）也可以看成是四個(gè)全幅面的亮度和色度分量經(jīng)過采樣函數(shù)相加后的輸出結(jié)果如式（3）。

（3）

其中 ，-1 = ejπ 則色度分量 C1 可以看成是調(diào)制到中心頻率為（0.5，0）上的高頻信號(hào)，色度分量C2 可以看成是調(diào)制到中心頻率為（0，0.5）上的高頻信號(hào)，色度分量 C3 可以看成是調(diào)制到中心頻率為（0.5，0.5）上的高頻信號(hào)，而亮度分量可以看成一個(gè)基頻信號(hào)。

圖 3 是將頻率零點(diǎn)位移到中心點(diǎn)之后的亮度和色度分量在頻域上的能量分布示意圖。橫坐標(biāo)代表水平方向上的頻率，縱坐標(biāo)代表垂直方向上的頻率。由圖 3 可見，亮度信號(hào) L 主要分布在二維坐標(biāo)系的低頻區(qū)域。色度信號(hào) C1 到 C3 分布在二維坐標(biāo)系的高頻區(qū)域，其中 C3 分布在上圖的四角，代表色度在對(duì)角線方向上的高頻信號(hào)。C1 分布在上圖的水平兩側(cè)，代表色度在水平方向上的高頻信號(hào)。C2 分布在上圖的垂直兩側(cè)，代表色度在垂直方向上的高頻信號(hào)。去馬賽克的思想可以是通過低通濾波器恢復(fù)出亮度信號(hào)，高通濾波器恢復(fù)出色度信號(hào)，然后通過矩陣變換轉(zhuǎn)換到 RGBX 上。

在開始去馬賽克運(yùn)算之前，需要先對(duì)第四通道進(jìn)行預(yù)校正運(yùn)算。第四通道指的是四個(gè)通道中 RGB 通道外的通道，如果是 RGBIR 圖像傳感器，第四通道則為紅外通道，如果是 RGBW 圖像傳感器，W 代表無色的濾鏡，即這個(gè)通路響應(yīng)從可見光到紅外光的全部波長(zhǎng)光線，第四通道則為 W 通道。

這里仍以 RGBIR 圖像傳感器為例，具體地說，在進(jìn)行上述亮度和色度的卷積運(yùn)算之前，最好對(duì)紅外通道進(jìn)行預(yù)校正運(yùn)算，這是由于紅外通道的量化相應(yīng)曲線和 RGB 通道的量化相應(yīng)曲線存在較大差異，在某些場(chǎng)景可能導(dǎo)致即使在相鄰區(qū)域紅外和可見光通道的信號(hào)也存在較大差距。而濾波器設(shè)計(jì)時(shí)受到階數(shù)的限制，會(huì)有波紋現(xiàn)象。

經(jīng)過卷積運(yùn)算之后，RAW 圖像上相鄰區(qū)域輸入信號(hào)的差異可能會(huì)被放大，那么在平坦區(qū)域上去馬賽克輸出可能會(huì)出現(xiàn)“網(wǎng)格”現(xiàn)象。紅外通道預(yù)校正的目的是為了弱化當(dāng)前像素鄰近區(qū)域尤其是平坦區(qū)域上紅外通道和可見光（RGB）通道的差異。

紅外通道（第四通道）的預(yù)校正運(yùn)算由校正因子和紅外分量相乘完成。校正因子包括全局校正因子和局部校正因子。全局校正因子由輸入的 RAW 圖像中 RGB 通道的平均值和紅外通道平均值相除獲得。局部校正因子由當(dāng)前紅外通道鄰域內(nèi)的 RGB 通道的平均值和紅外通道平均值相除獲得。全局校正因子和局部校正因子通過加權(quán)系數(shù)融合得到。加權(quán)系數(shù)由當(dāng)前紅外通道鄰近的 RGB 通道的梯度值通過查表計(jì)算得到。梯度值越大，局部校正因子的加權(quán)系數(shù)越小，反之則越大。

經(jīng)過預(yù)校正處理之后可以開始內(nèi)插運(yùn)算。亮度分量去馬賽克運(yùn)算可以通過一個(gè)亮度濾波器和輸入的全幅面的 RAW 數(shù)據(jù)進(jìn)行卷積運(yùn)算從 RAW 數(shù)據(jù)中恢復(fù)出亮度信號(hào)。這里亮度濾波器的參數(shù)可以預(yù)先設(shè)定，也可以根據(jù) RAW 圖像中當(dāng)前像素的局部特征動(dòng)態(tài)調(diào)整。

根據(jù) RAW 圖像中當(dāng)前像素的局部特征動(dòng)態(tài)調(diào)整亮度濾波器參數(shù)，具體是指先通過計(jì)算以當(dāng)前像素為中心的 n×n（為獲得較好的處理效果，n 最好大于或等于 3）鄰域在各方向上的梯度或其他等效信息，然后利用梯度值或其他等效信息作為檢索值查找預(yù)定義查找表得到對(duì)應(yīng)的濾波器參數(shù)?；蛘咄ㄟ^計(jì)算不同方向之間梯度差或比值并與預(yù)定義閾值比較，從而判斷當(dāng)前像素處于平坦區(qū)域還是邊界區(qū)域或者是細(xì)節(jié)區(qū)域。

若當(dāng)前像素處于平坦區(qū)域，則選用對(duì)低頻區(qū)域響應(yīng)較好的亮度濾波器參數(shù)。若當(dāng)前像素處于邊界區(qū)域，則需要判斷當(dāng)前像素所在邊界方向，并選用在此方向上響應(yīng)較好的亮度濾波器參數(shù)。若當(dāng)前像素處于細(xì)節(jié)區(qū)域時(shí)，則需要判斷當(dāng)前像素所在頻段，并選用在此頻段上響應(yīng)較好的亮度濾波器參數(shù)。

對(duì)于平坦區(qū)域的判定，是指計(jì)算各方向間的梯度差或比值并與預(yù)定義閾值比較，當(dāng)結(jié)果小于預(yù)定義閾值且各方向的梯度絕對(duì)值也小于預(yù)定義閾值時(shí)，認(rèn)為是平坦區(qū)域。

對(duì)于邊界區(qū)域的判定，是指計(jì)算各方向間的梯度差或比值并與預(yù)定義閾值比較，當(dāng)結(jié)果大于預(yù)定義閾值且被減或被除梯度所示方向的梯度絕對(duì)值也大于預(yù)定義閾值時(shí)，認(rèn)為是邊界區(qū)域。一般可以認(rèn)為，若當(dāng)前像素既不在平坦區(qū)域，也不在邊界區(qū)域，則該像素處于細(xì)節(jié)區(qū)域。當(dāng)判斷當(dāng)前像素處于細(xì)節(jié)區(qū)域時(shí)，需要判斷當(dāng)前像素所在頻段。當(dāng)前像素所在頻段由以下方法近似得到：預(yù)定義幾組通過頻率不同的帶通濾波器和當(dāng)前像素所在鄰域做卷積運(yùn)算后取最大值，其對(duì)應(yīng)的帶通濾波器通過頻率即為當(dāng)前像素所在頻段。

色度分量去馬賽克的運(yùn)算可以通過三個(gè)高通濾波器分別和輸入的全幅面的 RAW 數(shù)據(jù)進(jìn)行卷積運(yùn)算，從 RAW 數(shù)據(jù)中分別恢復(fù)出色度信號(hào)。這里高通濾波器的參數(shù)可以預(yù)先設(shè)定，也可以利用上述梯度值（即以當(dāng)前像素為中心的n×n鄰域在各方向上的梯度）或其他等效信息作為檢索值查找預(yù)定義查找表得到對(duì)應(yīng)的濾波器參數(shù)?；蛘吒鶕?jù)RAW圖像中當(dāng)前像素的局部特征以及前述亮度濾波器參數(shù)動(dòng)態(tài)調(diào)整。

上述根據(jù) RAW 圖像中當(dāng)前像素的局部特征以及上述亮度濾波器參數(shù)動(dòng)態(tài)調(diào)整色度濾波器參數(shù)，其思想是降低亮度和色度在高頻部分的混疊（假色）現(xiàn)象。具體是指當(dāng)前像素對(duì)應(yīng)的亮度濾波器的通帶接近默認(rèn)色度濾波器的通帶時(shí)，抑制色度濾波器的幅值。反之，則保留色度濾波器的幅值。

具體地，若亮度濾波器在水平方向上的通過頻率較高時(shí)，則抑制當(dāng)前像素對(duì)應(yīng)的色度 C1 濾波器的幅值；若亮度濾波器在垂直方向上的通過頻率較高時(shí)，則抑制當(dāng)前像素對(duì)應(yīng)的色度 C2 濾波器的幅值；若亮度濾波器在對(duì)角線方向上的通過頻率較高時(shí)，則抑制當(dāng)前像素對(duì)應(yīng)的色度 C3 濾波器的幅值。抑制色度濾波器的幅值是指通過動(dòng)態(tài)計(jì)算調(diào)整因子 ，點(diǎn)乘至色度濾波器參數(shù)上完成。

上述色度濾波器的參數(shù)調(diào)整也可以通過調(diào)整色度濾波器的截止頻率來實(shí)現(xiàn)。具體是指當(dāng)前像素對(duì)應(yīng)的亮度濾波器的通帶接近默認(rèn)色度濾波器的通帶時(shí)，提升色度濾波器的截止頻率。具體地，若亮度濾波器在水平方向上的通過頻率較高時(shí)，則提升當(dāng)前像素對(duì)應(yīng)的色度 C1 濾波器的截止頻率。若亮度濾波器在垂直方向上的通過頻率較高時(shí)，則提升當(dāng)前像素對(duì)應(yīng)的色度 C2 濾波器的截止頻率。若亮度濾波器在對(duì)角線方向上的通過頻率較高時(shí)，則提升當(dāng)前像素對(duì)應(yīng)的色度C3濾波器的截止頻率。

需要說明的是，上述亮度分量的去馬賽克輸出也可以在 3 個(gè)色度分量都完成去馬賽克運(yùn)算之后由原始 RAW 數(shù)據(jù)和全幅面的色度分量之和相減獲得。類似地，某一個(gè)色度分量的去馬賽克輸出也可以在亮度和其他 2 個(gè)色度分量完成去馬賽克運(yùn)算之后由原始 RAW 數(shù)據(jù)和上述全幅面的亮度和 2 個(gè)色度分量之和相減獲得。

最后，利用式（4）中定義的亮度色度和 RGBX 的轉(zhuǎn)換矩陣計(jì)算得出內(nèi)插后的 RGBX 四個(gè)通道像素值。

（4）

3 測(cè)試結(jié)果

由于目前學(xué)術(shù)界和工業(yè)界都還沒有標(biāo)準(zhǔn)的RGBX 測(cè)試集，因此在客觀測(cè)試中本文采用了測(cè)試Bayer 格式去馬賽克性能最常用的測(cè)試集 Kodak 的24 張 RGB 圖像。

鑒于本文算法可以完全兼容 Bayer 格式，在我們的實(shí)驗(yàn)中，直接用 Bayer CFA 模式對(duì)圖像進(jìn)行采樣，得到 raw 圖像然后對(duì)下采樣后的圖像進(jìn)行去馬賽克插值，以評(píng)價(jià)插值結(jié)果。

我們將顏色峰值信噪比 CPSNR 作為客觀評(píng)測(cè)性能指標(biāo)。表 1 記錄了 CPSNR 比較結(jié)果。從表中可以看出，本文提出的去馬賽克算法以平均將近 0.8 dB 優(yōu)于文獻(xiàn)[11]中的算法，高于文獻(xiàn)[12]中的 EIG 內(nèi)插算法超過 1 dB，高于文獻(xiàn)[13-15]中的線性插值法超過 4 dB。

4 結(jié)語

本文的主要貢獻(xiàn)是建立了一個(gè)通用的去馬賽克算法架，該算法適用于所有以 2×2 為最小采樣周期的 Bayer 以及非 Bayer 模式圖像傳感器。實(shí)驗(yàn)結(jié)果表明，該方法對(duì)比其他算法具有較好的 CPSNR。經(jīng)過少量修改后該方法也可用于其他以 4×4 為最小采樣周期的 raw 信號(hào)。