安森美的AR0822圖像傳感器提供支持的eHDR線性化模式

圖像傳感器廣泛用于安防監(jiān)控、隨身記錄儀、可視門鈴和機器人等應(yīng)用，必須能夠在各種惡劣成像條件下穩(wěn)定工作，以支持圖像視覺和機器視覺等功能。高動態(tài)范圍場景、運動物體或LED閃爍等惡劣成像條件，會導(dǎo)致攝像頭難以準確捕捉畫面。

什么是HDR，為什么需要HDR？

圖像傳感器的動態(tài)范圍用于描述傳感器在較暗和較亮區(qū)域中捕獲圖像細節(jié)的能力。只有動態(tài)范圍較高的圖像才能讓人同時看到亮區(qū)和暗區(qū)的細節(jié)。人眼的動態(tài)范圍可以達到100dB以上，但單次曝光的攝像頭很難達到這一水平。

為了擴展動態(tài)范圍，常用的方法是拍攝多張曝光時間不同的低動態(tài)范圍圖像，然后將它們合并在一起以獲得高動態(tài)范圍圖像。長曝光圖像可捕捉圖像中的暗區(qū)，而短曝光圖像可捕捉亮區(qū)，因此在合并后的圖像中，我們將能夠看到分別利用長曝光信號和短曝光信號形成的暗區(qū)和亮區(qū)。

線性化與相關(guān)的挑戰(zhàn)

合并各張圖像的過程稱為線性化。多張圖像的線性化需占用大量內(nèi)存，此外為實現(xiàn)高幀率，還需具備強大的處理能力作為支撐。

完成線性化后，在查看已合并的高動態(tài)范圍圖像時，還可能會遇到特定的圖像質(zhì)量問題。在惡劣的成像條件下，這些圖像質(zhì)量問題或偽影會變得更加明顯。

例如，以下成像條件會導(dǎo)致偽影問題更加明顯：

場景中有運動物體

場景中有LED燈閃爍

空間內(nèi)鄰近區(qū)域使用來自多張圖像的數(shù)據(jù)

安森美(onsemi)的白皮書《利用低帶寬高動態(tài)范圍(eHDR)技術(shù)提高物體識別精度》說明了eHDR相對于LI?HDR在帶寬和節(jié)省能耗方面的優(yōu)勢。該白皮書重點介紹了由安森美的AR0822圖像傳感器提供支持的線性化模式，其中的嵌入式高動態(tài)范圍(eHDR)技術(shù)無需依賴于主機ISP/SoC，便能在傳感器上創(chuàng)建HDR圖像。AR0822圖像傳感器的eHDR技術(shù)能夠有效應(yīng)對通過線性化將多張圖像合成HDR圖像時所遇到的重大難題，尤其是能夠解決因惡劣照明條件而產(chǎn)生的種種問題。

智能線性化改善轉(zhuǎn)換信噪比

一般的線性化過程會先使用長曝光信號，直至長曝光飽和（12位ADC為4095LSB），然后利用短曝光信號計算HDR圖像中所需的線性化信號。在HDR圖像中，由于短曝光信號的信噪比遠低于長曝光信號，因此從長曝光信號轉(zhuǎn)換到短曝光信號時會導(dǎo)致出現(xiàn)較明顯的偽影現(xiàn)象。當ISP對該圖像進行后處理時，偽影可能會進一步放大。

為了有效管理從長曝光到短曝光的轉(zhuǎn)換過程，智能線性化會對長曝光和短曝光信號進行加權(quán)組合，從而計算出一個信號。其中，長曝光和短曝光依據(jù)各自的信號水平被賦予不同的權(quán)重。通過這種智能線性化處理，當從長曝光切換到短曝光時，信號會平滑傳輸。

圖1顯示了由頂部散射光照亮的相同場景，當我們由上至下觀察這個灰色場景，會發(fā)現(xiàn)信號水平下降，圖像也從短曝光轉(zhuǎn)換到長曝光。圖1的左側(cè)圖像未啟用智能線性化功能?？梢钥吹郊t色箭頭處存在較明顯的偽影現(xiàn)象，這正是因不同曝光水平而造成的轉(zhuǎn)換偽影。

圖1的右側(cè)圖像開啟了智能線性化功能，可以看到偽影現(xiàn)象顯著緩解，能給人以更舒適的觀感，而且也降低了被機器視覺算法誤認為是邊緣的風(fēng)險。由此可見，AR0822的智能線性化技術(shù)有助于實現(xiàn)不同曝光水平下信噪比的平滑過渡，避免信噪比突然變化。

圖1.智能線性化技術(shù)能夠確保圖像在不同曝光水平下平滑過渡

智能線性化改善運動偽影成像

對運動場景進行多次曝光成像時，可能出現(xiàn)長曝光信號和經(jīng)線性化的短曝光信號不等效的情況，這是由于場景中物體正在運動造成的，并有可能導(dǎo)致出現(xiàn)顏色偽影，即在運動發(fā)生的區(qū)域中存在色調(diào)變化。

減少長曝光時間在一定程度上有助于減小偽影的面積，但這種方法的可操作性不高，可能會造成大部分場景處于低光狀態(tài)，導(dǎo)致整個場景的整體圖像質(zhì)量下降。

AR0822傳感器的智能線性化功能可以有效緩解場景中的顏色偽影。該功能會首先檢測場景中的運動，即短曝光與長曝光在線性化信號水平上的差異。然后將根據(jù)檢測到的運動程度，使用長曝光和短曝光的組合信號水平來減輕場景中的運動偽影。

圖2為背景中有旋轉(zhuǎn)風(fēng)扇的例子，對比了在智能線性化關(guān)閉和開啟兩種情況下的成像情況。智能線性化關(guān)閉時，風(fēng)扇葉片頂部附近區(qū)域出現(xiàn)了顏色偽影，這是由長曝光與線性化短曝光的信號水平差異造成的。在右側(cè)圖像，智能線性化算法檢測到了這一情況并進行了校正。

圖2.智能線性化– 減少運動偽影

圖3放大了圖2的部分細節(jié)。智能線性化關(guān)閉時，風(fēng)扇葉片附近出現(xiàn)了黃色的運動偽影，而不是橙色。開啟智能線性化可以有效減輕這種顏色偽影。

圖3.智能線性化技術(shù)能夠有效緩解運動偽影

智能線性化改善LED閃爍成像

在一般線性化過程中，場景中不停閃爍的LED燈可能會導(dǎo)致圖像傳感器的某個顏色通道通過長曝光成像，而另一個顏色通道通過短曝光成像，具體取決于每個顏色通道的信號水平。因此，當某個顏色通道正通過長曝光成像時，LED燈處于開啟狀態(tài)；而當另一個顏色通道進行短曝光成像時，LED燈已經(jīng)關(guān)閉。后續(xù)合并不同曝光時間的圖像時，圖像的色調(diào)可能會因此而改變。在比較糟糕的情況下，圖像中會顯示LED為關(guān)閉狀態(tài)，而肉眼卻看到LED正亮著。

智能線性化可以通過檢測長曝光與短曝光的線性化信號的差異，來感測由LED閃爍引起的閃爍偽影。它能根據(jù)觀測到的線性化信號的差異程度，智能地組合長曝光和短曝光，從而有效減輕顏色偽影。短曝光成像常會導(dǎo)致閃爍的LED呈關(guān)閉狀態(tài)，而開啟智能線性化則可以避免這個問題，讓圖像更接近我們?nèi)搜塾^察到的情況。

圖4對比了智能線性化關(guān)閉和開啟兩種情況下的LED閃爍圖像。智能線性化關(guān)閉時，場景中的一些LED燈會顯示顏色偽影，這是由長曝光與短曝光的信號水平差異造成的。在右側(cè)圖像，智能線性化算法檢測到了這一情況并進行了校正。

圖4.智能線性化? 視頻快照

圖5放大了圖4中的LED燈局部細節(jié)。智能線性化關(guān)閉時，在視頻中會看到閃爍的偽影，或者在快照圖像中會看到紅色箭頭所標記的顏色偽影。開啟智能線性化可以有效減輕這些顏色偽影/閃爍偽影，如右側(cè)圖像所示。

圖5.智能線性化技術(shù)能夠有效減少LED偽影

智能線性化的集成優(yōu)勢

隨著攝像頭分辨率的持續(xù)提升以及汽車或監(jiān)控系統(tǒng)所連接的攝像頭數(shù)量不斷攀升，片外ISP/SoC的處理負擔日益加劇，進而使得算力和功耗問題愈發(fā)凸顯。將線性化算法轉(zhuǎn)移到傳感器有助于節(jié)省SoC的計算時間，同時提高傳輸幀率。憑借AR0822傳感器的智能線性化等先進算法，安森美可以有效減輕多重曝光HDR圖像產(chǎn)生的偽影，并且單個和多個傳感器可以輕松集成到ISP/SoC上。