如何打造優(yōu)質(zhì)的自動駕駛ISP

在讓汽車洞察秋豪——秒懂自動駕駛ISP（一）中，我們了解了什么是ISP、自動駕駛ISP的特殊性以及黑芝麻智能NeuralIQ ISP優(yōu)勢，本期我們將深入理解打造優(yōu)質(zhì)的自動駕駛ISP，需要經(jīng)過怎樣的圖像質(zhì)量調(diào)試和其背后的技術(shù)原理。

ISP 圖像質(zhì)量調(diào)試

ISP圖像質(zhì)量取決于算法設(shè)計和效果調(diào)試兩個方面。算法設(shè)計負(fù)責(zé)提供優(yōu)良“基因”的圖像處理算法功能，通過調(diào)試靈活的適配不同特性的攝像頭 (各類鏡頭、CFA、HDR策略)，輸出滿足用戶需求的圖像質(zhì)量效果。

典型的ISP調(diào)試流程如下圖所示：

圖1 ISP調(diào)試流程

需求確認(rèn)：確認(rèn)調(diào)試攝像頭的分辨率、幀率、工作模式、應(yīng)用方向；

模組檢查：攝像頭硬件品質(zhì)檢查（模組、sensor、鏡頭）；

參數(shù)標(biāo)定：不同sensor特性差異補(bǔ)償；

客觀調(diào)試：通過圖像質(zhì)量客觀指標(biāo)的把控保證ISP 基礎(chǔ)調(diào)優(yōu)效果；

主觀調(diào)試：針對特定應(yīng)用方向和客戶需求迭代細(xì)調(diào)；

自動駕駛ISP調(diào)試

近年來，越來越多的攝像頭應(yīng)用于汽車系統(tǒng)，已經(jīng)成為現(xiàn)代汽車中不可或缺的一部分。對于自動駕駛的安全性而言，攝像頭輸出的圖像質(zhì)量至關(guān)重要。車載攝像頭以感光成像為理論基礎(chǔ)，實(shí)際使用中面臨著復(fù)雜使用環(huán)境的諸多挑戰(zhàn)：

夏日晴天極亮到夜晚無燈極暗的大尺度場景照明亮度變化范圍；

同一場景下，超過120db 的高動態(tài)范圍（HDR）；

各種極端天氣：雨、霧、雪、沙塵；

復(fù)雜的光源環(huán)境與顏色還原，LED Flicker；

大景深范圍與探測距離；

低速/高速運(yùn)動場景；

面對如此多的挑戰(zhàn)，結(jié)合不同的自動駕駛應(yīng)用，給車載攝像頭ISP 的調(diào)試提出了不同的需求。舉例來說：

高級駕駛輔助系統(tǒng)ADAS：AEC/AWB響應(yīng)時間、HDR還原、低光信噪比、顏色準(zhǔn)確性、運(yùn)動模糊、高分辨率sensor適配性；

360°全景環(huán)視系統(tǒng)SVS：魚眼鏡頭暗角補(bǔ)償、多攝像頭調(diào)試效果一致性；

駕駛員監(jiān)控系統(tǒng)DMS：感光靈敏度與信噪比、圖像清晰度；

電子后視鏡CMS：HDR恢復(fù)、監(jiān)視器顯示圖像質(zhì)量；

黑芝麻智能圖像質(zhì)量調(diào)試案例

運(yùn)動模糊 vs 噪聲水平

對于自動駕駛常見的夜晚低光場景，ISP 輸出圖像為了獲取合適的圖像亮度，往往需要將曝光時間增長到最大值，并且提高增益的補(bǔ)償。

運(yùn)動場景曝光時間的增加會帶來運(yùn)動模糊問題，增益的設(shè)置則會影響到圖像整體的噪聲水平。尤其是大FOV鏡頭成像的邊角區(qū)域，一方面邊角透視失真導(dǎo)致運(yùn)動模糊更加嚴(yán)重，另一方面由于鏡頭陰影亮度補(bǔ)償噪聲水平也會更高。如何平衡曝光時間和增益的分配，并調(diào)試合適的去噪?yún)?shù)，是處理這類問題的核心考量。

當(dāng)曝光時間從28ms 變化到20ms時，運(yùn)動模糊可以得到改善。但是為了保持圖像亮度一致，左圖需要用到更高的sensor 增益，從而導(dǎo)致了更高的噪聲水平。

對于自動駕駛ISP調(diào)試而言，需要優(yōu)先考慮感知算法能容忍的運(yùn)動模糊像素個數(shù)上限。然后依照特定應(yīng)用的車輛速度、場景距離、焦距、像素尺寸，反推出對應(yīng)的最大曝光時間；再依照該最大曝光時間的AEC設(shè)置，調(diào)試不同場景的去噪?yún)?shù)。

左側(cè)結(jié)果圖通過運(yùn)用多幀3D去噪，可以進(jìn)一步的縮短曝光時間，顯著改善運(yùn)動模糊的同時，盡管單幀圖像的增益高達(dá)9倍（為了保持圖像亮度一致），處理結(jié)果的SNR也與右側(cè)3倍低增益圖像類似，噪聲得到了很好的抑制。

亮度 vs 對比度 vs噪聲水平 vs 圖像細(xì)節(jié)

低光照或不均勻光源的環(huán)境, 對圖像的噪聲/亮度/對比度/細(xì)節(jié)帶來了極大的挑戰(zhàn)。

圖像對比度作為一種圖像內(nèi)容增強(qiáng)方法，原理上也會增強(qiáng)圖像噪聲內(nèi)容。

在ISP調(diào)試中，亮度vs對比度 vs 噪聲水平vs圖像細(xì)節(jié)是一個多模塊耦合調(diào)試的典型例子。實(shí)際中，需要根據(jù)應(yīng)用需求，通過多場景調(diào)試，平衡各樣例最優(yōu)效果。

黑芝麻智能 NerualIQ ISP 對于圖像亮度vs對比度 vs 噪聲水平vs細(xì)節(jié)耦合調(diào)試的一個示例。場景為路燈光暈影響下, 暗處的表現(xiàn)。左側(cè)的結(jié)果，圖像亮度太暗，導(dǎo)致無法分辨細(xì)節(jié)。中間的結(jié)果，通過提升圖像亮度，圖像整體輪廓辨別度提升，但是因?yàn)閷Ρ榷炔粔?，?xì)節(jié)內(nèi)容仍較難分辨，亮度的提升也一定程度帶來了噪聲水平的提升。右側(cè)的結(jié)果，通過平衡亮度和對比度，然后結(jié)合適當(dāng)?shù)娜ピ雲(yún)?shù)調(diào)整，圖像整體輪廓和局部細(xì)節(jié)（穿反光衣服的行人）都得到了較好的圖像質(zhì)量恢復(fù)。

交通燈顏色還原 vs 整體顏色還原

白平衡是ISP調(diào)試顏色還原時需要面對的一個經(jīng)典問題。白平衡問題有兩個起源，一是黑體輻射，二是人眼顏色恒常性。

圖 7 色度圖標(biāo)注黑體輻射普朗克軌跡

（圖像來源：https://en.wikipedia.org/wiki/Black-body_radiation）

在任何條件下，對任何波長的外來輻射完全吸收而無任何反射的物體定義為黑體。黑體輻射的電磁波的光譜特性只和黑體的溫度有關(guān)。如圖7所示，隨著溫度升高，黑體輻射的顏色呈現(xiàn)由紅—橙紅—黃—黃白—白—藍(lán)白的漸變過程，黑體的這個溫度稱為該光源的色溫。

常見光源的色溫和光譜曲線如下圖：

圖 8 不同光源光譜曲線

（圖像來源：https://www.image-engineering.de）

例如，白熾燈的光色是暖白色（圖8的A光），其色溫為2700K，而日光色熒光燈的色溫則是5000K左右（圖8的D50光）。

人眼顏色恒常性是指，當(dāng)照射物體表面的顏色光發(fā)生變化時，人們對該物體表面顏色的知覺仍然保持不變的知覺特性。很好的例子是當(dāng)我們進(jìn)入一個白熾燈照亮的房間一會兒以后，就不會有光線昏黃的感覺了。

對于以CMOS、CCD 為代表的圖像sensor而言，在不同色溫和光譜的光源照射下，Bayer RGB 三通道的響應(yīng)比例是不同的。這必然導(dǎo)致如果不經(jīng)過處理，圖像的顏色響應(yīng)會出現(xiàn)顯著的不一致，提升了后續(xù)感知算法處理的困難。

ISP 中的自動白平衡（AWB）功能即專門針對這個問題設(shè)計。一個優(yōu)良的AWB算法+調(diào)試結(jié)果，能比較準(zhǔn)確的判斷出成像場景的色溫范圍，并根據(jù)已經(jīng)標(biāo)定好的sensor 光譜特性，轉(zhuǎn)化為該場景下B和R通道的補(bǔ)償增益值，實(shí)現(xiàn)“白色做白”。

以上是理想的情況。對于自動駕駛而言，特別是夜晚場景，通常會包含不止一個光源。如果這些光源的色溫不一致，就會產(chǎn)生典型的混合光場景問題。

如果需要將整體顏色還原為白色，需要加較多的B通道增益，導(dǎo)致綠燈效果偏青，即左圖效果。右圖通過限制B通道增益，綠燈顏色還原效果較好，但整體效果偏暖。

該場景也是一個混合光源場景，隧道內(nèi)照明燈色溫偏低，顏色偏暖，隧道外陽光直射色溫偏高，顏色偏冷。除此以外，該圖像sensor使用了大小像素LPD-SPD技術(shù)，針對HDR場景，長曝光使用大像素采集用于合成暗區(qū)（隧道內(nèi)），短曝光使用小像素采集用于合成高光區(qū)（隧道外）。由于大小像素光譜響應(yīng)不同，進(jìn)一步加重了隧道內(nèi)外顏色差異（左圖結(jié)果）。針對這個問題，黑芝麻智能 NerualIQ ISP 專門設(shè)計了針對大小像素顏色差異補(bǔ)償?shù)奶幚硭惴ê驼{(diào)試策略，依照預(yù)先標(biāo)定的大小像素感光差異，動態(tài)調(diào)整小像素的AWB和CCM，使之處理輸出顏色盡量接近大像素。調(diào)試結(jié)果如右圖所示，通過調(diào)試，隧道外異常偏藍(lán)色問題得到了較好的改善。

結(jié)語

所謂“大廚做菜，眾口難調(diào)”。通過以上幾個實(shí)際的調(diào)試?yán)?，我們可以認(rèn)識到，從原理來說，ISP調(diào)試的一般目的，不應(yīng)當(dāng)設(shè)定為解決所有的圖像質(zhì)量問題。而是應(yīng)該根據(jù)不同模組、不同應(yīng)用、不同客戶的差異化需求，通過差異化參數(shù)調(diào)整，最大化ISP算法設(shè)計的潛能，使輸出圖像質(zhì)量定制化滿足特定需求。

審核編輯：郭婷