ISP（圖像信號處理）老生常談的幾個技術(shù)難點

近月來，中國手機與蘋果的“諸神之戰(zhàn)”讓大家在OPPO的“馬里亞納”、華為的“原色雙影像單元”、小米x徠卡聯(lián)合研發(fā)、蘋果的“靈動島”和“4800萬像素廣角鏡頭+1200 萬像素超廣角以及長焦鏡頭”的信息焦慮中眼花繚亂。

原本或許是為了對沖手機系統(tǒng)和APP設(shè)計無力感而誕生的拍照功能，現(xiàn)今卻成為了眾手機廠家除背部設(shè)計外為數(shù)不多可“卷”的地方，自拍、全景、夜景、小視頻等旺盛的需求讓這一技術(shù)的江湖地位迅速變化，比翻書還快。 ? 對圈內(nèi)人士而言，這一波變化帶來的后攝、雙攝、多攝、暗光、防抖、廣角、長焦、變焦，也再次將CMOS傳感器等圖像市場炒熱。 ? 對于獨立數(shù)碼相機，鏡頭/CMOS傳感器畫幅越大，效果就會越好越專業(yè)。但由于手機面積小等局限性，手機攝影與成像對攝像頭的依賴性極低，對圖像處理技術(shù)的依賴性極高，使得手機攝影更充滿邏輯上的科技與狠活兒（褒義），背后的功臣按貢獻來算，ISP（圖像信號處理）確實為CMOS加上了諸多化腐朽為神奇的“?？怂箍萍肌埃ㄒ廊皇前x）。 ? ?

CMOS圖像傳感器的功能簡而言之就是把光信息轉(zhuǎn)換成電信號，最后變成一幅人眼可以識別的圖像。ISP會再對圖像做處理，使其更符合人眼所看到的世界的樣子。

CMOS和ISP是緊密合作的關(guān)系，一個粗加工，一個精加工，一個前置攝像頭拍照，一個十級美顏加濾鏡。

CMOS圖像傳感器相比它的前任CCD圖像傳感器可以復用更多的通用半導體制造設(shè)備，因此生產(chǎn)成本更低。事實上，在將光轉(zhuǎn)換為光信號的過程中，CMOS相較CCD也抑制了更多電噪聲。但在有限的物理條件和攝像頭規(guī)格面前，僅靠吸收光信號的簡單轉(zhuǎn)化只能是巧婦難為少米之炊。真正獻上神級換頭術(shù)的，還是ISP。

底層邏輯

掃盲專區(qū)

傳感器產(chǎn)生的電壓波形信號幅度和空間特性都與其所感知的光照有關(guān)。為了產(chǎn)生一副數(shù)字圖像，需要把連續(xù)的感知數(shù)據(jù)轉(zhuǎn)換為數(shù)字形式，該過程被稱為圖像采樣和量化。

所以圖像處理的基礎(chǔ)就是采樣（拍攝）、量化（利用RGB或者YUV把像素編碼）再將數(shù)字放進想要效果的函數(shù)模型中進行調(diào)試。 ? 底層邏輯搭好了我們再輸入專業(yè)術(shù)語。

一張圖讓你知道ISP做了多少事

哪些因素讓ISP技術(shù)越來越受依賴？

1

核心訴求

由于鏡頭和傳感器的物理缺陷以及拍攝環(huán)境的多樣性，傳感器輸出的原始數(shù)據(jù)和人類預期的圖像有巨大差異，因此ISP就起到了相當重要的作用。

2

行業(yè)訴求

公安需要監(jiān)控設(shè)備提升夜視能力，延長監(jiān)控有效時間，以獲取更多取證信息，提升破案率；

智慧城市需要實時收集和保存高清視頻數(shù)據(jù)，以供城市大腦進行全局分析，利用可靠數(shù)據(jù)優(yōu)化調(diào)整公共資源；

自動駕駛：前視ADAS需要ISP快速分析遠近物體，鏡頭聚焦在遠距離范圍內(nèi)，需要較高的系統(tǒng)靈敏度；后視和環(huán)視則需要ISP應(yīng)用畸變矯正算法和多圖像拼合。

一些ISP技術(shù)老生常談

但常談常新的技術(shù)難點：

1

HDR高動態(tài)圖像融合

動態(tài)范圍指的是圖像亮度最大值與最小值的比例范圍，范圍越大圖像顯示的場景細節(jié)越多，視覺效果越逼真，越能全面展現(xiàn)自然場景的動態(tài)范圍細節(jié)。 具體步驟：采用多張不同曝光度的普通圖像來計算實際場景亮度，再用Tone-Mapping壓縮合成HDR影像。 ? 形象化地說，就好像上帝手上一杯陽光（過曝照片）、一杯憂郁（曝光不足）、一杯穩(wěn)重（曝光正常），想造什么性格的人全由比例調(diào)配，但是鑒于性格因素的多元化，每樣都要來一點才不會走極端。

上帝造人容易，HDR卻有如何標定相應(yīng)曲線、高動態(tài)范圍圖像存儲、tone-mapping壓縮顯示算法、RGB三個獨立通道數(shù)據(jù)量大難合成、迭代算法輸出圖片質(zhì)量缺乏穩(wěn)定性等問題。 ?

2

圖像邊緣增強

? 灰度是指亮度的明暗程度。圖像邊緣是圖像中灰度值不連續(xù)處的合集，邊緣像素點蘊含更為豐富的圖像信息，邊緣識別也就將圖片信息從“二進制數(shù)字識別”向“編程語言的語義識別”邁進。 ? 找出哪些像素點是邊緣的方式非常簡單： 將一張黑白照片翻轉(zhuǎn)顏色成為一張新的照片后，兩張照片小距離錯動得到鑲邊信息并突出其顯示效果，邊緣增強即完成。也就是掩膜技術(shù)。 ? 由于夜間光照不足、大霧、沙塵等影響，捕獲圖像中突發(fā)事件如相機運動、或是場景中目標運動等，都會使采集的圖像或是圖像序列遭受損失，存在成像模糊、噪聲污染及曝光不均等問題，圖像增強顯得尤為重要。

圖像的邊緣即明暗程度明顯的像素點規(guī)則分布排列出一道線，在進行圖像灰度分析中呈現(xiàn)明顯的直角階梯感，稱為階躍邊緣。與之相較的模糊、噪聲污染、曝光不均的模糊邊緣，像素明暗的交替會在有限距離內(nèi)發(fā)生，呈現(xiàn)出坡度感，故稱為斜坡邊緣。

對于邊緣區(qū)域，根據(jù)梯度方向及當前點在斜坡邊緣的位置，采用邊緣方向均值、邊緣梯度方向的高灰度均值和低灰度均值來代替當前像素灰度值，從而縮短斜坡邊緣的寬度來增強圖像邊緣。

3

對比度增強

在獲取圖像質(zhì)量不高的情況下，通過后期調(diào)整灰度值、銳化等來改善圖像視覺效果，使其更適用于人或機器分析處理，突出有意義的信息，提升圖像使用價值。

常用方法有線性變換、直方圖歸一化、伽馬變換、全局直方圖均衡化、限制對比度的自適應(yīng)直方圖均衡化等。

直方圖歸一化前&后

直方圖均衡化

自適應(yīng)增強

4

?2d/3d降噪（DNR）

知乎中給到的“比較簡單的”解釋說：一個算法如果只利用同幀圖像信息，稱為2D降噪; 利用前后幀信息稱為3D降噪。

再簡單些：

降圖片的噪是2D降噪（空域降噪Spatial），降視頻的噪是3D降噪（時域降噪Temporal），視頻播放鍵暫停的每一幀都會布滿噪聲，時長越久需要處理的噪聲就越多。3D降噪主要是在時間軸上利用概率找到隨機噪聲幅值的相關(guān)性并進行排序，在運動序列中找到每個像素點的位置，從而得到一張干凈的圖像。

要導出一張像素排列有序的圖像，就需要不斷精進的運動估計和運動補償技術(shù)，噪聲建模（將噪聲幅值建立對應(yīng)概率密度函數(shù)分布模型）、塊匹配（找到關(guān)系相近的像素塊來捕捉運動軌跡）、光流（同時捕捉物體移動和攝像頭的移動）等方法缺一不可。

5

幾何畸變矯正

消除由攝像機導致的數(shù)字圖像的幾何畸變，使其更符合人眼視覺下的呈現(xiàn)方式。類似素描的時候平面作畫畫得有三維立體感和數(shù)學里的立體幾何計算。

這部分也是在2d圖像下好解決，一遇上3d，難度系數(shù)就指數(shù)級上升。典型應(yīng)用場景之一也是另外一個圖形技術(shù)大卷之地——光線追蹤技術(shù)。

光線追蹤技術(shù)是一種通過透徹了解光線在物理世界傳播、反射、折射等的變化原理，再通過計算機模擬光線，力求做到在PC端和移動端的手機應(yīng)用中，模擬場景變化效果也能像人類視覺在現(xiàn)實世界中觀察到的變化效果相近。目前，英偉達、AMD、英特爾已經(jīng)支持硬件層面的相關(guān)技術(shù)，移動端Imagination、三星、Arm也紛紛入局。

現(xiàn)實世界中，人眼接收到的光線一部分是直接光源的照射，另一部分是其他物體表面的反射。穩(wěn)定光源的光線好模擬，物體表面反射光源的路徑可能千千萬且十分“光怪陸離”。在模擬世界實現(xiàn)光線追蹤便需要反復推演預設(shè)場景，在模擬坐標中重現(xiàn)視覺感，將空間點發(fā)出的光抽象為光線，通過修正光線的傳播路徑在虛擬世界中逼真還原，以求沉浸式的游戲體驗。

以上繁多的圖片處理需求還只是在ISP眾多“基本功”里窺得一隅，實操作中還需要戴著“低功耗”和“低帶寬占用率”的腳鐐跳舞，在不占用公共資源的前提下為其他硬件的性能上升留出空間。

設(shè)計出符合技術(shù)和行業(yè)需求的ISP

需要哪些基操和絕技？

1

ISP和NPU全自研，競爭力說話，做熟不做生

公版IP的通用性和靈活性差不言而喻。安防、車載、AR/VR的彎道超車式發(fā)展讓每個賽道都存在不斷更新的細分需求，自研技術(shù)在自適性、按需靈活定制創(chuàng)新功能、縮短開發(fā)周期、溝通便利上都更符合客戶和行業(yè)的發(fā)展需求。

銳化、降噪、色彩矯正、邊緣增強等很多功能的實現(xiàn)，抑制與增強需求夾雜其中彼此矛盾。還原度、信噪比、噪聲平穩(wěn)性的客觀標準與顏色風格的主觀標準參雜其中。自研芯片的持續(xù)迭代可以保證達到平衡。

2

對多種類型客戶需求的充分了解，

默契是時間與堅守品質(zhì)的必然產(chǎn)物

傳統(tǒng)ISP在HDR和降噪模塊上仍有非常大的改進空間。一個ISP與多種自研算法相結(jié)合，靈活滿足不同客戶不同場景的需求。

以HDR和降噪算法為例，酷芯研發(fā)團隊經(jīng)歷過從DSP到ASIC再到更為細化的改進迭代、直到最終固化，多種特定算法之間的相互組合與迭代，以及不同ISP調(diào)試風格參數(shù)調(diào)整，到最后與tuning相結(jié)合，都需要有認可的系統(tǒng)廠商內(nèi)部支持和一定采購量為立足點，將不斷提升的產(chǎn)品系統(tǒng)需求分解為芯片迭代方案。是一種相互賦能和成就。

以安防監(jiān)控為例，公安需要存儲和核查證據(jù)，需采用一路高碼率的碼流用于本地高清存儲，視頻中的大噪聲分碼率網(wǎng)絡(luò)設(shè)備無法承擔，就碼率的平穩(wěn)性需求和ISP的需求都有別于其他行業(yè)。

3

非常需求，獨有方法

當芯片面臨能效比、低帶寬占用率的硬性需求和火警、測溫等特殊偵察需求時，傳統(tǒng)ISP成像將無法滿足，酷芯憑借多年累積，巧妙地將熱成像技術(shù)與高ISP成像質(zhì)量相結(jié)合，在紅外圖像基礎(chǔ)上做降噪、銳度增強等處理，用特有雙光方案滿足夜間/低光照視覺監(jiān)測需求。

所以，你以為ISP技術(shù)的優(yōu)劣是研發(fā)實力問題，但真實情況是，在芯片行業(yè)發(fā)生的一切，更多是一場技術(shù)迭代+多元場景和需求的落地實操+客情關(guān)系+供應(yīng)鏈管理等時與勢的把握，每一個都互為因果，每一種都權(quán)重相當。

就像呈現(xiàn)出一張最終效果令人滿意的照片，每個像素的表達都必不可少，也是借由ISP技術(shù)的升級（背后是圖像處理技術(shù)中算法的不斷創(chuàng)新+參數(shù)的反復調(diào)試）才能讓每個像素點都充分表達自我，完成本職工作。 ?

編輯

?