相機圖像質(zhì)量的分類及應(yīng)用

對很多剛?cè)胄凶鯿amera tuning的小伙伴來說，可能對圖像質(zhì)量還不是很了解，包括我自己剛開始接觸這一行的時候也是一樣，不清楚ISP是什么，為什么要調(diào)它，影響畫質(zhì)的因素又有哪些，哪些是ISP能調(diào)的，哪些又不能調(diào)的，所以本文主要是從概念上簡單介紹下圖像質(zhì)量，包括成像產(chǎn)品的分類、不同成像產(chǎn)品圖像質(zhì)量的要求、以及成像系統(tǒng)的介紹，希望對剛?cè)胄械男』锇槟苡兴鶐椭?，可以加深一下對圖像質(zhì)量的理解。

1、成像產(chǎn)品的分類

2、圖像質(zhì)量分類

審美型 （ 人眼評判 ）：

no artefacts! color，noise，detail，focus speed、etc 信息型（ 機器識別、檢測 ）： fast，no information lost，visibility，certain level tolerace to artefacts、etc

根據(jù)圖像質(zhì)量需求的成像產(chǎn)品分類：

3、成像產(chǎn)品的圖像質(zhì)量要求

審美類成像產(chǎn)品的圖像質(zhì)量要求

單反相機 -- 真實的還原現(xiàn)實世界，需要遵循一定的客觀成像標準CIPA，ISO，如有藝術(shù)創(chuàng)作的需要可以用PS等軟件對照片進行后處理；

手機相機 -- 偏向于人眼視覺，對人/人臉的拍攝有一定要求；

無人機/ 運動相機 -- 視頻的穩(wěn)定性（防抖、不允許畫面突變），對人/人臉的拍攝有一定要求；

監(jiān)控相機 -- 低照度噪聲（時域，空域）、HDR、高銳度、對人/人臉的拍攝有一定要求；

信息類成像產(chǎn)品的圖像質(zhì)量要求

機器視覺相機 -- 人/人臉、 高感光度；

Home Camera -- 家用相機，和監(jiān)控相機類似，對人臉識別有一定要求；

車載相機 -- 高動態(tài)范圍、高感光度、高幀率、motion artefacts、stitching artifacts、滿足一定的人眼視覺（有前視/后視的攝像頭是人眼來看的）；

4、成像系統(tǒng)組成

要理解圖像質(zhì)量，就必須要了解整個成像系統(tǒng)的組成，搞清楚整個成像系統(tǒng)中有哪些模塊會影響圖像質(zhì)量，如上以成像過程來描述，

光源（包含人造光、自然光、閃光燈）照到物體上，光線反射進入成像系統(tǒng)，經(jīng)過鏡頭（對于變焦鏡頭有驅(qū)動馬達調(diào)整鏡片位置，實現(xiàn)變焦）、光圈、濾光片、快門到達Sensor上成像，

接著出來數(shù)字信號傳到ISP進行圖像處理，ISP輸出YUV格式的數(shù)據(jù)，用于顯示或者經(jīng)過編碼后進行存儲，又或者用于機器視覺；所以影響圖像質(zhì)量的因素有很多，包括光源、鏡頭、濾光片、Sensor、ISP、顯示器的顯示、編碼 ........

理解一下就是光源、鏡頭、光圈、濾光片、快門、Sensor構(gòu)成了一個完整的光學(xué)成像系統(tǒng)，但由于光學(xué)和半導(dǎo)體的缺陷與局限會導(dǎo)致成像的一系列問題，

就需要經(jīng)過ISP，用數(shù)字信號處理的方法去克服光學(xué)，半導(dǎo)體的缺陷導(dǎo)致的成像問題，處理完并得到較好的圖像后，就用來進行圖像的顯示、存儲、或者機器視覺的檢測識別等應(yīng)用；

總結(jié)：整個成像系統(tǒng)是一個軟硬結(jié)合、光機電結(jié)合的復(fù)雜系統(tǒng)，做有些系統(tǒng)架構(gòu)和硬件架構(gòu)的人，有必要了解整個系統(tǒng)，才能夠設(shè)計出正確的架構(gòu)，包括做圖像質(zhì)量的也是從系統(tǒng)角度去處理問題，同樣要了解整個系統(tǒng)，才能更好的完成工作；

5、成像系統(tǒng)的兩條基本主線

圖像重建，圖像重建的過程，就是用數(shù)字信號處理的方法去克服光學(xué)、半導(dǎo)體的缺陷，清晰勾畫出正確的景物；

圖像重建要克服的光學(xué)缺陷與局限：MTF、像差、場曲、vignetting（光暈，暗角）/luma shading（亮度陰影）、glare（眩光）、Geometry Distortion（幾何失真）；

圖像重建要克服的半導(dǎo)體缺陷與局限：defect pixel、sensitivity、dynamic range、noise：temperal noise、fix pattern noise、color noise、spatial noise；

色彩重建，還原出準確豐富的色彩 ，有時還要符合人們主觀傾向的色彩；

色彩重建要克服的光學(xué)缺陷與局限：Color shading、chromatic aberration、purple fringe；

色彩重建要克服的半導(dǎo)體缺陷與局限：Cross talk、balck level；

6、成像系統(tǒng)的實時控制

ISP中，關(guān)于圖像質(zhì)量的控制，包含如下3部分：

系統(tǒng)的靜態(tài)參數(shù)標定：如black level、shading、noise profile、white balance、chromatic aberration correction、etc，主要是針對不同的硬件拍出的raw圖，去做Calibration；

AEAWBAF（自動曝光、自動白平衡、自動對焦）：主要是軟件的3A算法去控制，要求達到曝光/白平衡/對焦的“快”、“準”、“穩(wěn)”；

系統(tǒng)的動態(tài)參數(shù)調(diào)整：基于上述的靜態(tài)標定參數(shù)，在各個場景下去調(diào)整ISP中相應(yīng)模塊的動態(tài)參數(shù)，以達到滿意的效果輸出，如shading，CCM， black level，noise reduction，sharpening、etc；

注：一般從硬件廠商那邊拿到的相同產(chǎn)品，成像效果都是差不多的，所以要有更好的用戶體驗就必須在軟件上面增加自己的優(yōu)化，如3A算法、后處理算法；

審核編輯：郭婷