0
  • 聊天消息
  • 系統(tǒng)消息
  • 評論與回復(fù)
登錄后你可以
  • 下載海量資料
  • 學(xué)習(xí)在線課程
  • 觀看技術(shù)視頻
  • 寫文章/發(fā)帖/加入社區(qū)
會員中心
創(chuàng)作中心

完善資料讓更多小伙伴認(rèn)識你,還能領(lǐng)取20積分哦,立即完善>

3天內(nèi)不再提示

深入探究圖像信號處理算法概述、工作原理、架構(gòu)、處理流程

新機(jī)器視覺 ? 來源:CSDN ? 作者:路人甲ing.. ? 2021-07-23 15:49 ? 次閱讀

ISP的主要內(nèi)部構(gòu)成:ISP內(nèi)部包含 CPU、SUP IP(各種功能模塊的通稱)、IF 等設(shè)備

ISP的控制結(jié)構(gòu):1、ISP邏輯 2、運(yùn)行在其上的firmware

ISP上的Firmware包含三部分:

AP對ISP的操控方式:外置:I2C/SPI。內(nèi)置:MEM MAP、MEM SHARE

ISP架構(gòu)方案:內(nèi)置、外置

ISP 處理流程:

Bayer、黑電平補(bǔ)償 (black level compensation)、鏡頭矯正(lens shading correction)、壞像素矯正(bad pixel correction)、顏色插值 (demosaic)、Bayer 噪聲去除、 白平衡(AWB) 矯正、 色彩矯正(color correction)、gamma 矯正、色彩空間轉(zhuǎn)換(RGB 轉(zhuǎn)換為 YUV)、在YUV 色彩空間上彩噪去除與邊緣加強(qiáng)、色彩與對比度加強(qiáng),中間還要進(jìn)行自動曝光控制等, 然后輸出 YUV(或者RGB) 格式的數(shù)據(jù), 再通過 I/O 接口傳輸?shù)?CPU 中處理。

概 念

ISP是Image Signal Processor 的簡稱,也就是圖像信號處理器。

DSP是Digital Signal Processor 的縮寫,也就是數(shù)字信號處理器。

ISP一般用來處理Image Sensor(圖像傳感器)的輸出數(shù)據(jù),如做AEC(自動曝光控制)、AGC(自動增益控制)、AWB(自動白平衡)、色彩校正、Lens Shading、Gamma 校正、祛除壞點(diǎn)、Auto Black Level、Auto White Level等等功能的處理。

而DSP功能就比較多了,它可以做些拍照以及回顯(JPEG的編解碼)、錄像以及回放(Video 的編解碼)、H.264的編解碼、還有很多其他方面的處理,總之是處理數(shù)字信號了。ISP是一類特殊的處理圖像信號的DSP。

ISP架構(gòu)方案:分為獨(dú)立(外置)與集成(內(nèi)置)兩種形式。

CPU處理器包括:AP、BP、CP。其中BP:基帶處理器、AP:應(yīng)用處理器、CP:多媒體加速器。

ISP的主要內(nèi)部構(gòu)成

如下圖所示,ISP內(nèi)部包含 CPU、SUP IP、IF 等設(shè)備,事實(shí)上,可以認(rèn)為 ISP 是一個 SOC(system of chip),可以運(yùn)行各種算法程序,實(shí)時處理圖像信號。

1e8dd044-e0fd-11eb-9e57-12bb97331649.png

CPU:CPU 即中央處理器,可以運(yùn)行 AF、LSC 等各種圖像處理算法,控制外圍設(shè)備?,F(xiàn)代的 ISP 內(nèi)部的 CPU 一般都是 ARM Cortex-A 系列的,例如 Cortex-A5、Cortex-A7。

SUB IP:SUB IP 是各種功能模塊的通稱,對圖像進(jìn)行各自專業(yè)的處理。常見的 SUB IP 如 DIS、CSC、VRA 等。

圖像傳輸接口:圖像傳輸接口主要分兩種,并口 ITU 和串口 CSI。CSI 是 MIPI CSI 的簡稱,鑒于 MIPI CSI 的諸多優(yōu)點(diǎn),在手機(jī)相機(jī)領(lǐng)域,已經(jīng)廣泛使用 MIPI-CSI 接口傳輸圖像數(shù)據(jù)和各種自定義數(shù)據(jù)。外置 ISP 一般包含 MIPI-CSIS 和 MIPI-CSIM 兩個接口。內(nèi)置 ISP 一般只需要 MIPI-CSIS 接口。

通用外圍設(shè)備:通用外圍設(shè)備指 I2C、SPI、PWM、UART、WATCHDOG 等。ISP 中包含 I2C 控制器,用于讀取 OTP 信息,控制 VCM 等。對于外置 ISP,ISP 本身還是 I2C 從設(shè)備。AP 可以通過 I2C 控制 ISP 的工作模式,獲取其工作狀態(tài)等。

ISP的控制結(jié)構(gòu)

ISP包括:1、ISP邏輯 2、運(yùn)行在其上的firmware

如圖所示,lens 將光信號投射到sensor 的感光區(qū)域后,sensor 經(jīng)過光電轉(zhuǎn)換,將Bayer 格式的原始圖像送給ISP,ISP 經(jīng)過算法處理,輸出RGB空間域的圖像給后端的視頻采集單元。在這個過程中,ISP通過運(yùn)行在其上的firmware(固件)對ISP邏輯,從而對lens 和sensor 進(jìn)行相應(yīng)控制,進(jìn)而完成自動光圈、自動曝光、自動白平衡等功能。其中,firmware的運(yùn)轉(zhuǎn)靠視頻采集單元的中斷驅(qū)動。PQ Tools 工具通過網(wǎng)口或者串口完成對ISP 的在線圖像質(zhì)量調(diào)節(jié)。

ISP 由ISP邏輯及運(yùn)行在其上的Firmware組成,邏輯單元除了完成一部分算法處理外,還可以統(tǒng)計(jì)出當(dāng)前圖像的實(shí)時信息。Firmware 通過獲取ISP 邏輯的圖像統(tǒng)計(jì)信息,重新計(jì)算,反饋控制lens、sensor 和ISP 邏輯,以達(dá)到自動調(diào)節(jié)圖像質(zhì)量的目的。

1e9e3830-e0fd-11eb-9e57-12bb97331649.png

ISP上的Firmware包含三部分

ISP 的Firmware包含三部分,一部分是ISP 控制單元和基礎(chǔ)算法庫,一部分是AE/AWB/AF 算法庫,一部分是sensor 庫。Firmware 設(shè)計(jì)的基本思想是單獨(dú)提供3A算法庫,由ISP控制單元調(diào)度基礎(chǔ)算法庫和3A 算法庫,同時sensor 庫分別向ISP 基礎(chǔ)算法庫和3A 算法庫注冊函數(shù)回調(diào),以實(shí)現(xiàn)差異化的sensor 適配。ISP firmware 架構(gòu)如圖所示。

不同的sensor 都以回調(diào)函數(shù)的形式,向ISP 算法庫注冊控制函數(shù)。ISP 控制單元調(diào)度基礎(chǔ)算法庫和3A 算法庫時,將通過這些回調(diào)函數(shù)獲取初始化參數(shù),并控制sensor,如調(diào)節(jié)曝光時間、模擬增益、數(shù)字增益,控制lens 步進(jìn)聚焦或旋轉(zhuǎn)光圈等。

AP對ISP的操控方式

CPU處理器包括:AP、BP、CP。BP:基帶處理器、AP:應(yīng)用處理器、CP:多媒體加速器

這里所說的控制方式是AP 對 ISP 的操控方式 。

I2C/SPI:這一般是外置 ISP 的做法。SPI 一般用于下載固件、I2C 一般用于寄存器控制。在內(nèi)核的 ISP 驅(qū)動中,外置 ISP 一般是實(shí)現(xiàn)為 I2C 設(shè)備,然后封裝成 V4L2-SUBDEV。

MEM MAP:這一般是內(nèi)置 ISP 的做法。將 ISP 內(nèi)部的寄存器地址空間映射到內(nèi)核地址空間,

MEM SHARE:這也是內(nèi)置 ISP 的做法。AP 這邊分配內(nèi)存,然后將內(nèi)存地址傳給 ISP,二者實(shí)際上共享同一塊內(nèi)存。因此 AP 對這段共享內(nèi)存的操作會實(shí)時反饋到 ISP 端。

ISP架構(gòu)方案

上文多次提到外置 ISP 和內(nèi)置 ISP,這實(shí)際上是 ISP的架構(gòu)方案。

外置 ISP 架構(gòu)

外置 ISP 架構(gòu)是指在 AP 外部單獨(dú)布置 ISP 芯片用于圖像信號處理。外置 ISP 的架構(gòu)圖一般如下所示:

1ed5bb5c-e0fd-11eb-9e57-12bb97331649.png

外置 ISP 架構(gòu)的優(yōu)點(diǎn)主要有:

能夠提供更優(yōu)秀的圖像質(zhì)量:在激烈的市場競爭下,能夠存活到現(xiàn)在的外置 ISP 生產(chǎn)廠商在此領(lǐng)域一般都有很深的造詣,積累了豐富的影像質(zhì)量調(diào)試經(jīng)驗(yàn),能夠提供比內(nèi)置 ISP 更優(yōu)秀的性能和效果。因此,選用優(yōu)質(zhì)的外置 ISP 能提供專業(yè)而且優(yōu)秀的圖像質(zhì)量。

能夠支援更豐富的設(shè)計(jì)規(guī)劃:外置 ISP 的選型基本不受 AP 的影響,因此魅族可以從各個優(yōu)秀 ISP 芯片供應(yīng)商的眾多產(chǎn)品中甄選最合適的器件,從而設(shè)計(jì)出更多優(yōu)秀的產(chǎn)品。

能夠?qū)崿F(xiàn)產(chǎn)品的差異化:內(nèi)置 ISP 是封裝在 AP 內(nèi)部的,是和 AP 緊密的聯(lián)系在一起,如果 AP 相同,那么 ISP 也就是一樣的。因此基于同樣 AP 生產(chǎn)出來的手機(jī),其 ISP 的性能也是一樣的,可供調(diào)教的條件也是固定的,這樣就不利于實(shí)現(xiàn)產(chǎn)品的差異化。而如果選擇外置 ISP,那么同一顆 AP,可以搭配不同型號的 ISP,這樣可以實(shí)現(xiàn)產(chǎn)品的差異化,為給用戶提供更豐富和優(yōu)質(zhì)的產(chǎn)品。

外置 ISP 架構(gòu)的缺點(diǎn)主要有:

成本價格高:外置 ISP 需要單獨(dú)購買,其售價往往不菲,而且某些特殊功能還需要額外支付費(fèi)用。使用外置 ISP,需要進(jìn)行額外的原理圖設(shè)計(jì)和 LAYOUT,需要使用額外的元器件。

開發(fā)周期長:外置 ISP 驅(qū)動的設(shè)計(jì)需要多費(fèi)精力和時間。使用外置 ISP 時,AP 供應(yīng)商提供的 ISP 驅(qū)動就無法使用,需要額外設(shè)計(jì)編寫外置 ISP 驅(qū)動。另外,為了和 AP 進(jìn)行完美的搭配,將效果最大化,也往往需要付出更多的調(diào)試精力。上文也提到,使用外置 ISP,需要進(jìn)行額外的原理圖設(shè)計(jì)和 LAYOUT,需要使用額外的元器件,這也是需要花費(fèi)時間進(jìn)行處理的。

內(nèi)置 ISP 架構(gòu):

內(nèi)置 ISP 架構(gòu)是指在 AP 內(nèi)部嵌入了 ISP IP,直接使用 AP 內(nèi)部的 ISP 進(jìn)行圖像信號處理。內(nèi)置 ISP 的架構(gòu)圖一般如下所示:

1edfec62-e0fd-11eb-9e57-12bb97331649.png

內(nèi)置 ISP 架構(gòu)的優(yōu)點(diǎn)主要有:

能降低成本價格:內(nèi)置 ISP 內(nèi)嵌在 AP 內(nèi)部,因此無需像外置 ISP 一樣需要額外購買,且不占 PCB 空間,無需單獨(dú)為其設(shè)計(jì)外圍電路,這樣就能節(jié)省 BOM,降低成本。鑒于大多數(shù)用戶在選購手機(jī)時會將價格因素放在重要的位置,因此降低成本能有效的降低終端成品價格,有利于占領(lǐng)市場。

能提高產(chǎn)品的上市速度:內(nèi)置 ISP 和 AP 緊密結(jié)合,無需進(jìn)行原理圖設(shè)計(jì)和 LAYOUT 設(shè)計(jì),因此可以減小開發(fā)周期,加快產(chǎn)品上市的速度。

能降低開發(fā)難度:如果使用內(nèi)置 ISP,那么 AP 供應(yīng)商能在前期提供相關(guān)資料,驅(qū)動開發(fā)人員可以有充足的時間熟悉相關(guān)資料,而且不會存在軟件版本適配問題,也不存在平臺架構(gòu)兼容性問題。但是,如果使用外置 ISP,那么 ISP 供應(yīng)商往往都不能提供針對某個平臺的代碼/資料,而且一般都存在軟件版本兼容問題,這就需要驅(qū)動開發(fā)人員付出額的經(jīng)歷和時間。

使用內(nèi)置 ISP 當(dāng)然也有相應(yīng)的不足之處,具體見上文的分析,這里就不贅述了。

事實(shí)上,鑒于 ISP 的重要性,為了推廣其 AP,提高其 AP 競爭力,現(xiàn)在 AP 內(nèi)置的 ISP 也越來越強(qiáng)大,其性能足以滿足手機(jī)市場的需求。再加上其一系列優(yōu)點(diǎn),現(xiàn)在使用內(nèi)置 ISP 方案的手機(jī)越來越多。

ISP 處理流程

1ef73016-e0fd-11eb-9e57-12bb97331649.png

圖像產(chǎn)生過程:景物通過 Lens 生成的光學(xué)圖像投射到 sensor 表面上, 經(jīng)過光電轉(zhuǎn)換為模擬電信號, 消噪聲后經(jīng)過 A/D 轉(zhuǎn)換后變?yōu)閿?shù)字圖像信號, 再送到數(shù)字信號處理芯片( DSP) 中加工處理。

所以,從 sensor 端過來的圖像是 Bayer 圖像,經(jīng)過黑電平補(bǔ)償 (black level compensation)、鏡頭矯正(lens shading correction)、壞像素矯正(bad pixel correction)、顏色插值 (demosaic)、Bayer 噪聲去除、 白平衡(awb) 矯正、 色彩矯正(color correction)、gamma 矯正、色彩空間轉(zhuǎn)換(RGB 轉(zhuǎn)換為 YUV)、在YUV 色彩空間上彩噪去除與邊緣加強(qiáng)、色彩與對比度加強(qiáng),中間還要進(jìn)行自動曝光控制等, 然后輸出 YUV(或者RGB) 格式的數(shù)據(jù), 再通過 I/O 接口傳輸?shù)?CPU 中處理。

1.Bayer(拜耳濾波器得到彩色)

圖像在將實(shí)際的景物轉(zhuǎn)換為圖像數(shù)據(jù)時, 通常是將傳感器分別接收紅、 綠、 藍(lán)三個分量的信息, 然后將紅、 綠、 藍(lán)三個分量的信息合成彩色圖像。該方案需要三塊濾鏡, 這樣價格昂貴,且不好制造, 因?yàn)槿龎K濾鏡都必須保證每一個像素點(diǎn)都對齊。

通過在黑白 cmos 圖像傳感器的基礎(chǔ)上, 增加彩色濾波結(jié)構(gòu)和彩色信息處理模塊就可以獲得圖像的彩色信息, 再對該彩色信息進(jìn)行處理, 就可以獲得色彩逼真的彩色圖像。通常把彩色圖像傳感器表面覆蓋的濾波稱為彩色濾波陣列(Color Filter Arrays,CFA)。

目前最常用的濾鏡陣列是棋盤格式的, 已經(jīng)有很多種類的, 其中絕大多數(shù)的攝像產(chǎn)品采用的是原色貝爾模板彩色濾波陣列(Bayer Pattern CFA)。R、G、B 分別表示透紅色、透綠色和透藍(lán)色的濾鏡陣列單元。由于人的視覺對綠色最為敏感,所以在 Bayer CFA 中G分量是 R和B 的二倍,在每個像素點(diǎn)上只能獲取一種色彩分量的信息,然后根據(jù)該色彩分量的信息通過插值算法得到全色彩圖像。

2.BLC(Black level Correction)(黑電平補(bǔ)償)

a.暗電流

物理器件不可能是理想的, 由于雜質(zhì)、 受熱等其他原因的影響, 即使沒有光照射到象素,象素單元也會產(chǎn)生電荷, 這些電荷產(chǎn)生了暗電流。而且, 暗電流與光照產(chǎn)生的電荷很難進(jìn)行區(qū)分。公眾號:OpenFPGA

b.Black Level

Black Level 是用來定義圖像數(shù)據(jù)為0時對應(yīng)的信號電平。由于暗電流的影響, 傳感器出來的實(shí)際原始數(shù)據(jù)并不是我們需要的黑平衡(數(shù)據(jù)不為0)。所以,為減少暗電流對圖像信號的影響,可以采用的有效的方法是從已獲得的圖像信號中減去參考暗電流信號。一般情況下, 在傳感器中,實(shí)際像素要比有效像素多, 如下圖所示, 像素區(qū)頭幾行作為不感光區(qū)( 實(shí)際上,這部分區(qū)域也做了RGB 的 color filter),用于自動黑電平校正,其平均值作為校正值, 然后在下面區(qū)域的像素都減去此矯正值,那么就可以將黑電平矯正過來了。

做了black level 矯正與沒做black level 矯正的對比,沒做black level矯正的圖片會比較亮,影響圖像的對比度。

3.LSC(Lens Shading Correction)(鏡頭矯正)

由于鏡頭本身的物理性質(zhì), 造成圖像四周亮度相對中心亮度逐漸降低,以及,由于圖像光照在透過鏡頭照射到 pixel 上時,邊角處的焦點(diǎn)夾角大于中心焦點(diǎn)夾角,造成邊角失光。表現(xiàn)在圖像上的效果就是亮度從圖像中心到四周逐漸衰減, 且離圖像中心越遠(yuǎn)亮度越暗。為了補(bǔ)償四周的亮度, 需要進(jìn)行 Lens Shading 的矯正。

Lens Shading 的矯正的方法是根據(jù)一定的算法計(jì)算每個像素對應(yīng)的亮度矯正值,從而補(bǔ)償周邊衰減的亮度。

矯正方法有二次項(xiàng)矯正、 四次項(xiàng)矯正。

4.BPC(Bad Pixel Correction)(壞點(diǎn)矯正)

a.壞點(diǎn)

壞點(diǎn)為全黑環(huán)境下輸出圖像中的白點(diǎn),高亮環(huán)境下輸出圖像中的黑點(diǎn)。

b.壞點(diǎn)修復(fù)方法

一般情況下, RGB 信號應(yīng)與景物亮度呈線性響應(yīng)關(guān)系, 但由于 Senor 部分 pixel 不良導(dǎo)致輸出的信號不正常, 出現(xiàn)白點(diǎn)或黑點(diǎn)。

壞點(diǎn)修復(fù)方法通常有兩種:

一種是自動檢測壞點(diǎn)并自動修復(fù), 另一種是建立壞點(diǎn)像素鏈表進(jìn)行固定位置的壞像素點(diǎn)修復(fù), 這種方式是 OTP 的方式。

5.Demosaic顏色插值 (抵馬賽克)

當(dāng)光線通過 Bayer型 CFA(Color Filter Arrays) 陣列之后, 單色光線打在傳感器上,每個像素都為單色光,從而理想的Bayer 圖是一個較為昏暗的馬賽克圖。

首先需要說明的就是demosaiced并不是和字面的意思一樣是為了去除電影中的一些打馬賽克的圖像,而是數(shù)字圖像處理中用來從不完整的color samples插值生成完整的color samples的方法(因?yàn)閎ayer pattern看起來像一個個馬賽克,因此稱為去馬賽克)。在sensor端通常需要使用CFA濾鏡來得到Bayer pattern,而在后面的處理中需要把bayer pattern變成完整的RGB444(真彩色)圖像。在ISP中需要有這么一個模塊來做。

在傳統(tǒng)的ISP中有很多算法可以來做這個插值,包括最近鄰域法,bilinear 插值,cubic 插值等。

6.Bayer Denoise(去噪聲)

使用 cmos sensor獲取圖像,光照程度和傳感器問題是生成圖像中大量噪聲的主要因素。同時, 當(dāng)信號經(jīng)過ADC 時, 又會引入其他一些噪聲。這些噪聲會使圖像整體變得模糊, 而且丟失很多細(xì)節(jié), 所以需要對圖像進(jìn)行去噪處理空間去噪傳統(tǒng)的方法有均值濾波、 高斯濾波等。

但是, 一般的高斯濾波在進(jìn)行采樣時主要考慮了像素間的空間距離關(guān)系, 并沒有考慮像素值之間的相似程度, 因此這樣得到的模糊結(jié)果通常是整張圖片一團(tuán)模糊。所以, 一般采用非線性去噪算法, 例如雙邊濾波器, 在采樣時不僅考慮像素在空間距離上的關(guān)系, 同時加入了像素間的相似程度考慮, 因而可以保持原始圖像的大體分塊, 進(jìn)而保持邊緣。

7.AWB(Automatic White Balance)(自動白平衡)

白平衡的基本原理是在任意環(huán)境下, 把白色物體還原成白色物體, 也就是通過找到圖像中的白塊, 然后調(diào)整R/G/B 的比例, 如下關(guān)系:

R’= R * R_Gain

G’ = G * G_Gain

B’ = B * B_Gain

R’ = G’= B’

AWB 算法通常包括的步驟如下:

(1)色溫統(tǒng)計(jì):根據(jù)圖像統(tǒng)計(jì)出色溫;

(2)計(jì)算通道增益:計(jì)算出R 和B 通道的增益;

(3)進(jìn)行偏色的矯正:根據(jù)給出的增益, 算出偏色圖像的矯正。

8.Color Correction(顏色矯正)

由于人類眼睛可見光的頻譜響應(yīng)度和半導(dǎo)體傳感器頻譜響應(yīng)度之間存在差別,還有透鏡等的影響, 得到的RGB 值顏色會存在偏差, 因此必須對顏色進(jìn)行校正, 通常的做法是通過一個3x3 的顏色變化矩陣來進(jìn)行顏色矯正。

9.Gamma Correction(伽馬矯正)

人眼對外界光源的感光值與輸入光強(qiáng)不是呈線性關(guān)系的, 而是呈指數(shù)型關(guān)系的。在低照度下,人眼更容易分辨出亮度的變化, 隨著照度的增加,人眼不易分辨出亮度的變化。而攝像機(jī)感光與輸入光強(qiáng)呈線性關(guān)系, 為方便人眼辨識圖像, 需要將攝像機(jī)采集的圖像進(jìn)行g(shù)amma 矯正。

Gamma 矯正是對輸入圖像灰度值進(jìn)行的非線性操作, 使輸出圖像灰度值與輸入圖像灰度值呈指數(shù)關(guān)系:

out = Vin ^ gamma

1f5d6502-e0fd-11eb-9e57-12bb97331649.png

這個指數(shù)就是 gamma, 橫坐標(biāo)是輸入灰度值, 縱坐標(biāo)是輸出灰度值, 藍(lán)色曲線是 gamma 值小于 1 時的輸入輸出關(guān)系, 紅色曲線是 gamma 值大于 1 時的輸入輸出關(guān)系??梢杂^察到, 當(dāng) gamma 值小于 1 時(藍(lán)色曲線), 圖像的整體亮度值得到提升, 同時低灰度處的對比度得到增加, 更利于分辯低灰度值時的圖像細(xì)節(jié)。

10.色彩空間轉(zhuǎn)換

YUV 是一種基本色彩空間, 人眼對亮度改變的敏感性遠(yuǎn)比對色彩變化大很多, 因此, 對于人眼而言, 亮度分量Y 要比色度分量U、V 重要得多。所以, 可以適當(dāng)?shù)貟仐壊糠諹、V分量, 達(dá)到壓縮數(shù)據(jù)的目的。

YCbCr 其實(shí)是YUV 經(jīng)過縮放和偏移的改動版,Y 表示亮度,Cr、Cb 表示色彩的色差,RGB信號亮度值之間的差異,分別是紅色和藍(lán)色的分量。在YUV 家族中,YCbCr 是在計(jì)算機(jī)系統(tǒng)中應(yīng)用最多的成員, 其應(yīng)用領(lǐng)域很廣泛,JPEG、MPEG 均采用此格式。一般人們所講的YUV 大多是指YCbCr。YCbCr有許多取樣格式,如 4∶4∶4,4∶2∶2, 4∶1∶1和 4∶2∶0。

Cb:反映的是RGB輸入信號藍(lán)色部分與RGB信號亮度值之間的差異。

Cr:反映了RGB輸入信號紅色部分與RGB信號亮度值之間的差異。

在以下兩個公式中RGB和YCbCr各分量的值的范圍均為0-255。

RGB轉(zhuǎn)換為Ycbcr公式:

Y = 0.257*R+0.564*G+0.098*B+16

Cb = -0.148*R-0.291*G+0.439*B+128

Cr = 0.439*R-0.368*G-0.071*B+128

YCbCr轉(zhuǎn)換為RGB公式:

R = 1.164*(Y-16)+1.596*(Cr-128)

G = 1.164*(Y-16)-0.392*(Cb-128)-0.813*(Cr-128)

B =1.164*(Y-16)+2.017*(Cb-128)

色彩空間轉(zhuǎn)換這個模塊, 是將RGB 轉(zhuǎn)換為 YUV444, 然后在YUV 色彩空間上進(jìn)行后續(xù)的彩色噪聲去除、 邊緣增強(qiáng)等, 也為后續(xù)輸出轉(zhuǎn)換為jpeg 圖片提供方便。

11.Color Denoise

為了抑制圖像的彩色噪聲, 一般采用低通濾波器進(jìn)行處理。例如使用M×N的高斯低通濾波器在色度通道上進(jìn)行處理。

參考:

高通camera結(jié)構(gòu)(攝像頭基礎(chǔ)介紹)

https://blog.csdn.net/weijory/article/details/70225392

ISP算法概述

https://blog.csdn.net/weijory/article/details/53306545

ISP概述、工作原理及架構(gòu)

https://blog.csdn.net/l18318931829/article/details/78274790

ISP DSP的區(qū)別

https://blog.csdn.net/hunanchenxingyu/article/details/49750177

數(shù)字圖像處理 顏色空間RGB、HSI、CMYK、YUV的相互轉(zhuǎn)換

https://blog.csdn.net/aoshilang2249/article/details/38070663

ISP基本框架及算法介紹

https://blog.csdn.net/a1809032425/article/details/81272965

ISP(圖像信號處理)之——圖像處理概述

https://blog.csdn.net/lyfwill/article/details/81220380

相機(jī)系統(tǒng)綜述 —— ISP

http://kernel.meizu.com/camera-isp-intro.html

—版權(quán)聲明—

僅用于學(xué)術(shù)分享,版權(quán)屬于原作者。

若有侵權(quán),請聯(lián)系微信號刪除或修改!

編輯:jq

聲明:本文內(nèi)容及配圖由入駐作者撰寫或者入駐合作網(wǎng)站授權(quán)轉(zhuǎn)載。文章觀點(diǎn)僅代表作者本人,不代表電子發(fā)燒友網(wǎng)立場。文章及其配圖僅供工程師學(xué)習(xí)之用,如有內(nèi)容侵權(quán)或者其他違規(guī)問題,請聯(lián)系本站處理。 舉報投訴
  • 圖像信號處理
    +關(guān)注

    關(guān)注

    0

    文章

    16

    瀏覽量

    7455

原文標(biāo)題:ISP(圖像信號處理)算法概述、工作原理、架構(gòu)、處理流程

文章出處:【微信號:vision263com,微信公眾號:新機(jī)器視覺】歡迎添加關(guān)注!文章轉(zhuǎn)載請注明出處。

收藏 人收藏

    評論

    相關(guān)推薦

    FPGA設(shè)計(jì)經(jīng)驗(yàn)之圖像處理

    NxN的算子中的N不能特別大。當(dāng)然FPGA也可以接DDR把圖像緩存到其中再讀出來進(jìn)行處理,但這種處理模式就和CPU差不多了,達(dá)不到最高的實(shí)時性。其實(shí)有些我們認(rèn)為需要隨機(jī)讀取數(shù)據(jù)的圖像
    發(fā)表于 06-12 16:26

    基于FPGA的實(shí)時邊緣檢測系統(tǒng)設(shè)計(jì),Sobel圖像邊緣檢測,F(xiàn)PGA圖像處理

    計(jì)算機(jī)軟件實(shí)現(xiàn)方式有更快的處理速度。 經(jīng)驗(yàn)證,系統(tǒng)工作穩(wěn)定,滿足實(shí)時性要求 。 MATLAB 與 FPGA無線通信、圖像處理、數(shù)字信號
    發(fā)表于 05-24 07:45

    信號分析和信號處理必須遵循的原則

    在信息技術(shù)的快速發(fā)展中,信號分析與信號處理作為信息科學(xué)的重要組成部分,扮演著至關(guān)重要的角色。無論是通信、控制、圖像處理還是生物醫(yī)學(xué)等領(lǐng)域,
    的頭像 發(fā)表于 05-17 14:19 ?580次閱讀

    機(jī)器視覺圖像采集卡:關(guān)鍵的圖像處理設(shè)備

    機(jī)器視覺圖像采集卡的工作原理。機(jī)器視覺圖像采集卡通常由模擬-數(shù)字轉(zhuǎn)換器(ADC)、數(shù)字信號處理器(DSP)和接口電路等組成。當(dāng)光線照射到傳感
    的頭像 發(fā)表于 02-22 16:23 ?351次閱讀
    機(jī)器視覺<b class='flag-5'>圖像</b>采集卡:關(guān)鍵的<b class='flag-5'>圖像</b><b class='flag-5'>處理</b>設(shè)備

    圖像采集卡的工作原理及其與圖像處理軟件的區(qū)別介紹

    圖像采集卡是一種用于將模擬圖像信號轉(zhuǎn)換號的設(shè)備。它在計(jì)算機(jī)視覺和圖像處理領(lǐng)域中起著關(guān)鍵作用,被廣泛應(yīng)用于監(jiān)控系統(tǒng)、醫(yī)學(xué)影像、機(jī)器視覺等領(lǐng)域。
    的頭像 發(fā)表于 01-10 16:35 ?775次閱讀
    <b class='flag-5'>圖像</b>采集卡的<b class='flag-5'>工作原理</b>及其與<b class='flag-5'>圖像</b><b class='flag-5'>處理</b>軟件的區(qū)別介紹

    FPGA圖像處理之CLAHE算法

    在FPGA圖像處理--CLAHE算法(一)中介紹了為啥要用CLAHE算法來做圖像增強(qiáng)。
    的頭像 發(fā)表于 01-04 12:23 ?2104次閱讀
    FPGA<b class='flag-5'>圖像</b><b class='flag-5'>處理</b>之CLAHE<b class='flag-5'>算法</b>

    相機(jī)圖像信號處理流程(ISP)介紹

    本文是圖像信號處理流程的一個總體的介紹,以便更好理解一張照片究竟是如何誕生的,實(shí)際的技術(shù)要復(fù)雜很多。
    的頭像 發(fā)表于 12-09 09:51 ?2328次閱讀
    相機(jī)<b class='flag-5'>圖像</b><b class='flag-5'>信號</b><b class='flag-5'>處理</b><b class='flag-5'>流程</b>(ISP)介紹

    FPGA圖像處理方法

    圖像細(xì)節(jié)。 FPGA 圖像處理方法 1、圖像增強(qiáng) 兩大方法:空間域方法和時間域方法(以后再詳述) 2、圖像濾波 (1)平滑空間 濾波器 (2
    的頭像 發(fā)表于 12-02 13:15 ?913次閱讀

    圖像處理算法——邊緣檢測

    基于邊緣檢測的分析不易受整體光照強(qiáng)度變化的影響,同時利用邊緣信息容易凸顯目標(biāo)信息和達(dá)到簡化處理的目的,因此很多圖像理解方法都以邊緣為基礎(chǔ)。邊緣檢測強(qiáng)調(diào)的是圖像對比度。
    的頭像 發(fā)表于 11-30 16:56 ?760次閱讀
    <b class='flag-5'>圖像</b><b class='flag-5'>處理算法</b>——邊緣檢測

    FPGA圖像處理_ISP算法DPC流程

    DPC通常作為ISP算法流程里面的第一個模塊,原理也很簡單。
    的頭像 發(fā)表于 11-25 10:04 ?1376次閱讀
    FPGA<b class='flag-5'>圖像</b><b class='flag-5'>處理</b>_ISP<b class='flag-5'>算法</b>DPC<b class='flag-5'>流程</b>

    基于圖像處理的PCB自動檢測系統(tǒng)的設(shè)計(jì)與研究(二)

    手動檢測可以根據(jù)需要在采集圖像時直接通過控制步進(jìn)電機(jī)運(yùn)動將CCD攝像頭運(yùn)動到待測PCB板的主要部位,在進(jìn)行圖像處理時也可以根據(jù)圖像質(zhì)量來選擇與之 相適應(yīng)的
    發(fā)表于 11-15 15:44 ?575次閱讀
    基于<b class='flag-5'>圖像</b><b class='flag-5'>處理</b>的PCB自動檢測系統(tǒng)的設(shè)計(jì)與研究(二)

    機(jī)器視覺之圖像增強(qiáng)和圖像處理

    一、圖像處理技術(shù)概述1.定義對原始獲取圖像進(jìn)行一系列的運(yùn)算處理,稱為圖像
    的頭像 發(fā)表于 10-26 08:07 ?806次閱讀
    機(jī)器視覺之<b class='flag-5'>圖像</b>增強(qiáng)和<b class='flag-5'>圖像</b><b class='flag-5'>處理</b>

    八位單片機(jī)的大數(shù)處理算法及在數(shù)控中的應(yīng)用

    電子發(fā)燒友網(wǎng)站提供《八位單片機(jī)的大數(shù)處理算法及在數(shù)控中的應(yīng)用.pdf》資料免費(fèi)下載
    發(fā)表于 10-25 10:09 ?0次下載
    八位單片機(jī)的大數(shù)<b class='flag-5'>處理算法</b>及在數(shù)控中的應(yīng)用

    單片機(jī)開發(fā)中,傳感器的數(shù)據(jù)處理算法

    單片機(jī)開發(fā)中,傳感器的數(shù)據(jù)處理算法
    的頭像 發(fā)表于 10-17 17:35 ?777次閱讀

    GPU在雷達(dá)信號處理算法中的優(yōu)勢

    雷達(dá)信號處理算法對計(jì)算機(jī)架構(gòu)提出了很高的實(shí)時性要求。好在這些算法具有數(shù)據(jù)并行性,可以在大規(guī)模并行架構(gòu)(如圖形
    的頭像 發(fā)表于 10-17 10:07 ?843次閱讀
    GPU在雷達(dá)<b class='flag-5'>信號</b><b class='flag-5'>處理算法</b>中的優(yōu)勢