isp芯片是什么意思 詳解ISP芯片如何讓數(shù)字之眼看清真實(shí)世界

最近看到生物學(xué)教授王立銘的一個(gè)有趣假設(shè)，他說(shuō)，假如存在外星高級(jí)智慧生物，那么它大概率和人類一樣是用眼睛來(lái)感知外部世界的。

為什么這么說(shuō)呢？因?yàn)橐曈X(jué)信息，也就是光這樣的電磁波，是所有感知信息中反映環(huán)境變化最準(zhǔn)確、承載環(huán)境信息最豐富的通道。但凡智慧生物，如果不是生活在黑暗地下或者是幽冥深海，基本上都會(huì)依靠視覺(jué)信息來(lái)捕食和逃生。

因?yàn)楣馐怯钪嬷凶钇毡榈拇嬖?，不需要具體介質(zhì)（空氣、水等）也能直線傳播，能夠充分準(zhǔn)確、及時(shí)的反映出空間和物體的信息，比聲音、味道、觸覺(jué)所承載的信息量大多了，同時(shí)也穩(wěn)定多了。

這一假設(shè)從人類制造的智能設(shè)備中也可以得到驗(yàn)證。以智能手機(jī)為例，其最主要接收到的兩類信息，一個(gè)是圖像，一個(gè)是聲音。聲波的輸入和輸出，作為電話最初的功能，發(fā)展至今技術(shù)已臻于完善，只能在音質(zhì)穩(wěn)定性上進(jìn)行小打小鬧地改善。

而圖像已經(jīng)成為智能手機(jī)最核心功能，其拍攝技術(shù)和圖像質(zhì)量在不斷升級(jí)，其所產(chǎn)生的數(shù)據(jù)也占據(jù)了手機(jī)最多的內(nèi)存資源，也成為各種應(yīng)用最主要的數(shù)據(jù)源頭。

事物的影像通過(guò)光的反射進(jìn)入眼睛當(dāng)中，視網(wǎng)膜上的感光細(xì)胞就可以檢測(cè)到這些光的強(qiáng)度、角度和位置，從而引發(fā)生物電信號(hào)，最后傳遞給大腦神經(jīng)細(xì)胞進(jìn)行視覺(jué)圖像的成像，才讓我們看到和記住看到過(guò)的事物。

和生物視覺(jué)的實(shí)現(xiàn)方式一樣，圖像視覺(jué)的處理過(guò)程也基本按照這一過(guò)程實(shí)現(xiàn)，包括收集光源的鏡頭、將光信號(hào)轉(zhuǎn)化為電信號(hào)的圖像傳感器、對(duì)圖像電信號(hào)進(jìn)行數(shù)字處理的ISP芯片以及現(xiàn)在能對(duì)圖像進(jìn)行進(jìn)行分析識(shí)別的當(dāng)紅辣子雞的AI芯片。

在我們每一天拿起手機(jī)隨手拍照、攝像的過(guò)程中，這些不起眼的設(shè)備都在進(jìn)行著每秒數(shù)以億次的龐大計(jì)算，才能讓我們擁有五光十色的拍攝效果。

在圖像技術(shù)一直逼近甚至挑戰(zhàn)人類的視覺(jué)能力極限的過(guò)程中，ISP芯片發(fā)揮著至關(guān)重要的作用。本文我們主要關(guān)心下ISP的技術(shù)邏輯、ISP技術(shù)產(chǎn)業(yè)現(xiàn)狀和發(fā)展趨勢(shì)。

光的美顏師：ISP的運(yùn)行邏輯

ISP，即“Image Signal Processor”（圖像信號(hào)處理器）的縮寫，是用來(lái)對(duì)前端圖像傳感器輸出信號(hào)進(jìn)行處理的單元。通俗來(lái)理解就是，ISP 所要做到的就是將“數(shù)字眼睛”的視力水平提高到“人類眼睛”的水平，讓人眼看到數(shù)字圖像時(shí)的效果盡可能接近人眼看到實(shí)景時(shí)的效果。

一個(gè)ISP其實(shí)是一個(gè)SoC核心，內(nèi)部包含CPU、SUP IP、IF 等單元，可以運(yùn)行各種算法程序，實(shí)時(shí)處理圖像信號(hào)。ISP的控制結(jié)構(gòu)由ISP邏輯和運(yùn)行在上面的Firmware兩個(gè)部分組成，邏輯單元除了完成一部分算法處理外，還可以統(tǒng)計(jì)出當(dāng)前圖像的實(shí)時(shí)信息。Firmware 通過(guò)獲取ISP 邏輯的圖像統(tǒng)計(jì)信息進(jìn)行重新計(jì)算，反饋控制Lens、Sensor和ISP邏輯，以達(dá)到自動(dòng)調(diào)節(jié)圖像質(zhì)量的目的。

（圖源：CSDN《ISP圖像信號(hào)處理算法概述》，下同）

根據(jù)專業(yè)人士的介紹，ISP的具體處理流程是這樣：Lens 將光信號(hào)投射到sensor 的感光區(qū)域后，sensor經(jīng)過(guò)光電轉(zhuǎn)換，將Bayer 格式的原始圖像送給ISP，ISP經(jīng)過(guò)算法處理，輸出RGB空間域的圖像給后端的視頻采集單元。在這一過(guò)程中，ISP通過(guò)運(yùn)行在其上的Firmware固件對(duì)ISP邏輯，從而對(duì)Lens 和sensor進(jìn)行相應(yīng)控制，進(jìn)而完成自動(dòng)光圈、自動(dòng)曝光、自動(dòng)白平衡等功能。其中，F(xiàn)irmware的運(yùn)轉(zhuǎn)靠視頻采集單元的中斷驅(qū)動(dòng)。PQ Tools工具通過(guò)網(wǎng)口或者串口完成對(duì)ISP 的在線圖像質(zhì)量調(diào)節(jié)。

ISP的算法處理，可以對(duì)Bayer圖像進(jìn)行黑電平補(bǔ)償 （black level compensation）、鏡頭矯正（lens shading correction）、壞像素矯正（bad pixel correction）、顏色插值、Bayer 噪聲去除、 白平衡（AWB） 矯正、 色彩矯正（color correction）、gamma 矯正、色彩空間轉(zhuǎn)換（RGB 轉(zhuǎn)換為YUV）、在YUV 色彩空間上進(jìn)行彩噪去除與邊緣加強(qiáng)、色彩與對(duì)比度加強(qiáng)，中間還要進(jìn)行自動(dòng)曝光控制等，然后輸出YUV或者RGB格式的數(shù)據(jù)， 再通過(guò)I/O接口傳輸?shù)紺PU中處理，進(jìn)行圖像的存儲(chǔ)和顯示。

用我們拍照時(shí)常說(shuō)到，就是圖片的銳化、降噪、優(yōu)化色彩等都是在ISP中處理完成的，而且ISP還肩負(fù)著實(shí)現(xiàn)相位、激光、反差等混合對(duì)焦運(yùn)算以及提供對(duì)多攝像頭支持等重任，是手機(jī)拍照中必不可少的關(guān)鍵一環(huán)。

最終我們看到，ISP芯片就像一個(gè)光的美顏師一樣，使得我們?cè)诎聪驴扉T的一剎那獲得如此多的畫質(zhì)調(diào)節(jié)和改善，也能在拍攝前主動(dòng)地選擇各種拍攝場(chǎng)景模式，進(jìn)行各種拍攝參數(shù)的微調(diào)，讓每個(gè)人都能成為影像大師。

成為移動(dòng)終端圖像處理核心：ISP的產(chǎn)業(yè)躍遷

ISP的出現(xiàn)是和人類對(duì)拍攝圖像的高質(zhì)量要求密切相關(guān)的。

NASA對(duì)月球進(jìn)行勘探時(shí)，發(fā)現(xiàn)模擬相機(jī)在月球上拍攝的照片十分微弱不清，無(wú)法反映真實(shí)情況。此后美國(guó)發(fā)展出的CCD圖像傳感器解決了這一問(wèn)題，為了確保CCD拍攝的圖像能夠清晰和真實(shí)地顯示，就需要對(duì)CCD采集的圖像進(jìn)行處理，這樣ISP圖像信號(hào)處理器得以誕生。

隨著數(shù)碼相機(jī)和攝像機(jī)的廣泛應(yīng)用，ISP技術(shù)也得到了快速發(fā)展。在推進(jìn)高清視頻、圖像產(chǎn)品的過(guò)程中，ISP技術(shù)的創(chuàng)新發(fā)揮了巨大作用，ISP也從高清攝像機(jī)的輔助技術(shù)逐步演變?yōu)殛P(guān)鍵核心技術(shù)。一些高清監(jiān)控硬件廠商為進(jìn)一步提升畫質(zhì)，開(kāi)始將CCD傳感器替換為CMOS圖像傳感器，這樣就將ISP內(nèi)置到CMOS中，在節(jié)約空間的同時(shí)也降低了功耗。

因此，這一創(chuàng)新使得高清攝像機(jī)市場(chǎng)實(shí)現(xiàn)了從模擬到數(shù)字信號(hào)的升級(jí)。一般來(lái)說(shuō)，不同的ISP匹配不同廠商的CMOS圖像傳感器，大部分內(nèi)置ISP功能的視頻芯片對(duì)CMOS芯片的支持都比較完善，可以直接對(duì)接各主要廠商的主要產(chǎn)品，使得攝像機(jī)體積更小、產(chǎn)品形態(tài)更多，不僅推動(dòng)在高清攝像機(jī)上高清SoC芯片的研發(fā)，也讓CMOS和ISP的組合在移動(dòng)智能設(shè)備中廣泛普及。

現(xiàn)在，每一款配備攝像頭的移動(dòng)設(shè)備都搭載了ISP芯片。不過(guò)對(duì)于很多國(guó)內(nèi)智能手機(jī)廠商而言，他們通常會(huì)宣傳自己的產(chǎn)品采用了索尼的CMOS圖像傳感器，甚至給出這一感光元件的具體型號(hào)，還給出一個(gè)多鏡頭陣列的分解圖。但是消費(fèi)者在拿到手之后，用它拍攝出來(lái)的照片并不能如預(yù)期的那么好，其中一個(gè)很大的原因就是ISP，就在于這些廠商雖然拿到了高品質(zhì)的光學(xué)和感光元件，但是ISP沒(méi)有能夠跟上。

現(xiàn)在，主要的智能移動(dòng)設(shè)備的芯片廠商、IP提供商以及智能手機(jī)制造商都在推出自己的ISP芯片，但是ISP仍然存在著較大的技術(shù)壁壘。

首先，ISP中大量模塊的算法是相互影響的，其眾多算法需要諸多的調(diào)校工作在其中，這需要大量而長(zhǎng)期的經(jīng)驗(yàn)積累。

其次，作為商用的ISP，需要眾多的新功能模塊，比如X-talk串?dāng)_，VSM等模塊的加入，這也增加了ISP的技術(shù)壁壘。

另外，ISP的技術(shù)需要長(zhǎng)期積累，需求少、學(xué)習(xí)周期長(zhǎng)，人才匱乏。因此ISP人才團(tuán)隊(duì)組建也是一個(gè)考驗(yàn)公司投入力度、技術(shù)積累的剛性條件。

這讓領(lǐng)先的ISP技術(shù)更容易被那些有先發(fā)優(yōu)勢(shì)、多年積累的芯片大廠和老牌制造商，比如蘋果、高通、三星、聯(lián)發(fā)科等大廠所掌握。

但越來(lái)越多的手機(jī)芯片廠商開(kāi)始自研ISP和算法，華為海思就是從麒麟950開(kāi)始集成自研的950芯片，使得華為P9開(kāi)始躋身主打攝影拍照手機(jī)的第一陣營(yíng)。

作為全球移動(dòng)CPU芯片核心IP提供商的ARM也在2018年推出了首款I(lǐng)SP芯片，最初是面向汽車設(shè)備的移動(dòng)影像處理，隨后又推出了兩款針對(duì)移動(dòng)終端和物聯(lián)網(wǎng)設(shè)備的ISP芯片全新ARM Mali-C52和Mali-C32。ARM的ISP在處理每一像素時(shí)會(huì)有超過(guò)25個(gè)步驟的處理，其中包括高動(dòng)態(tài)范圍(HDR)、降噪以及色彩管理的三個(gè)關(guān)鍵步驟對(duì)圖像輸出質(zhì)量起到了決定性的影響。

根據(jù)極術(shù)社區(qū)的消息，12月3日，安謀中國(guó)最新發(fā)布了“玲瓏”i3/i5 ISP處理器。這一安謀中國(guó)本土團(tuán)隊(duì)自主研發(fā)的首款產(chǎn)品，在降噪、清晰度和寬動(dòng)態(tài)等指標(biāo)上達(dá)到業(yè)界領(lǐng)先水平，具有高畫質(zhì)、低延時(shí)、可配置能力強(qiáng)、擴(kuò)展兼容性高等特點(diǎn)，可廣泛適用于安防監(jiān)控、AIoT 及智能汽車等領(lǐng)域的視頻、圖像處理工作，能夠滿足不同場(chǎng)景的多樣化數(shù)據(jù)處理需求。

我們注意到，在對(duì)這些ISP產(chǎn)品的梳理中，圖像信號(hào)處理和AI視覺(jué)處理正在協(xié)同發(fā)展，既要“可看”又要“看懂”的圖像處理，成為未來(lái)視覺(jué)設(shè)備發(fā)展的關(guān)鍵。

新機(jī)遇：視覺(jué)處理器與ISP芯片的共生共成

人工智能技術(shù)作為全新的技術(shù)變革要素進(jìn)入到成像產(chǎn)業(yè)領(lǐng)域，使得圖像的處理和計(jì)算迎來(lái)更多的挑戰(zhàn)，現(xiàn)在除了ISP芯片之外，還需要加入具有AI能力的視覺(jué)處理器（VP）芯片。

現(xiàn)在，ISP芯片處在低速穩(wěn)定的增長(zhǎng)階段，而VP芯片則呈現(xiàn)爆發(fā)式增長(zhǎng)。

根據(jù)Yole的一份市場(chǎng)統(tǒng)計(jì)，VP芯片從2018年至2024年期間的復(fù)合年增長(zhǎng)率（CAGR）高達(dá)18%，預(yù)計(jì)2024年將達(dá)到145億美元規(guī)模。同時(shí)，ISP芯片保持低速穩(wěn)定增長(zhǎng)態(tài)勢(shì)，2018年至2024年期間的復(fù)合年增長(zhǎng)率僅為3%，預(yù)計(jì)2024年將達(dá)到42億美元規(guī)模。

現(xiàn)在，我們攜帶的移動(dòng)智能設(shè)備和IoT設(shè)備中，對(duì)于圖像的處理和計(jì)算，不僅僅要實(shí)現(xiàn)“查看”的功能，看要實(shí)現(xiàn)“分析”的功能，因此，圖像硬件廠商越來(lái)越多的要在硬件系統(tǒng)中加入支持人工智能算法特別是深度學(xué)習(xí)的軟件集成，從而讓圖像硬件系統(tǒng)超越“拍攝圖像”的限制，能夠?qū)崿F(xiàn)“分析圖像”的能力。

對(duì)于我們消費(fèi)者而言，最主要的感受就是智能手機(jī)的人臉識(shí)別以及現(xiàn)在一些手機(jī)攝像中具有的AI美顏以及拍照識(shí)物的功能。而在眾多智能視覺(jué)領(lǐng)域，VP+ISP的融合已經(jīng)掀起了一場(chǎng)全新的智能化變革。正如安謀中國(guó)最新的“玲瓏”ISP處理器的發(fā)布，未來(lái)可以適用于安防監(jiān)控、AIoT 及智能汽車等領(lǐng)域的視頻、圖像處理工作，滿足不同場(chǎng)景的數(shù)據(jù)處理需求。

因此，視覺(jué)處理器的爆發(fā)式發(fā)展，與ISP產(chǎn)業(yè)的發(fā)展是并行不悖的，因?yàn)橄胍獙?shí)現(xiàn)智能視覺(jué)，就必須考慮選擇適合的前端圖像處理方案。如果前端圖像處理的輸出非常糟糕時(shí)，那視覺(jué)處理系統(tǒng)的結(jié)果也會(huì)非常糟糕。

智能視覺(jué)系統(tǒng)必須要有可靠的輸入才能產(chǎn)生可靠的結(jié)果，這正是無(wú)法離開(kāi)一顆強(qiáng)大的ISP的根本原因。