如何迎接迎接車(chē)載圖像處理挑戰(zhàn)

ADAS及自動(dòng)駕駛的視覺(jué)感知競(jìng)爭(zhēng)正在進(jìn)入縱深階段，這其中，高像素?cái)z像頭已經(jīng)成為趨勢(shì)，而關(guān)乎圖像處理質(zhì)量的ISP已經(jīng)成為競(jìng)爭(zhēng)高地。

ISP的存在感越來(lái)越強(qiáng)，不只是在手機(jī)上，汽車(chē)市場(chǎng)的需求也已經(jīng)明確釋放。

ICV Tank數(shù)據(jù)顯示，2021年全球單車(chē)平均配置攝像頭數(shù)量為2.3顆，相比2020年的1.3顆大幅提高；預(yù)計(jì)到2026年，全球單車(chē)平均配置攝像頭數(shù)量將達(dá)3.8顆。全球汽車(chē)前裝攝像頭總量將從2021年的1.65億顆增長(zhǎng)至2026年的3.7億顆，年復(fù)合增長(zhǎng)率達(dá)16%。

早期的車(chē)載攝像頭常用于行車(chē)記錄、倒車(chē)影像、泊車(chē)環(huán)視等。隨著車(chē)載攝像頭在汽車(chē)領(lǐng)域的廣泛應(yīng)用，如今逐步延伸到智能座艙內(nèi)行為識(shí)別、ADAS輔助駕駛等。受益于車(chē)載攝像頭的快速增長(zhǎng)，或者說(shuō)，受益于汽車(chē)智能視覺(jué)的旺盛需求，ISP處理器在汽車(chē)應(yīng)用中有望持續(xù)增長(zhǎng)。

迎接車(chē)載圖像處理挑戰(zhàn)

ISP(Image Signal Processor)，即圖像信號(hào)處理器，作為車(chē)載攝像頭的重要組成部分，主要作用是對(duì)前端圖像傳感器CMOS輸出的信號(hào)進(jìn)行運(yùn)算處理。借助ISP，車(chē)載攝像頭才能看清楚細(xì)節(jié)和周?chē)h(huán)境，從而指導(dǎo)車(chē)輛做出下一步?jīng)Q策。也就是說(shuō)，ISP 所要做到的就是：將“數(shù)字眼睛”的視力提高到“人類(lèi)眼睛”的水平，使數(shù)字圖像的成像效果盡可能接近人眼看到的實(shí)景。

不過(guò)，現(xiàn)實(shí)環(huán)境中的圖像處理充滿了挑戰(zhàn)，典型挑戰(zhàn)主要存在于以下五大場(chǎng)景中：首先是夜間，低照度環(huán)境下視頻會(huì)有大量的噪點(diǎn)，顏色紋理出現(xiàn)失真；其次是強(qiáng)烈明暗反差情況下，比如逆光拍攝，容易導(dǎo)致細(xì)節(jié)缺失；第三是環(huán)境快速變化過(guò)程中，比如駛出隧道口的時(shí)候，曝光要不斷調(diào)整，容易出現(xiàn)盲區(qū)甚至安全隱患；第四是快速移動(dòng)造成的視頻抖動(dòng)；第五是惡劣天氣（比如雨、雪、霧）情況下的識(shí)別困難和可視距縮短的情況。

以上都是行車(chē)中常有的場(chǎng)景，但是給圖像處理帶來(lái)很大挑戰(zhàn)。

哪些途徑可以解決這些問(wèn)題？加大圖像傳感器的感面，或是加大鏡頭的充光量，固然可以從一定程度上進(jìn)行補(bǔ)償，但這也意味著成本的大幅增加。而ISP硬件和AI算法相結(jié)合的方案，可以通過(guò)算法進(jìn)行優(yōu)化，在確保成本的同時(shí)提升圖像處理的質(zhì)量。

獨(dú)立還是集成？

ISP三大派系的角力

從車(chē)載ISP方案當(dāng)前的設(shè)計(jì)來(lái)看，主要存在三種路線：獨(dú)立ISP、ISP集成于視覺(jué)處理器SoC、ISP與車(chē)規(guī)級(jí)CMOS圖像傳感器集成。

獨(dú)立ISP以富瀚微為代表，該公司方面稱(chēng)，高分辨率攝像頭是趨勢(shì)，獨(dú)立ISP的優(yōu)勢(shì)在于圖像效果是第一位的，同時(shí)可以配接不同的傳感器，方案靈活，能夠滿足用戶的差異化需求。

第二種方案是ISP被集成到視覺(jué)處理器SoC中，以英偉達(dá)Orin為例，內(nèi)置ISP每秒可處理64億像素；而特斯拉第一代FSD芯片，ISP每秒僅能處理10億像素。

國(guó)內(nèi)市場(chǎng)還有瑞芯微的車(chē)載AI視覺(jué)產(chǎn)品的RV1126/RV1109，內(nèi)置安防級(jí)ISP和新一代NPU，其安防級(jí)ISP內(nèi)置3F-HDR、3DNR、畸變校正(9ms@1080p)和去霧，圖像的優(yōu)化處理及傳輸小于30ms，在強(qiáng)光、逆光、弱光、黑光場(chǎng)景下圖像細(xì)膩清晰。

阿里達(dá)摩院也宣布了自研的ISP處理器。據(jù)其路測(cè)結(jié)果顯示，使用達(dá)摩院ISP處理器，車(chē)載攝像頭在夜間場(chǎng)景下，圖像物體檢測(cè)識(shí)別能力比業(yè)內(nèi)主流處理器有10%以上的大幅度提升，原本模糊不清的標(biāo)注物也得以清晰識(shí)別。

ISP集成到SoC中，意味著可以同時(shí)處理多個(gè)攝像頭數(shù)據(jù)，實(shí)現(xiàn)成本下降。并且，SoC集成ISP性能的不斷增強(qiáng)，尤其是支持多個(gè)攝像頭（高像素）輸入，就意味著無(wú)需再為每個(gè)攝像頭傳感器提供ISP，從而大幅降低感知硬件的成本。同時(shí)，單一ISP可以用于管理不同的傳感器和幀速率，適用于功能的不同場(chǎng)景。

第三種方案是ISP與車(chē)規(guī)級(jí)CMOS圖像傳感器集成。例如思特威的片上ISP二合一圖像傳感器，在減小車(chē)載SoC中心運(yùn)算負(fù)荷的同時(shí)，加快處理速度，強(qiáng)化汽車(chē)圖像處理效能。豪威科技與汽車(chē)視覺(jué)技術(shù)公司Nextchip開(kāi)發(fā)的聯(lián)合解決方案，為中低端汽車(chē)后視鏡攝像頭（RVC）、環(huán)視系統(tǒng)（SVC）和電子后視鏡提供高質(zhì)量圖像。

內(nèi)置ISP的二合一車(chē)規(guī)級(jí)CMOS圖像傳感器，具有延時(shí)低、擴(kuò)展兼容性高及可配置能力強(qiáng)等特點(diǎn)。通過(guò)結(jié)合圖像傳感器和專(zhuān)用ISP的能力，在中低端方案不增加系統(tǒng)配置的情況下，可以實(shí)現(xiàn)高質(zhì)量的圖像，降低設(shè)計(jì)復(fù)雜性。并且通過(guò)預(yù)先調(diào)參等優(yōu)化設(shè)計(jì)，也能夠?yàn)楹罄m(xù)設(shè)計(jì)節(jié)省調(diào)試時(shí)間。

以上三種方案基本是當(dāng)前車(chē)載ISP的主流方式，不過(guò)各有其優(yōu)缺點(diǎn)：集成的優(yōu)勢(shì)在于高度集成，布線面積更小，但I(xiàn)SP效果不算頂格；并且圖像傳感器+ISP的方式，隨著高像素、高畫(huà)質(zhì)的需求不斷提升，傳感器的尺寸會(huì)變大，散熱可能會(huì)成為問(wèn)題；獨(dú)立的ISP性能更優(yōu)秀，比如高動(dòng)態(tài)氛圍多級(jí)去噪處理、整體功耗更低等，但是對(duì)于下游設(shè)計(jì)有一定的技術(shù)門(mén)檻，只有足夠豐富的調(diào)優(yōu)經(jīng)驗(yàn)等，才能充分發(fā)揮其全部能力。

不同的技術(shù)路線，也催生了商業(yè)模式的創(chuàng)新。例如英偉達(dá)方面，就和中科創(chuàng)達(dá)進(jìn)行了Jetson和DRIVE的驅(qū)動(dòng)開(kāi)發(fā)和畫(huà)質(zhì)調(diào)優(yōu)（ISP Tuning）的合作，目前中科創(chuàng)達(dá)擁有英偉達(dá)專(zhuān)用實(shí)驗(yàn)室，以及基于DRIVE 和 Jetson 兩大平臺(tái)的專(zhuān)業(yè)驅(qū)動(dòng)、畫(huà)質(zhì)調(diào)優(yōu)、畫(huà)質(zhì)測(cè)試（IQ test）團(tuán)隊(duì)，為其生態(tài)伙伴提供全面系統(tǒng)的技術(shù)培訓(xùn)和跟蹤式問(wèn)題解答支持。

ISP IP的進(jìn)擊

車(chē)載ISP的增長(zhǎng)潛力，IP廠商早在六七年前就已看到。

2016年，Arm收購(gòu)了一家成像技術(shù)開(kāi)發(fā)商Apical，其中一個(gè)目標(biāo)應(yīng)用就是高端車(chē)載應(yīng)用領(lǐng)域的ADAS系統(tǒng)。當(dāng)時(shí)，計(jì)算機(jī)視覺(jué)還處于開(kāi)發(fā)早期階段，專(zhuān)用的圖像計(jì)算解決方案顯露出一定的增長(zhǎng)潛力。

收購(gòu)之后的第二年，Arm發(fā)布了旗下第一款I(lǐng)SP Mali-C71，專(zhuān)門(mén)面向ADAS。此后，Arm在該領(lǐng)域不斷投入。今年6月，Arm發(fā)布Mali-C55，這是 Arm 迄今為止面積最小且可配置性最高的 ISP 產(chǎn)品，它可以識(shí)別時(shí)速 75 英里 (約 120.7 公里) 速度下移動(dòng)的車(chē)輛車(chē)牌。Mali-C55 具備8個(gè)獨(dú)立輸入的多攝像頭功能，可支持高達(dá) 8K 的圖像分辨率和 4800 萬(wàn)像素的最大圖像尺寸，可通過(guò)多種功能實(shí)現(xiàn)較高的圖像質(zhì)量。同時(shí)，Mali-C55 的芯片面積僅為前幾代產(chǎn)品的近一半，并且可提供更強(qiáng)大的功能，大幅減少功耗并延長(zhǎng)電池續(xù)航時(shí)間，與此同時(shí)，還降低了這些設(shè)備的成本。

本土市場(chǎng)方面，安謀科技于2020年12月推出了自研的首款產(chǎn)品“玲瓏” i3/i5 ISP處理器。根據(jù)前期的市場(chǎng)反饋，“玲瓏”i3/i5 ISP 處理器在寬動(dòng)態(tài)處理效果和信噪比處理水平方面表現(xiàn)較好。依托數(shù)字寬動(dòng)態(tài)與融合寬動(dòng)態(tài)結(jié)合的算法技術(shù)，“玲瓏” i3/i5 ISP 處理器達(dá)到了像素級(jí)的局部寬動(dòng)態(tài)自適應(yīng)提升，并采用多尺度、多級(jí)降噪技術(shù)，以支持 2D/3D 自適應(yīng)降噪，達(dá)到更好的信噪比表現(xiàn)。

除了IP廠商，芯片廠商也在加碼自研ISP，目的是進(jìn)一步提升圖像效果，樹(shù)立品牌的差異化特點(diǎn)。比如酷芯微電子，在其AI視覺(jué)芯片中就采用了自研的ISP和NPU。其自主研發(fā)的ISP在2D降噪、3D降噪、HDR、去霧、EIS等各方面都進(jìn)行了優(yōu)化。

黑芝麻也推出了自研的車(chē)規(guī)級(jí)圖像處理器NeuralIQ ISP，可支持12路高清相機(jī)接入，單芯片每秒可處理15億像素圖像，可以支持多路攝像頭并行實(shí)時(shí)地處理。

車(chē)載ISP創(chuàng)新方向？

不論是獨(dú)立ISP，還是ISP集成于SoC或ISP+圖像傳感器，每種技術(shù)路線的廠商都在爭(zhēng)奪ISP的制高點(diǎn)。

有業(yè)內(nèi)人士認(rèn)為，ISP的增長(zhǎng)是確定的，更符合產(chǎn)業(yè)需求和用戶需求的ISP芯片，應(yīng)該具備三大特征：

從供應(yīng)鏈層面滿足需求，具有應(yīng)對(duì)不確定性的彈性，一方面要包含差異化的軟硬件基礎(chǔ)，另一方面要更注重本土自研的創(chuàng)新。

更高的性能。滿足自動(dòng)駕駛對(duì)圖像畫(huà)質(zhì)更高精度的需求，比如捕捉非常大的視覺(jué)動(dòng)態(tài)范圍，并且比人眼更精準(zhǔn)地識(shí)別暗處和明亮的圖像細(xì)節(jié)，以保證行車(chē)及路人的安全。

更低的功耗。耗電、發(fā)熱等問(wèn)題可能會(huì)影響整體部署成本和用戶體驗(yàn)，這就要求ISP的創(chuàng)新不能以能效為代價(jià)，要更好地滿足實(shí)現(xiàn)自動(dòng)駕駛過(guò)程中的現(xiàn)實(shí)需要。

寫(xiě)在最后

ADAS及自動(dòng)駕駛的視覺(jué)感知競(jìng)爭(zhēng)正在進(jìn)入縱深階段，這其中，高像素?cái)z像頭已經(jīng)成為趨勢(shì)，而關(guān)乎圖像處理質(zhì)量的ISP已經(jīng)成為競(jìng)爭(zhēng)高地。

由于攝像頭在智能化、分辨率、幀率等方面要求越來(lái)越高，智能攝像頭除了包含基本的CPU，更多地使用ISP和ML加速器將成為常態(tài)。性能強(qiáng)大的ISP處理器，將有助于提升自動(dòng)駕駛產(chǎn)業(yè)鏈的智能化水平。

基本可以判定的是，低端市場(chǎng)可能會(huì)沿用原有架構(gòu)的產(chǎn)品，但專(zhuān)用處理ISP和ML加速器可能會(huì)被越來(lái)越多地使用，因?yàn)橐獙?shí)現(xiàn)高效的系統(tǒng)設(shè)計(jì)，為數(shù)據(jù)類(lèi)型和處理匹配相應(yīng)的 ISP非常重要。

ISP對(duì)于汽車(chē)視覺(jué)具有重要意義，隨著技術(shù)的演進(jìn)，一些最新的 ADAS 應(yīng)用，都將對(duì)車(chē)載圖像處理提出更高要求，一方面是高質(zhì)量的圖像獲取，另一方面是對(duì)圖像的快速處理和分析，這就使得越來(lái)越多的 ADAS 芯片需要通過(guò)ISP對(duì)畫(huà)面進(jìn)行多重曝光處理、去噪與合成。而隨著每輛汽車(chē)攝像頭數(shù)量的增加以及傳感器融合技術(shù)變得越來(lái)越智能，功能強(qiáng)勁的ISP 將會(huì)變得越來(lái)越重要。

編輯：黃飛

?