從ISP到AISP，讓智能汽車看得見、看得清、看得遠(yuǎn)

電子發(fā)燒友網(wǎng)報(bào)道（文/吳子鵬）照度(Lux)是判斷光照場景的主要指標(biāo)，人眼能感受色彩低照度的極限為1Lux，市場上夜視相機(jī)的極限光照度基本在0.01Lux。不過，隨著智能化設(shè)備的普及，一些設(shè)備開始要求能夠在0.0005Lux，甚至是0.0001Lux這樣的超低照度場景下精準(zhǔn)地捕捉信息。這樣的應(yīng)用有很多，比如無人機(jī)航拍、森林防火、曠野安防，以及我們今天要重點(diǎn)談?wù)摰?a href="http://www.ttokpm.com/tags/自動駕駛/" target="_blank">自動駕駛場景，等等。

超低照度的應(yīng)用場景加重了ISP工作的負(fù)擔(dān)，甚至是已經(jīng)超出了傳統(tǒng)ISP的性能范圍，這便是AI ISP誕生的背景，安霸（Ambarella）則是將自己的AI圖像信號處理器稱為AISP。安霸針對AISP技術(shù)有哪些創(chuàng)新的解決方案，安霸半導(dǎo)體圖像算法總監(jiān)路遙接下來給大家?guī)愍?dú)到的見解。

高度靈活的可編程流水線設(shè)計(jì)

ISP的主要作用是負(fù)責(zé)接收感光元件（Sensor）的原始信號數(shù)據(jù)，然后對這些數(shù)據(jù)進(jìn)行線性糾正、噪聲去除、壞點(diǎn)去除、內(nèi)插、白平衡等后期處理，因此能夠很好地還原現(xiàn)場細(xì)節(jié)，提升成像質(zhì)量。

在ISP中，整個pipeline有不同的模塊負(fù)責(zé)不同的功能。AI ISP的理念則是通過神經(jīng)網(wǎng)絡(luò)來實(shí)現(xiàn)ISP的部分功能或者全部功能。因此不難看出，AI ISP對ISP整個工作流程進(jìn)行了全面的革新，也能成為AI ISP產(chǎn)品的創(chuàng)新點(diǎn)。

作為專注 AI 視覺感知的半導(dǎo)體公司，安霸一直是傳統(tǒng)ISP技術(shù)的領(lǐng)先者，在傳統(tǒng)ISP的設(shè)計(jì)與迭代中，安霸積累了大量的原始數(shù)據(jù)，包括了圖像處理的困難場景和容易出錯的極端情況等?！暗靡嬗谶@個龐大且完整的數(shù)據(jù)集，我們完整地訓(xùn)練了安霸的AISP，使之可以適應(yīng)各種使用場景。另外，我們計(jì)劃提供云端的訓(xùn)練模型，讓我們的客戶可以重新訓(xùn)練AISP。”路遙在接受電子發(fā)燒友網(wǎng)采訪時講到。

當(dāng)然，雖然都叫AI ISP算法，不過各廠商之間的實(shí)現(xiàn)方式還是有明顯的區(qū)別的。安霸也是有自己的IP 的ISP流水線，這個流水線具有高度可編程特性，并且以其優(yōu)異畫質(zhì)和高度靈活的特性而著稱。

我們都知道，讓AI ISP能夠發(fā)揮作用的重要部件是NPU，這個元件在ISP芯片內(nèi)部幫助進(jìn)行AI分析。在安霸的AISP方案里，無論是單芯片還是集成到安霸SoC，均有AI 硬件加速引擎CVflow（安霸的NPU）和算法協(xié)同工作，以極低功耗提供了強(qiáng)大的前端設(shè)備的AI算力，給AISP提供了堅(jiān)實(shí)的算力基礎(chǔ)。

AI算法和NPU的結(jié)合，便是AI ISP發(fā)揮威力的核心環(huán)節(jié)。路遙指出：“通過安霸自有IP 的ISP流水線和AI 硬件加速引擎CVflow的協(xié)同，安霸的AISP極大提升了暗光畫質(zhì)，遠(yuǎn)遠(yuǎn)超過傳統(tǒng)的ISP畫質(zhì)，將暗光全彩產(chǎn)品的標(biāo)準(zhǔn)提升到了一個新的高度。使用這種設(shè)計(jì)，我們可以靈活地控制AISP的融合輸出，以滿足客戶的各種需求?！?br />
在硬件設(shè)計(jì)上，根據(jù)電子發(fā)燒友網(wǎng)的了解，安霸芯片針對邊緣端SoC精心設(shè)計(jì)了硬件架構(gòu)，以確保在不犧牲性能的前提下，盡可能降低功耗和芯片面積，并且安霸一直追求最先進(jìn)的芯片制程，而采用先進(jìn)的制程技術(shù)可以提高性能，減小芯片面積，并在一定程度上降低功耗。在芯片內(nèi)部，圖像處理和AI算法的實(shí)現(xiàn)經(jīng)過高度優(yōu)化，以在保持高性能的同時降低功耗和芯片面積。

AISP為自動駕駛賦能

ISP是攝像頭和各類應(yīng)用之間的橋梁，而我們都知道，攝像頭是目前實(shí)現(xiàn)智能駕駛，未來實(shí)現(xiàn)自動駕駛不可或缺的一類傳感器。在車輛行駛的過程中，光照條件千變?nèi)f化，像進(jìn)出隧道、地庫，以及曠野夜晚駕駛等場景，亮暗比例遠(yuǎn)遠(yuǎn)超過目前絕大部分?jǐn)z像頭單次曝光可以覆蓋的動態(tài)范圍，也存在很多超低照度的場景，如何讓汽車在各種光照條件下看得見、看得清、看得遠(yuǎn)，是產(chǎn)業(yè)共同努力的方向。

從部署來看，在車用場景里，ISP和AI ISP并不是非此即彼的，而是要基于場景和成本進(jìn)行綜合考慮，但引入AI ISP無疑會讓智能駕駛的汽車更安全。在安霸看來，消費(fèi)類和車規(guī)級應(yīng)用有明顯的不同：
消費(fèi)級應(yīng)用更關(guān)注AISP的低功耗設(shè)計(jì)，以確保系統(tǒng)的高效運(yùn)行并最小化對電池的需求。
而在汽車領(lǐng)域，則對于硬件的穩(wěn)定性和可靠性有著極高的要求。因?yàn)槠囋诟鞣N極端環(huán)境和條件下運(yùn)行，需要能夠穩(wěn)定可靠地處理圖像數(shù)據(jù)，確保車輛的安全性能。車規(guī)級應(yīng)用對于實(shí)時性的要求更加苛刻。例如，車輛的感知系統(tǒng)需要及時準(zhǔn)確地處理圖像數(shù)據(jù)，以支持車輛的實(shí)時決策和操作。最重要的是，安霸的AISP將傳統(tǒng)圖像處理與AI處理實(shí)時融合，防止AI產(chǎn)生虛假感知，避免后端算法產(chǎn)生不準(zhǔn)確的分析和決策，這對于確保安全性至關(guān)重要。

針對車端應(yīng)用，電子發(fā)燒友網(wǎng)記者專門和路遙請教了兩個典型場景的AISP應(yīng)用，其一是超低照度這一使用場景，其二是CMS這一方案場景。

-超低照度場景

就像我們上述提到的，在地庫和夜晚，汽車必然會遇到低照度，甚至是超低照度的駕駛場景，這是非?？简?yàn)攝像頭系統(tǒng)捕捉信息的能力的。針對這些場景，很多車輛已經(jīng)開始配備一種殺手锏級的硬件——黑光全彩攝像頭。

路遙表示：“夜間低光場景一直是傳統(tǒng)ISP的痛點(diǎn)，也給后端的AI視覺算法帶來了巨大的麻煩。安霸的AISP極大地提升了低光圖像的信噪比，使得圖像細(xì)節(jié)清晰，物體的邊緣和紋理更加銳利，不受到噪聲的干擾。同樣的，AISP產(chǎn)生的高信噪比的圖像使顏色的還原更為準(zhǔn)確，不受到噪聲引起的顏色偏移的影響，讓真正的全彩夜視可以服務(wù)于人類視覺和機(jī)器視覺?！?br />
-CMS方案設(shè)計(jì)

2023年7月1日，國內(nèi)允許乘用車使用CMS的法規(guī)－國家標(biāo)準(zhǔn)GB15084-2022《機(jī)動車輛間接視野裝置性能和安裝要求》正式開始實(shí)施，產(chǎn)業(yè)正式進(jìn)入落地元年。

路遙認(rèn)為，CMS是一個典型的AISP服務(wù)于人類視覺的使用案例。安霸的AISP可以靈活的自適應(yīng)場景，針對不同工況輸出AISP的融合圖像，讓用戶可以觀察到周圍環(huán)境的真實(shí)還原，在雨雪大霧或是黑夜中，AISP的輸出質(zhì)量更是遠(yuǎn)超物理鏡，從而保障用戶的安全行駛。

“安霸的AISP是基于自己的車規(guī)級SoC和成熟的SDK而設(shè)計(jì)，我們的硬件和軟件架構(gòu)設(shè)計(jì)涵蓋了安全性，包括硬件防護(hù)措施，如硬件監(jiān)測和錯誤糾正，以及軟件層面的安全設(shè)計(jì)，如安全啟動過程和安全通信協(xié)議，并具備對可能的故障進(jìn)行適當(dāng)?shù)奶幚砗突謴?fù)機(jī)制?！甭愤b在溝通中提到。

在產(chǎn)品方面他說到，安霸的傳統(tǒng)ISP提供了讓客戶信服的優(yōu)異圖像質(zhì)量，成熟的軟硬件設(shè)計(jì)更是可以幫助客戶快速量產(chǎn)，所以安霸的方案在CMS供應(yīng)商中已經(jīng)占據(jù)了主導(dǎo)位置， 有兩款配置CMS的車型已經(jīng)量產(chǎn)并又獲得多款主機(jī)廠車型的定點(diǎn)。而AISP，是安霸對傳統(tǒng)ISP的一次重要升級，從而進(jìn)一步拉大了與競爭對手的領(lǐng)先優(yōu)勢。隨著CMS國標(biāo)的發(fā)布，標(biāo)志著中國對CMS這個新生事物的認(rèn)可與推廣，安霸會繼續(xù)在CMS的產(chǎn)業(yè)升級和技術(shù)創(chuàng)新中推陳出新，用最新一代的AISP去將CMS的畫質(zhì)推到更高的高度。

結(jié)語

AI ISP的出現(xiàn)，解決了現(xiàn)實(shí)需求中的設(shè)備如何在復(fù)雜光照中看得見、看得清、看得遠(yuǎn)的痛點(diǎn)，安霸通過高度可編程的流水線設(shè)計(jì)，配合AI 硬件加速引擎CVflow，讓安霸AISP擁有領(lǐng)先行業(yè)的性能。

在汽車智能駕駛領(lǐng)域，安霸AISP這種性能領(lǐng)先優(yōu)勢更是格外被看重，已經(jīng)開始規(guī)模性落地?！案兄K是智駕的眼睛，只有擁有最佳的視力，才能在各種挑戰(zhàn)性工況下給智駕算法提供優(yōu)質(zhì)的感知信息，輔助智駕做出最佳決策。優(yōu)秀的ISP就是感知模塊的核心組件，而AISP更是可以將感知模塊的能力提升到極致，所以說在AISP的處理下，感知模塊可以遠(yuǎn)超人類視覺，從而使智駕算法更加強(qiáng)大。未來，安霸將持續(xù)提供更高算力的算力平臺，而AISP的性能和能力也會持續(xù)進(jìn)化，我們會通過AISP來幫助解決目前視覺感知中的一系列痛點(diǎn)，從而幫助感知算法走向新的高度?！甭愤b最后說。