圖像信號(hào)處理ISP有哪些產(chǎn)品趨勢(shì)？

國(guó)內(nèi)手機(jī)廠商在高端化進(jìn)程中，自研芯片不是新鮮事，從小米澎湃C系列、vivo芯片V系列，到OPPO曾經(jīng)發(fā)布的專用NPU芯片MariSilicon X，這些自研芯片均與圖像信號(hào)處理（ISP）相關(guān)，涉及使用算法實(shí)現(xiàn)校正失真、消除噪聲、調(diào)整亮度和對(duì)比度等圖像視頻增強(qiáng)功能。

國(guó)內(nèi)手機(jī)廠商自研芯片以影像芯片為切入點(diǎn)，源于ISP影像核心技術(shù)和系統(tǒng)定制能力相對(duì)容易掌握，有助于實(shí)現(xiàn)產(chǎn)品差異。

然而，芯片的功能越來(lái)越密集，設(shè)計(jì)集成度提升，ISP作為功能模塊被集成到SoC芯片中變得更加常見(jiàn)，也就出現(xiàn)了不同的ISP產(chǎn)品形態(tài)。

ISP產(chǎn)品形態(tài)多樣化傳統(tǒng)ISP通常為獨(dú)立芯片，代表廠商為富瀚微；CMOS圖像傳感器（CIS）通常集成ISP，比如思特威的產(chǎn)品主要是集成ISP的CIS，豪威科技（OmniVision）具有更豐富產(chǎn)品組合，布局“ISP芯片+集成ISP的CIS”；NXP、Nextchip在ISP方面的產(chǎn)品形態(tài)主要為“ISP芯片+集成ISP的自動(dòng)駕駛SoC”；面向汽車市場(chǎng)，Mobileye、NVIDIA、黑芝麻智能等廠商也推出了集成ISP的自動(dòng)駕駛芯片。

獨(dú)立ISP芯片性能強(qiáng)、成本高；集成式ISP成本低、面積小、處理能力不及獨(dú)立芯片?？傮w來(lái)說(shuō)，推動(dòng)集成ISP的主要是CIS廠商；汽車主控SoC供應(yīng)商也開始在其產(chǎn)品中集成ISP，可降低攝像頭硬件成本和尺寸，解決高像素?cái)z像頭散熱問(wèn)題。

圖注：全球ISP相關(guān)廠商（來(lái)源：芯查查）

圖注：三種ISP方案人工智能與ISP融合ISP的技術(shù)進(jìn)步之一是運(yùn)用AI增強(qiáng)圖像和視頻質(zhì)量，AI ISP芯片應(yīng)運(yùn)而生。

AI提升消費(fèi)電子中的ISP水平，常見(jiàn)的作用是在弱光條件下降低圖像噪聲、提高圖像清晰度；識(shí)別圖像中的各種場(chǎng)景或物體，實(shí)現(xiàn)相應(yīng)的控制功能。

在自動(dòng)駕駛汽車領(lǐng)域，AI ISP處理實(shí)時(shí)圖像，準(zhǔn)確識(shí)別汽車周圍環(huán)境，輔助駕駛決策。AI主要克服傳統(tǒng)ISP在照明條件不佳、或者高速移動(dòng)情況下的成像問(wèn)題，增強(qiáng)汽車對(duì)潛在危險(xiǎn)做出反應(yīng)的能力，提高行車和道路安全。

在安防領(lǐng)域，AI ISP更有效地處理閉路電視圖像，幫助檢測(cè)可疑活動(dòng)、識(shí)別人臉或識(shí)別無(wú)人看管的物件，提供實(shí)時(shí)警報(bào)和增強(qiáng)整體安全措施。

ISP汽車前裝市場(chǎng)受益于自動(dòng)駕駛和ADAS自動(dòng)駕駛和ADAS興起，實(shí)時(shí)圖像處理至關(guān)重要，要求ISP近乎實(shí)時(shí)地執(zhí)行對(duì)象跟蹤、運(yùn)動(dòng)估計(jì)和深度感知等復(fù)雜任務(wù)。同時(shí)，車載攝像頭數(shù)量不斷增加，攝像頭不僅被用于自動(dòng)駕駛和ADAS，還被用于駕駛員監(jiān)控系統(tǒng)和整體態(tài)勢(shì)感知，因此需要能夠同時(shí)處理多個(gè)視頻流的復(fù)雜ISP。應(yīng)用場(chǎng)景和設(shè)計(jì)要求的變化對(duì)ISP提出了更高的要求。

圖注：汽車使用攝像頭數(shù)量

在汽車前裝市場(chǎng)上，ISP用于駕駛輔助系統(tǒng)和車載娛樂(lè)系統(tǒng)。在駕駛輔助系統(tǒng)中，ISP芯片實(shí)現(xiàn)高清晰度的攝像頭圖像處理，對(duì)自動(dòng)緊急制動(dòng)、盲點(diǎn)監(jiān)測(cè)、車道保持輔助等至關(guān)重要。汽車廠商越來(lái)越多地在車載娛樂(lè)系統(tǒng)中使用高清晰度顯示屏和多媒體功能，推動(dòng)ISP的單車使用數(shù)量。

在汽車后裝市場(chǎng)上，ISP應(yīng)用相對(duì)較少，因?yàn)槟壳跋M(fèi)者對(duì)于后裝ISP需求相對(duì)較低，汽車后裝市場(chǎng)規(guī)模較小。但是隨著安全意識(shí)高漲，對(duì)駕駛輔助和安全監(jiān)控功能需求增加，后裝市場(chǎng)潛力也在逐漸釋放。

部分國(guó)內(nèi)ISP廠商根據(jù)芯查查產(chǎn)業(yè)鏈地圖顯示，ISP主要品牌包括PIXELPLUS、富瀚微、德州儀器、ADI、意法半導(dǎo)體等，其中國(guó)內(nèi)廠商富瀚微產(chǎn)品比較豐富，包含數(shù)款車規(guī)級(jí)產(chǎn)品。根據(jù)公開資料，下文介紹3家ISP國(guó)內(nèi)廠商的產(chǎn)品，僅供參考。

1、富瀚微

富瀚微產(chǎn)品包括安防視頻監(jiān)控多媒體處理芯片、數(shù)字接口模塊，包括ISP芯片、IPC SoC芯片、DVR SoC芯片和數(shù)字接口模塊。富瀚微的ISP產(chǎn)品已演進(jìn)到第7代，在圖像增強(qiáng)、降噪、寬動(dòng)態(tài)、色彩還原、低照度等方面產(chǎn)品表現(xiàn)較好。

圖注：富瀚微ISP部分產(chǎn)品（來(lái)源：芯查查）

富瀚微2023下半年車規(guī)級(jí)ISP隨著設(shè)計(jì)導(dǎo)入結(jié)束，預(yù)計(jì)會(huì)貢獻(xiàn)營(yíng)收。此外，富瀚微半年報(bào)顯示，2023年上半年?duì)I業(yè)收入88,352.30萬(wàn)元，同比下降24.09%；實(shí)現(xiàn)歸屬于上市公司股東的凈利潤(rùn)12,848.64萬(wàn)元，同比下降46.96%。其中，第二季度，公司實(shí)現(xiàn)營(yíng)業(yè)收入46,783.07萬(wàn)元，環(huán)比一季度上升12.54%，實(shí)現(xiàn)歸屬于上市公司股東的凈利潤(rùn)6,998.43萬(wàn)元，環(huán)比一季度上升19.63%；營(yíng)收和利潤(rùn)均開始環(huán)比上升。

報(bào)告期內(nèi)，公司研發(fā)投入14,722.08萬(wàn)元，占營(yíng)業(yè)收入比例16.66%。主要投向高性能人工智能邊緣計(jì)算系列芯片項(xiàng)目、車用圖像信號(hào)處理及傳輸鏈路芯片組、高性能視覺(jué)處理SoC項(xiàng)目、新一代系統(tǒng)平臺(tái)項(xiàng)目、多標(biāo)準(zhǔn)視頻編解碼器項(xiàng)目的開發(fā)，以及新技術(shù)的預(yù)研、研發(fā)人力等。截至2023年6月30日，公司有研發(fā)人員407人，占公司員工總數(shù)的84%，碩士及以上學(xué)歷201人，占研發(fā)人員比例49%，本科學(xué)歷203人，占研發(fā)人員比例50%。

2、芯原微電子

芯原微電子（下文稱芯原）是一家提供芯片定制服務(wù)和半導(dǎo)體IP授權(quán)服務(wù)的企業(yè)，推出一系列AI-ISP、AI-GPU。芯原AI-ISP利用人工智能技術(shù)解決了傳統(tǒng)ISP面臨的挑戰(zhàn)，比如低光、降噪、去馬賽克、HDR和快速準(zhǔn)確的自動(dòng)對(duì)焦。

芯原的“FLEXA”技術(shù)將AI引擎與ISP IP相結(jié)合，實(shí)現(xiàn)增強(qiáng)功能的同時(shí)在ISP和AI引擎之間不引入額外幀緩沖延時(shí)和DDR帶寬。芯原AI ISP技術(shù)可幫助客戶在智能手機(jī)、安防攝像頭、汽車等產(chǎn)品和應(yīng)用領(lǐng)域?qū)崿F(xiàn)低功耗AI降噪。

圖注：芯原正在研究的ISP相關(guān)項(xiàng)目（來(lái)源:芯原）

在圖像信號(hào)處理器技術(shù)上，芯原的關(guān)鍵技術(shù)包括ISP高動(dòng)態(tài)范圍處理、去鏡頭陰影、去壞點(diǎn)、時(shí)域和空域去噪聲、彩色噪聲抑制、動(dòng)態(tài)范圍壓縮、去馬賽克插值、伽馬校正、對(duì)比度增強(qiáng)、邊緣增強(qiáng)、色彩校正、圖像縮放、自動(dòng)曝光、自動(dòng)白平衡、自動(dòng)對(duì)焦、與傳感器系統(tǒng)交互以及標(biāo)定，調(diào)試軟件工具開發(fā)。

芯原圖像信號(hào)處理器產(chǎn)品線包括ISP8000Pico、ISP8000Nano、ISP8000L、ISP8000、ISP8200L-FS、ISP8200-FS、DW100、DW200、DW200-FS等產(chǎn)品，可針對(duì)不同應(yīng)用市場(chǎng)優(yōu)化芯片面積和成本。

在車規(guī)級(jí)產(chǎn)品方面，芯原2021年推出ISO26262 ASIL-B級(jí)別汽車功能安全標(biāo)準(zhǔn)認(rèn)證的ISP8000L-FS版本；2022年6月再度獲得IEC 61508:2011SIL 2級(jí)工業(yè)功能安全標(biāo)準(zhǔn)認(rèn)證，以上證書均由功能安全咨詢公司ResilTech頒發(fā)。

此外，芯原研究并定義了新一代的ISP8200系列產(chǎn)品，單個(gè)ISP IP支持高達(dá)8顆攝像頭和2.0GPixel/s的高吞吐率像素計(jì)算，基于ISO26262開發(fā)流程并設(shè)計(jì)實(shí)現(xiàn)車規(guī)安全機(jī)制，可以滿足無(wú)人駕駛領(lǐng)域的應(yīng)用需求，在市場(chǎng)上具備較強(qiáng)的競(jìng)爭(zhēng)力。

3、國(guó)科微

國(guó)科微在ISP和視頻編解碼技術(shù)上形成深厚積累，其高清智能網(wǎng)絡(luò)攝像機(jī)SoC芯片集成嵌入式中央處理器、圖像信號(hào)處理模塊、視音頻編碼模塊、視頻智能算法處理模塊、安全加密模塊、網(wǎng)絡(luò)接口模塊、存儲(chǔ)模塊等，核心技術(shù)是ISP及編碼模塊。

國(guó)科微在ISP、編解碼、NPU等核心技術(shù)持續(xù)投入，新一代普惠型智能視頻編碼芯片已完成樣片驗(yàn)證以及客戶側(cè)導(dǎo)入，進(jìn)入批量推廣階段；該芯片集成輕量級(jí)邊緣算力加速引擎，將為市場(chǎng)提供更具性價(jià)比的智能解決方案。

圖注：國(guó)科微視頻編解碼芯片集成ISP技術(shù)（來(lái)源：國(guó)科微、國(guó)海證券）

上半年，國(guó)科微視頻解碼系列芯片產(chǎn)品實(shí)現(xiàn)銷售收入159,058.55萬(wàn)元，同比增長(zhǎng)49.13%，占公司上半年?duì)I業(yè)收入的62.60%。視頻解碼系列芯片產(chǎn)品主要有GK62系列、GK63系列、GK65系列、GK67系列以及GK68系列等，分別對(duì)應(yīng)高清機(jī)頂盒芯片、超高清4K機(jī)頂盒芯片、超高清8K機(jī)頂盒芯片、TV/商顯芯片和AR/VR處理芯片，產(chǎn)品具有高集成度、低功耗等特性，支持TVOS、國(guó)密、AVS等多項(xiàng)國(guó)產(chǎn)技術(shù)標(biāo)準(zhǔn)。

小 結(jié)ISP運(yùn)用領(lǐng)域很多，同樣具有潛力的應(yīng)用還包括：在虛擬現(xiàn)實(shí)（VR）和增強(qiáng)現(xiàn)實(shí)（AR）中，ISP用以生成逼真圖形并增強(qiáng)用戶體驗(yàn)；ISP在工業(yè)環(huán)境中檢查產(chǎn)品，檢測(cè)缺陷和分析生產(chǎn)過(guò)程，提高產(chǎn)品質(zhì)量并降低制造成本；ISP使機(jī)器人能夠感知周圍環(huán)境并與之互動(dòng)，推進(jìn)機(jī)器人技術(shù)并增加其在各個(gè)行業(yè)的采用；ISP可以幫助提高無(wú)人機(jī)攝像頭的圖像質(zhì)量和穩(wěn)定性，ISP還可以實(shí)現(xiàn)目標(biāo)跟蹤、地形建模等高級(jí)功能，為無(wú)人機(jī)應(yīng)用提供更多可能性。

ISP國(guó)產(chǎn)化已經(jīng)滲透許多細(xì)分領(lǐng)域，廠商關(guān)注產(chǎn)業(yè)鏈整合，與上游CIS、算法等相關(guān)廠商進(jìn)行合作，實(shí)現(xiàn)從硬件到軟件的全面掌握，將有助于提升產(chǎn)品競(jìng)爭(zhēng)力和市場(chǎng)占有率。

審核編輯 黃宇