自研ISP芯片背后：手機(jī)廠商的目光在影像之外

互聯(lián)網(wǎng)界最熱鬧的大會(huì)——世界互聯(lián)網(wǎng)大會(huì)在今天開幕，想要了解整個(gè)互聯(lián)網(wǎng)最新的變化和趨勢(shì)，大家伙這幾天可別錯(cuò)過了。今天比較值得看的環(huán)節(jié)之一就是“全球科技成果發(fā)展風(fēng)向標(biāo)”的年度領(lǐng)先科技成果獎(jiǎng)?lì)C布，這些獎(jiǎng)項(xiàng)基本上是本年度最能代表前沿優(yōu)質(zhì)技術(shù)成果的展現(xiàn)。本次評(píng)選是從全球多個(gè)國家的300余項(xiàng)成果中挑選，涉及5G、量子計(jì)算、高端芯片、高性能計(jì)算機(jī)、網(wǎng)絡(luò)架構(gòu)等多個(gè)領(lǐng)域，最終選出14項(xiàng)領(lǐng)先的互聯(lián)網(wǎng)科技成果。

筆者注意到今年有個(gè)“全球首個(gè)開源神經(jīng)網(wǎng)絡(luò)處理器指令集架構(gòu)（NPU ISA）”的成果獲得殊榮。在半導(dǎo)體領(lǐng)域內(nèi)，安謀科技作為行業(yè)領(lǐng)頭羊之一是媒體和行業(yè)關(guān)注的重點(diǎn)對(duì)象，憑借在智能計(jì)算芯片行業(yè)的創(chuàng)新，與合作伙伴推出全球首個(gè)開源神經(jīng)網(wǎng)絡(luò)處理器指令集架構(gòu)（NPU ISA），再次摘得“世界互聯(lián)網(wǎng)領(lǐng)先科技成果”獎(jiǎng)。該NPU ISA在中國首發(fā)、全球開源，是人工智能領(lǐng)域第一個(gè)開放的ISA，可以向AIoT、自動(dòng)駕駛、智能制造等應(yīng)用場景提供可定制化的智能計(jì)算芯片。

看完互聯(lián)網(wǎng)大會(huì)的頒獎(jiǎng)內(nèi)容，回到半導(dǎo)體領(lǐng)域的學(xué)習(xí)中，對(duì)于時(shí)刻需要關(guān)注前沿科技信息的碼字工來說，必須要有幾個(gè)好一點(diǎn)的優(yōu)質(zhì)信源，極術(shù)社區(qū)是我們碼字工最常逛的科技社區(qū)之一了。在里面瀏覽一番半導(dǎo)體的信息，總會(huì)get到新知，收獲一些靈感，在社區(qū)人工智能板塊有XPU、NPU、AI芯片、ISP等多種芯片分類內(nèi)容，受到ISP分區(qū)內(nèi)容的啟發(fā)，今天就先從ISP芯片聊起。

讀者朋友們可以發(fā)現(xiàn)，近日國內(nèi)好幾個(gè)一線手機(jī)廠商發(fā)布的新品手機(jī)比如小米和ov，其中拍攝功能宣傳的要點(diǎn)中都提及了搭載自家設(shè)計(jì)的ISP芯片，此前很多廠商都是以購買第三方高通、聯(lián)發(fā)科等廠商芯片為主，現(xiàn)在國內(nèi)一線廠商都開始走自研之路。是什么原因驅(qū)動(dòng)一線手機(jī)廠商紛紛自研？做ISP是廠商選擇自研SoC的開始嗎？ISP芯片目前市場的競爭態(tài)勢(shì)和未來趨勢(shì)是什么樣式？這是本文想要討論回答的核心。

自研ISP考量的價(jià)值

ISP（Image Signal Processor，圖像處理器）是手機(jī)芯片系統(tǒng)中的重要組成部分，負(fù)責(zé)圖像處理部分。ISP芯片一直是作為SoC芯片內(nèi)置的模塊存在，與CPU、GPU等單元集成在系統(tǒng)里一起出售，基本上可以滿足大部分場景使用。隨著消費(fèi)者的需求變更與廠家差異化打法的變化，很多廠商發(fā)現(xiàn)將ISP作為獨(dú)立單元進(jìn)行圖像的處理，可以實(shí)現(xiàn)自主可控。

此前大家都在高通和聯(lián)發(fā)科這些芯片廠商制定的參數(shù)規(guī)則里面游走，只能在集成的ISP模塊特性進(jìn)行適配和調(diào)整，此外ISP性能也受芯片整體升級(jí)規(guī)律的限制，更新的頻率不高，影像性能的參數(shù)在同一個(gè)框架下的結(jié)果就是其手機(jī)影像變化和功能日趨同質(zhì)化。

對(duì)于消費(fèi)者來說，除了在屏幕、快充以及整機(jī)性能外，影像功能可謂是選擇手機(jī)的重要影響因素之一。在硬件和算法沒有什么大的進(jìn)步情況下，在ISP影像方面上面進(jìn)行手機(jī)影像性能的提升和創(chuàng)意是廠商們一致的想法。舉例來說，想要提升手機(jī)照片的成像質(zhì)量，搭載安謀科技中國本土團(tuán)隊(duì)自研的“玲瓏” i3/i5 ISP芯片，就可以在一些極端場景比如逆光、暗室等寬動(dòng)態(tài)環(huán)境，對(duì)明暗區(qū)域進(jìn)行很好地記錄，從而在寬動(dòng)態(tài)范圍、低光降噪等方面最終獲得不錯(cuò)的成像。

拍照功能與視頻圖像等質(zhì)量是決定消費(fèi)者體驗(yàn)的重要參數(shù)，我們也在各大手機(jī)品牌的新品宣傳中見識(shí)到對(duì)其自家拍攝性能的極盡展示，如何以差異化功能獲取用戶是每家手機(jī)廠商睜開眼睛就要思考的問題。想要實(shí)現(xiàn)性能和體驗(yàn)的差異最大的問題就是要打破被ISP制約的情形。而蘋果、三星、華為等自研芯片的手機(jī)廠商以自己差異化功能的市場表現(xiàn)贏得高端市場用戶的青睞，這也給其他國內(nèi)手機(jī)廠商啟示與強(qiáng)心劑：自研芯片是難而正確具有長遠(yuǎn)價(jià)值的事情，必須要去做。

小米、ov等廠商無論是在新產(chǎn)品中搭載自家設(shè)計(jì)的ISP芯片還是在新聞中不斷宣傳造ISP芯，都在向市場釋放自研ISP手機(jī)芯片的決心，驅(qū)動(dòng)手機(jī)廠商選擇自研ISP手機(jī)芯片主要有這四方面的價(jià)值考量：

1、手機(jī)廠商可以發(fā)揮的差異化空間增大，ISP芯片的性能決定了手機(jī)影像功能的差異化。相對(duì)于芯片廠商高通與聯(lián)發(fā)科等，手機(jī)廠商距離消費(fèi)端更近，對(duì)功能場景與趨勢(shì)易把控，手機(jī)廠商自研ISP芯片可以與市場的需求變化調(diào)整同頻，其影像功能也就不再限于芯片廠商的芯片性能，手機(jī)廠商可以根據(jù)市場情況發(fā)揮差異化性能的優(yōu)勢(shì)。

2、避免供應(yīng)鏈的風(fēng)險(xiǎn)。華為手機(jī)市場份額的減少是其他一線手機(jī)廠商不想再經(jīng)歷的風(fēng)險(xiǎn)，無論是貿(mào)易摩擦還是地緣政治、黑天鵝疫情等風(fēng)險(xiǎn)，自研ISP芯片的選擇讓手機(jī)廠商可以減少一些被不確定因素扼制的風(fēng)險(xiǎn)。

3、成本的優(yōu)勢(shì)，手機(jī)廠商的出貨量動(dòng)輒數(shù)十萬、百萬，自研ISP芯片的話可以繞過其他芯片廠商的定價(jià)權(quán)，減少芯片成本的支出。

4、 ISP相比SoC來說，技術(shù)的實(shí)現(xiàn)難度相對(duì)較低，花費(fèi)的精力時(shí)間等成本更低，更容易實(shí)現(xiàn)。

手機(jī)廠商選擇自研ISP芯片無論是出于成本還是產(chǎn)品功能方面的考慮，都是讓自身在這個(gè)白熱化競爭的市場能有更好的表現(xiàn)，市場中有便宜好用的ISP芯片，而商家花費(fèi)心血時(shí)間去自研ISP芯片也不僅僅是革新影像功能的目的，廠商們?cè)诜e累芯片技術(shù)的前提下，更多的是戰(zhàn)略層面的考慮：未來可能向手機(jī)的心臟器件——SoC芯片進(jìn)擊，從ISP芯片的突破口中逐步切入到SoC的研制中去。

從ISP循序漸進(jìn)到SoC

自研ISP芯片只是手機(jī)廠商的打樣，野心家的目光在影像功能外，對(duì)于手機(jī)來說，核心的核心就是芯片，一旦出現(xiàn)任何不確定因素被卡喉嚨，企業(yè)就面臨生死存亡，因?yàn)橘Q(mào)易摩擦帶來的芯片卡喉，所有廠商都有危機(jī)感，自研芯片是需要戰(zhàn)略層面的出擊、布局。

小米早在2014年就開始布局自研芯片，成立專注手機(jī)芯片研發(fā)設(shè)計(jì)的松果電子子公司以服務(wù)手機(jī)SoC芯片，在2017年發(fā)布了首款手機(jī)SoC澎湃S1，在小米5C手機(jī)中落地，但S1在性能、功耗等方面都有明顯不足。

在SoC芯片的折戟讓小米更加務(wù)實(shí)，在2019年小米開始研發(fā)ISP芯片，今年3月發(fā)布的旗艦機(jī)小米折疊屏手機(jī)MIX FOLD搭載了小米自研的ISP芯片澎湃C1，能夠?qū)崿F(xiàn)更好的3A（自動(dòng)對(duì)焦，自動(dòng)白平衡，自動(dòng)曝光）處理，自研ISP+自研算法成為這款旗艦手機(jī)宣傳的賣點(diǎn)之一。小米的SoC芯片研發(fā)之路滿途坎坷，松果電子最終也重新進(jìn)行了組織架構(gòu)的調(diào)整，一部分團(tuán)隊(duì)繼續(xù)保留，一部分團(tuán)隊(duì)分拆出去進(jìn)行IOT芯片的研發(fā)。但澎湃C1對(duì)小米來說的是一個(gè)新的轉(zhuǎn)折，小米的ISP芯片架構(gòu)師左坤隆博士此前在采訪中表示ISP的研發(fā)只是起點(diǎn)，小米還是要回到手機(jī)心臟器件SoC的研發(fā)中，而這也是小米對(duì)手機(jī)芯片的未來戰(zhàn)略規(guī)劃。

一線手機(jī)廠商ov也不甘人后，分別在自研芯片道路上開始重金投入。9月6日消息，vivo率先發(fā)布自家自研的ISP芯片V1，這是vivo自研的首款影像芯片，團(tuán)隊(duì)300人經(jīng)過兩年的研發(fā)ISP芯片才得以面世。在2019年vivo也曾與三星聯(lián)合研發(fā)了Exynos 980 5G SoC，無論是自研ISP還是與三星聯(lián)合研發(fā)SoC，vivo都開始在芯片技術(shù)積累的道路上鋪墊，至于未來是否向SoC進(jìn)發(fā)vivo表示還不能確定，但芯片技術(shù)先行的趨勢(shì)，多手準(zhǔn)備總是沒有錯(cuò)的。

OPPO在芯片研發(fā)方面，于2019年就成立子公司ZEKU，據(jù)悉現(xiàn)下團(tuán)隊(duì)人數(shù)已經(jīng)兩千人，部分員工來自華為海思、紫光展銳和一些臺(tái)灣半導(dǎo)體企業(yè)。2020 年 2 月 OPPO 內(nèi)部發(fā)文《對(duì)打造核心技術(shù)的一些思考》，首次提到芯片計(jì)劃的代號(hào)——“馬里亞納計(jì)劃”。OPPO將手機(jī)核心的芯片作為未來戰(zhàn)略思考的方向，只研制相對(duì)SoC來說簡單點(diǎn)的ISP芯片還是有點(diǎn)浪費(fèi)這些資金人力的投入，OPPO的野心不止如此。成立兩年的子公司ZEKU也有做出成績，其ISP芯片據(jù)傳已經(jīng)在今年初流片，未來可能會(huì)搭載2022年發(fā)布的Find X5 手機(jī)上。除了ISP芯片外，OPPO方面也在同步推進(jìn)研發(fā)SoC的計(jì)劃，以掌握手機(jī)核心技術(shù)未來或替代部分高通和聯(lián)發(fā)科芯片。

ISP芯片向SoC芯片進(jìn)發(fā)的路坎坷難行，兩者從技術(shù)的維度上是數(shù)量級(jí)的差距，ISP只是單一的圖像管理單元，而SoC芯片會(huì)集成CPU、GPU、NPU、ISP通信基帶等模塊，模塊的設(shè)計(jì)與模塊之間的適配涉及的技術(shù)很復(fù)雜。從時(shí)間的維度上來看，我們可以發(fā)現(xiàn)ISP芯片從無到有的實(shí)現(xiàn)基本上是兩年多的時(shí)間，新進(jìn)入的手機(jī)廠商就可以拿出成品進(jìn)行部分投放使用，但是SoC芯片的誕生到使用跨越的時(shí)間就需要新手十年起步的嘗試。SoC芯片的打磨可謂是跟攀登高海拔的雪山一般，一步步的腳印和一級(jí)級(jí)的臺(tái)階才能攀頂成功，沒有跳躍發(fā)展一口氣吃成胖子的可能。

雖然SoC的研發(fā)之路坎坷，參照海思的成功發(fā)展至少需要十年的時(shí)間耕耘，但是后發(fā)的手機(jī)廠商也在積累技術(shù)的道路上開始耕耘。無論是當(dāng)下ISP芯片的自研，還是未來向著SoC芯片進(jìn)軍，都需要時(shí)間的加持，芯片自研是一場曠日持久的戰(zhàn)斗，資金、人才、技術(shù)、市場等因素缺一不可。

ISP芯片的競爭勢(shì)態(tài)

在ISP產(chǎn)業(yè)版圖中，除了現(xiàn)在正在崛起的自研ISP手機(jī)廠商蘋果、華為、三星等，主要有三類競爭勢(shì)力，一種是高通這類SoC芯片供應(yīng)商，ISP模組已經(jīng)被打包入內(nèi)進(jìn)行銷售，一類是ARM這類提供IP授權(quán)的供應(yīng)商，還有一種ISP模組設(shè)計(jì)服務(wù)提供商。

現(xiàn)下，ISP芯片市場仍然是以高通三星聯(lián)發(fā)科占據(jù)大部分市場份額為主，手機(jī)廠商們的自研芯片只是初嘗試給整個(gè)市場并沒有帶來大的沖擊，但是未來等到手機(jī)廠商的技術(shù)日趨成熟，開始廣泛應(yīng)用到自家的產(chǎn)品，還是會(huì)給產(chǎn)業(yè)鏈造成一些影響：

1、手機(jī)廠商在自研芯片方面，主要是在芯片制造的前端進(jìn)行研發(fā)，比如IP和設(shè)計(jì)端的再研發(fā)，未來的發(fā)展會(huì)將占據(jù)一部分芯片廠商的ISP市場份額。

2、芯片廠商在IP方面擁有專利特權(quán)，自研芯片的手機(jī)廠商在一些IP專利上面無法繞過去，仍然會(huì)依賴芯片廠商，呈現(xiàn)雙方共同競爭但雙方分別占據(jù)市場的局面，因?yàn)樾酒瑥S商的先發(fā)優(yōu)勢(shì)，市場份額還是芯片廠商占據(jù)較大為主。

3、手機(jī)芯片的自研給芯片廠商帶來革新意識(shí)，激發(fā)芯片廠商對(duì)于手機(jī)芯片的研發(fā)創(chuàng)新和護(hù)城河的拓寬，無論是芯片的性能還是價(jià)格都會(huì)因?yàn)檫@個(gè)趨勢(shì)有新的變化。

未來ISP的競爭有無大的市場變化，還要看這些自研ISP手機(jī)廠商的技術(shù)發(fā)展，幾乎包攬整個(gè)手機(jī)市場的一線廠商出貨量不容小覷，雖然現(xiàn)在大家已經(jīng)有自家的ISP芯片，但也只是小劑量的嘗試以展示肌肉，并沒有進(jìn)行大規(guī)模的應(yīng)用，規(guī)模使用產(chǎn)生的量變才會(huì)給整個(gè)ISP芯片市場帶來影響的質(zhì)變。在對(duì)ISP市場的梳理過程中，我們也發(fā)現(xiàn)ISP芯片的未來走向趨勢(shì)，與AI視覺處理技術(shù)進(jìn)一步地結(jié)合協(xié)同發(fā)展。

手機(jī)市場同質(zhì)化的競爭白熱化到不能再白熱化，其影像功能的像素已經(jīng)突破億級(jí)，硬件與算法短期內(nèi)沒有大的浪花兒翻騰，手機(jī)廠商無論是從ISP開始突破還是未來逐步切入到SoC的深海，都釋放出新的信號(hào)和思考變化：開始回歸到手機(jī)的本質(zhì)核心技術(shù)，如何構(gòu)建底層的核心能力是未來大家贏得市場競爭的關(guān)鍵砝碼?，F(xiàn)在投入的數(shù)億級(jí)資金，成百上千的高端人才等成本都是為提升未來競爭力，盡早卡位未來的市場。

手機(jī)作為消費(fèi)電子的代表領(lǐng)域，這個(gè)下海芯片的豪賭競爭勢(shì)態(tài)也不斷反映出現(xiàn)下廠商在這個(gè)焦慮下的市場中想要通過抓住核心技術(shù)去變革，手機(jī)廠商的產(chǎn)品、商業(yè)模式、組織架構(gòu)都會(huì)隨之迎來一些新的調(diào)整。無論最終的結(jié)局走向如何，這個(gè)路途艱難的選擇未來都會(huì)改變手機(jī)、芯片領(lǐng)域的市場格局。對(duì)于消費(fèi)者來說，充分的市場競爭帶給我們豐富的產(chǎn)品，我們也會(huì)跟著享受越來越多各有特色的電子產(chǎn)品。