歷時(shí)24個(gè)月，300人研發(fā)團(tuán)隊(duì)，vivo發(fā)布VI ISP芯片！手機(jī)攝影進(jìn)入硬件級算法時(shí)代

電子發(fā)燒友網(wǎng)報(bào)道（文/黃晶晶）9月6日，vivo正式發(fā)布自研ISP芯片V1。

vivo在影像技術(shù)上耕耘已久，確立了包括夜景，人像，運(yùn)動防抖，變焦和視頻的影像賽道。在夜景場景上，vivo和合作伙伴一起開發(fā)了增強(qiáng)感光能力的全新CFA技術(shù)，應(yīng)用于IMX598X CMOS上；與蔡司聯(lián)合研發(fā)的影像系統(tǒng)，在有限的空間內(nèi)實(shí)現(xiàn)了超大光圈的光學(xué)設(shè)計(jì)，并首次將蔡司光學(xué)鏡頭和T型鍍膜在vivo手機(jī)上實(shí)現(xiàn)，大幅改善了夜景的眩光等，顯著提升夜景拍攝效果。此外，還有微云臺穩(wěn)定器，50mm焦段人像鏡頭，在防抖上不斷精進(jìn)。
?
那么，在影像技術(shù)不斷提升的情況下，是算法重要還是硬件重要，這個(gè)答案主要通過三方面去解讀。分別是影像芯片、光學(xué)器件、軟件算法。

vivo重磅發(fā)布V1 ISP芯片

vivo影像算法總監(jiān)杜元甲認(rèn)為，從消費(fèi)者需求出發(fā)，人們對于復(fù)雜場景下的手機(jī)影像效果具有越來越多的期待，比如夜景場景不希望有噪點(diǎn)；對視頻拍攝的要求不斷提高，為了給用戶提供更大的創(chuàng)作空間，手機(jī)影像將面臨一次全新進(jìn)化。手機(jī)記錄世界將從靜態(tài)發(fā)展到動態(tài)，幫助用戶多維表達(dá)，把更多的創(chuàng)造交給客戶。
?
以成像速度和實(shí)時(shí)性來說，在當(dāng)前的手機(jī)算力下，拍照計(jì)算成像算法，處理一張照片需要半秒到1秒時(shí)間。以30幀視頻來看，每幀處理的算法時(shí)間不能超過33毫秒。這里有30倍的速度差異。60幀和12幀的視頻則要求更高。過去，手機(jī)用一秒鐘拍一幀的內(nèi)容，現(xiàn)在要至少計(jì)算30幀的畫面。
?
能耗是目前影像功能面臨的另一個(gè)問題。運(yùn)算密度的提升和功耗的下降是一對矛盾體。我們必須尋找大運(yùn)算量，高速處理的方式。我們認(rèn)為只有采用定制化芯片，與主芯片軟件算法協(xié)作，軟硬件結(jié)合才能釋放主芯片的功耗負(fù)載，大幅改善用戶的使用體驗(yàn)。
?
vivo并非首次推出定制芯片，早在vivo X1\XPlay中就引入了定制的HIFI芯片，2017年將定制的DSP圖像芯片放入X9 PLUS中。
?
今天，vivo歷時(shí)24個(gè)月，投入300人研發(fā)團(tuán)隊(duì)，與手機(jī)SOC廠商深度合作后，VI發(fā)布首顆自主研發(fā)的專業(yè)影像芯片V1。


?
VI是vivo主導(dǎo)開放的服務(wù)高速計(jì)算成像的專業(yè)影像芯片，是一顆全定制的特殊規(guī)格集成電路芯片。位于主芯片和顯示面板之間，可以搭配不同主芯片和顯示屏，與主芯片ISP之間采用高速雙向互聯(lián)，以極低延時(shí)進(jìn)行數(shù)據(jù)交互。起到擴(kuò)充ISP高速成像算力，釋放主芯片ISP負(fù)載的作用，同時(shí)服務(wù)用戶在預(yù)覽和錄像的需求。
?
區(qū)別于GPU與DSP，專業(yè)定制芯片在處理特定功能時(shí)具有高性能、低延時(shí)、低功耗的特點(diǎn)。在能效比上有指數(shù)級的提升。打個(gè)比方，假設(shè)CPU是綜合業(yè)務(wù)員，GPU和DSP根據(jù)業(yè)務(wù)類型讓一部分預(yù)約辦理，復(fù)雜業(yè)務(wù)還是交回給CPU。V1則是給所有人明確業(yè)務(wù)類型，分成小組和柜臺，同時(shí)處理。因此它既可以像CPU那樣高帶處理復(fù)雜運(yùn)算，也可以像GPU和DSP那樣并行處理。
?
為了讓同期處理能力最大化，VIVO創(chuàng)新優(yōu)化了數(shù)據(jù)在內(nèi)部的儲存架構(gòu)，和高速讀寫電路。做到了等效32兆的超大全片上緩存。片上高速緩存雖然貴但可支撐的計(jì)算密度和數(shù)據(jù)量更大。目前旗艦級桌面電腦處理器的緩存是16到24兆。
?

?
比如夜景視頻的拍攝，通過V1進(jìn)行降噪和插幀，可以用計(jì)算量大的算法模塊，即MEMC技術(shù)進(jìn)行運(yùn)動補(bǔ)償，在V1協(xié)助下主芯片在低光錄像時(shí)以低功耗運(yùn)行全高清60幀的MEMC去噪和插幀，提升了夜景影像效果。并且配合主芯片的降噪功能，進(jìn)行二次提亮二次降噪。
?


由此可以得到主芯片ISP與定制ISP V1的1+1大于2的效果。由于將軟件算法轉(zhuǎn)移至V1專用硬件電路中，在高速處理同等成像計(jì)算算法時(shí)，V1專用硬件電路的功耗降低50%。
?

器件方面的創(chuàng)新

成像系統(tǒng)與光學(xué)器件密不可分，每一個(gè)器件的能力共同影響成像效果，因此無論拍攝效果提升如何，依然無法完全解決眩光，鬼影，邊緣畫質(zhì)差等問題，有待手機(jī)提升整個(gè)光學(xué)系統(tǒng)質(zhì)量來改善。
?
光學(xué)器件總監(jiān)朱盼盼介紹，vivo選擇高規(guī)格的玻璃鏡片取代塑膠鏡片，實(shí)現(xiàn)超低色散、高透光率、熱穩(wěn)定強(qiáng)等特性。視場色差方面相比于上一線設(shè)計(jì)值降低約70%。阿貝數(shù)是衡量色彩能力的指標(biāo)，數(shù)值越高色彩越純凈。vivo使用的玻璃鏡片阿貝數(shù)高達(dá)81.6，專業(yè)攝影機(jī)的阿貝數(shù)在80-90之間。
?

?
通過引入SWC鍍膜技術(shù)，在鏡頭表面抑制反射光，這是一項(xiàng)基于仿生學(xué)原理的技術(shù)，應(yīng)用SWC鍍膜后反射率最低降至0.1%，顯著提升影像，改善眩光和鬼影。
?
ALD鍍膜原子層沉積工藝，通過特殊化學(xué)反應(yīng)讓原子一層層沉積，形成每層約0.4納米的膜層，讓反射均值降至0.25%，幾乎無角度偏移，中心邊緣一致性更好，進(jìn)一步有效改善鬼影問題。ALD技術(shù)是VIVO獨(dú)家，行業(yè)首發(fā)，并已成熟用于量產(chǎn)階段。
?
此外，對于花瓣鬼影，在濾光片和傳感器之間吸收紅光波長，VIVO采用色素旋涂工藝，它也是國內(nèi)第一家運(yùn)用色素旋涂工藝的廠家。

算法部分的提升——忠實(shí)還原人眼所見的自然色彩

vivo的色彩體系是基于對用戶色彩需求的理解，定位于鮮活、明快、有質(zhì)感，同時(shí)專業(yè)創(chuàng)作者會更加忠實(shí)還原人眼所見的自然色彩。
?
vivo影像產(chǎn)品經(jīng)理王兆豐表示，由于每個(gè)人對色彩的理解不盡相同，vivo選取色塊更豐富的140色卡進(jìn)行精細(xì)化的標(biāo)準(zhǔn)定義，選取了80個(gè)實(shí)拍場景進(jìn)行實(shí)景效果驗(yàn)收。借助更精細(xì)的色彩調(diào)試算法支撐效果實(shí)現(xiàn)，經(jīng)過粗調(diào)試和精細(xì)調(diào)整，最終使照片的色相準(zhǔn)確度ΔE收斂了約15.5%，為業(yè)內(nèi)領(lǐng)先，在較小的ΔE和仍然良好的飽和度中找到平衡。
?
vivo選擇以蔡司Biotar 58/2.0和Biotar75/1.5為代表的Biotar鏡頭，將旋轉(zhuǎn)焦外成像特點(diǎn)為人像拍攝賦予絕佳的“氛圍感”，配合vivo在人像領(lǐng)域的軟硬件加持，在手機(jī)上重現(xiàn)蔡司經(jīng)典人像風(fēng)格。
?
為了實(shí)現(xiàn)多維度影像體驗(yàn)，vivo還加強(qiáng)了AI人臉增強(qiáng)算法、延時(shí)攝影功能、Log模式、超級夜景RAWHDR3.0算法、SuperRAW等。
?

?

手機(jī)攝影進(jìn)入硬件級算法時(shí)代

回答最開始的問題，手機(jī)攝影是硬件還是算法決定未來？vivo認(rèn)為影像技術(shù)研發(fā)，是系統(tǒng)性技術(shù)工程。就像人眼，每個(gè)人看到的畫面，都是通過眼球的感光細(xì)胞將信號傳輸給視神經(jīng)，經(jīng)視神經(jīng)最終傳送到大腦視覺中心，經(jīng)由大腦處理加工后的結(jié)果。手機(jī)也是如此，通過平臺、器件、算法等各方面的共同協(xié)作，決定最后的成像品質(zhì)，算法與硬件，缺一不可。通過V1芯片，vivo認(rèn)為引領(lǐng)手機(jī)影像行業(yè)下一個(gè)趨勢的將是“硬件級算法時(shí)代”。
?
?