0
  • 聊天消息
  • 系統(tǒng)消息
  • 評論與回復(fù)
登錄后你可以
  • 下載海量資料
  • 學(xué)習(xí)在線課程
  • 觀看技術(shù)視頻
  • 寫文章/發(fā)帖/加入社區(qū)
會員中心
創(chuàng)作中心

完善資料讓更多小伙伴認(rèn)識你,還能領(lǐng)取20積分哦,立即完善>

3天內(nèi)不再提示

vivo X80的創(chuàng)新 赫卡忒的眼眸:微光手機“夜視儀”是怎樣煉成的?

腦極體 ? 來源:腦極體 ? 作者:腦極體 ? 2022-05-08 17:41 ? 次閱讀

古希臘神話中,有一位黑夜女神赫卡忒。她徘徊于夜幕之中,月色之下,是旅人與藝術(shù)家的守護者,甚至曾經(jīng)幫助過宙斯等主神,備受萬神的尊敬。

而赫卡忒也是一位樂意接受凡人祈禱的女神,夜色到來時,人們會來到山頂進行祭祀,期望地看到赫卡忒的真容。

如何讓我們的視線洞穿黑夜,是藝術(shù)史上永恒的主題。在攝影時代到來后,如何捕捉和表現(xiàn)夜色更是一個最復(fù)雜的命題。從前,攝影師需要用復(fù)雜的設(shè)備搭配昂貴的夜視攝像頭,才能完成。而在一次次手機影像突破,以及計算攝影的興起下,一雙能夠看清黑夜女神赫卡忒的眼眸,已經(jīng)來到普通人手中。

不久之前發(fā)布的vivo X80系列中,搭載了一項名為微光手機“夜視儀”的功能。在vivo發(fā)布的一系列唐宮主題視頻中,我們可以看到極夜實拍中大唐才子佳人的身影清晰可見。畫面干凈且純粹。在這一刻,手機簡直可以被當(dāng)作“夜視儀”來使用。

想要呈現(xiàn)這一幕其實并不容易,在夜拍環(huán)境下,算法、攝像頭、芯片都有能力的局限性。只有將每個領(lǐng)域的創(chuàng)新融合在一起,將能力協(xié)同到極致,才能帶來手機化身夜視儀的這個時刻。

一抹美麗夜色的背后,是一場計算攝影的錘煉,是一句用戶至上的承諾。

計算攝影的暗夜突圍

2010年,斯坦福大學(xué)舉辦了一場技術(shù)沙龍,主題是討論能不能在攝影時,讓攝影設(shè)備像計算機一樣去編程所拍到的影像。從而讓攝影不再是攝影師和精修師的天下,而是對所有普通人開放。

至此,計算攝影這一概念開始在業(yè)界流行開來。但從實驗室走向產(chǎn)業(yè)界,這段旅程足足跨越了十年。計算攝影的核心思路在于,手機攝影并不僅僅是一臺手機+一個攝像頭。而是希望在拍攝時就調(diào)動手機的計算能力、算法能力、硬件協(xié)同能力,從而達成單獨依靠影像器件難以完成的拍攝任務(wù)。

谷歌最開始在Pixel系列中啟動了計算攝影效果,通過將多張照片合二為一展現(xiàn)出超過單次拍攝的效果。隨后,蘋果等主流廠商也開始跟進。計算攝影逐漸成為了最具潛力的手機影像發(fā)展方向。

然而經(jīng)過幾年的發(fā)展,計算攝影的瓶頸也開始體現(xiàn)。由于計算模式相近,相關(guān)能力提升帶來的用戶可感知度太小。往往只能用數(shù)據(jù)和復(fù)雜的對比才能體現(xiàn)出計算攝影模塊的存在。而對于用戶來說,需要的是真正能夠解決重大問題??芍?、可感、可信的計算攝影能力。

向著暗夜突圍,很可能是計算攝影接下來的重要方向。

暗拍與夜色中的復(fù)雜光源處理,需要一系列復(fù)雜算法的輔助,這就給了計算攝影足夠的發(fā)揮空間。

vivo X80系列微光手機“夜視儀”的暗拍效果,運用了光學(xué)傳感器、芯片算力、AI夜視算法的融合。最終才達到了暗夜下的極致拍攝。這場夜色中的影像盛宴,也為計算攝影方向帶來了一場突破。

這是一次觀眾能夠清晰看到,感知到,體會到的計算攝影變遷。

2779664a55f7473d85c47c828f618be4~tplv-tt-shrink:640:0.image

“算”盡極夜,凝練赫卡忒之眸

希望在夜晚拍到令人滿意的照片,應(yīng)該是每一位用戶的期待。但為什么計算攝影發(fā)展了這么久,卻要等待vivo X80系列來完成這次突破?

這是因為夜色下的世界,并不是簡單的打光問題。光線駁雜、色彩失真,難以對焦,需要連續(xù)曝光、黑暗中背光面難以呈現(xiàn)等等困難都困擾著夜拍效果。即使造價昂貴的全畫幅單反也效果不佳,更遑論在手機端完成夜視儀級別的夜拍效果。

為了解決這些問題,需要的就不是一項能力,而是各項能力的協(xié)同、融合,互為支撐。在vivo X80系列中,我們可以看到鏡頭、計算、算法、芯片的相互支持,在全鏈路技術(shù)提升下,最終打造了赫卡忒之眸。vivo X80系列不僅搭載了強大的微光手機“夜視儀”功能,還將實時黑光夜視功能拓展至超廣角、前置鏡頭。

讓我們一層層來透視,這雙能夠凝望黑夜女神的眼睛是如何煉成的。

一、自研芯片之眸

能夠?qū)崟r完成夜景算法調(diào)配,給用戶無縫體驗的夜景拍攝體驗,最終離不開計算能力以及芯片。vivo X80系列搭載了自研的V1+芯片,能夠支持實時黑光夜視功能,讓用戶在極夜環(huán)境下可以看到更加清晰明亮的實時預(yù)覽。

主芯片負(fù)責(zé)常規(guī)拍攝工作,在諸如夜景視頻拍攝等高強度計算攝影的應(yīng)用場景下,自研芯片V1+會負(fù)責(zé)提亮降噪及實時預(yù)覽,具有非常高的合理性。這種分配協(xié)作能夠有效降低能耗,提升計算效率,但實踐起來卻非常復(fù)雜。

為了完成這項技術(shù)跨越,V1+芯片首先需要跨越硬件兼容性上的天塹,讓兩枚芯片真正做到“雙芯一用”。今年,vivo自研芯片在旗艦SoC平臺的兼容性上又邁出了關(guān)鍵一步,在原本驍龍平臺之外成功兼容了天璣9000平臺,成為行業(yè)內(nèi)唯一一家實現(xiàn)了自研影像芯片兼容多旗艦平臺的終端廠商,這也為“夜視儀”功能得以實現(xiàn)提供了前提基礎(chǔ)。

接下來,V1+芯片需要將消耗最大,最吃性能的算法,硬件化封裝到自身平臺當(dāng)中。硬件級的算法封裝可以保證運算有的放矢,將自身性能發(fā)揮到極致。經(jīng)過對用戶需求與使用場景的仔細(xì)衡量,V1+最終將3D實時立體夜景降噪、MEMC插幀和AI超分三個目前移動影像中最復(fù)雜的算法進行了封裝。實現(xiàn)了與主SoC合作極大激活硬件效率,數(shù)據(jù)吞吐速度可高效維持在約8GB/s,并且能效提高約300%,功耗降低了約72%。

43c0629f5d584c03b62145a2f3250549~tplv-tt-shrink:640:0.image

這樣,“夜視儀”實時預(yù)覽這種非常吃性能,吃計算能力的功能,就可以由V1+針對性支持,實現(xiàn)了清晰干凈的硬件級夜景降噪,不會讓用戶“對夜盲拍”。而為了進一步提升微光手機“夜視儀”的使用體驗,vivo還針對這一功能對V1+進行了精細(xì)化調(diào)優(yōu),依靠V1+強大的極夜視頻降噪算法、速度快、功耗低的極速內(nèi)存管理系統(tǒng),以及攝像頭模組、主芯片、vivo自研算法提升等各方面的配合,最終實現(xiàn)在小于1lux環(huán)境下的極夜視頻功能。

并且在自研影像芯片的幫助下,vivo X80系列可以黑光夜視功能拓展到了超廣角鏡頭以及前置鏡頭,確保了“夜視”能力沒有死角。

二、SoC協(xié)同之眸

自研芯片V1+的加入,讓vivo X80系列獲得了“一體雙芯”的格局,這也讓主芯片SoC與自研影像芯片之間的協(xié)同互動有了更多可能。為了完成微光手機“夜視儀”的效果,vivo與芯片廠商進行了超越行業(yè)常規(guī)的緊密協(xié)作與聯(lián)合創(chuàng)新。以MediaTek的天璣9000為例,這枚芯片本身具有強大的基礎(chǔ)性能與AI專項處理能力。結(jié)合這些特點,vivo與MediaTek進行了深度合作,最終讓V1+芯片與天璣9000達成了緊密的影像協(xié)同。

4071b28a1ad74e59beb2df1d804520fc~tplv-tt-shrink:640:0.image

一次極致的夜拍背后,是vivo與MTK技術(shù)的緊密配合,雙方技術(shù)的嵌合式合作,才最終將天璣9000的能力進行了最大化釋放,保證了極夜環(huán)境下的“透視級”效果。

在微光手機“夜視儀”背后,vivo與MTK進行了從底層硬件到軟件的多層面聯(lián)合打磨。一次夜拍背后,影像由旗艦級超大底主攝進入ISP;緊接著天璣9000的天璣 5G 開放架構(gòu)驅(qū)動對影像的處理,在確保降低頻寬功耗與畫面延遲的情況下提供高效率的 AI 畫質(zhì)計算;接下來是算法層,vivo獨特的獨特AI 降噪算法開始工作,完成夜晚場景的處理;而支撐這大量AI計算的,是天璣 9000的第五代 APU 590,能夠?qū)崿F(xiàn)AI 邊緣部署神經(jīng)架構(gòu)搜索技術(shù),NeuroPilot 模型深度硬件融合,A8W8混合A16W8高清解析算子,最終讓復(fù)雜的高清視頻算法實時處理變得可行,同時盡量降低能耗。

a1918e0721054d5482aa4afec62faa37~tplv-tt-shrink:640:0.image

這種你中有我,我中有你的緊密配合,讓兩枚芯片各司其職,減少性能與功耗浪費的同時確保了全鏈路的夜視效果,釋放了技術(shù)上的協(xié)同優(yōu)勢。同時也打破了行業(yè)成規(guī),為終端廠商與芯片廠商的合作塑造了新的范式。

三、影像算法之眸

在算法方面,vivo X80系列升級了更加先進的夜景算法,搭載了蔡司超級夜景功能?;趘ivo自研算法RAWHDR3.0,可以提升色彩表現(xiàn)的準(zhǔn)確性,配合蔡司T*鍍膜技術(shù)方案以及抗眩光算法,可以實現(xiàn)更加純凈的夜景效果。

近年來,“vivo色彩”漸漸成為了移動影像領(lǐng)域標(biāo)志性的色彩風(fēng)格,vivo影像能力對色彩的理解與調(diào)試逐漸成為了業(yè)界的標(biāo)桿之一。歷經(jīng)3年10款機型的打磨,vivo的記憶色體系形成了“鮮活”“明快”“有質(zhì)感”的風(fēng)格。另外,通過與蔡司的深度合作,蔡司自然色彩2.0以精細(xì)準(zhǔn)確的調(diào)校,還原人眼所見的自然原生色彩,讓色準(zhǔn)更準(zhǔn)確、觀感更自然。在vivo X80系列中,你既可以體驗極具風(fēng)格化的拍攝效果,也可以拍出人眼所見的真實色彩,vivo將選擇權(quán)交還給了用戶。

320f2d2dab214e058421c308ee2c02a8~tplv-tt-shrink:640:0.image

在算法層面,vivo推出了越來越多具有鮮明特色與技術(shù)前沿性的應(yīng)用成果。比如超級夜景RAWHDR3.0算法,可以將超級夜景算法從YUV域挪到RAW域,以獲得更好的亮度和影調(diào)表現(xiàn),從而讓夜景處理流程更合理,對夜色下的色彩調(diào)整更加細(xì)致。

再比如vivo的SuperRAW融合了自研的RAWHDR多幀算法,不論大光比逆光場景還是夜景環(huán)境,均能動態(tài)抓取最多10幀圖像在RAW域進行超高位融合和降噪處理,輸出14bit位深的超強RAW文件,顯著提升信噪比和動態(tài)范圍,充分發(fā)揮手機影像的潛能。

4bc628d31e65435f9e5bf48bf17a1330~tplv-tt-shrink:640:0.image

到了這代產(chǎn)品,可以看到vivo與蔡司的合作愈發(fā)爐火純青,雙方的技術(shù)兼容度達到了空前的水平,這讓vivo X80系列的光學(xué)能力全面超越了全球標(biāo)準(zhǔn)。

四、光學(xué)硬件之眸

影像器件是計算攝影與真實之間的窗戶,是實現(xiàn)“夜視儀”功能的基礎(chǔ)。vivo與蔡司有深度合作關(guān)系,使得vivo X80全系全鏡頭都達到了蔡司T*鍍膜標(biāo)準(zhǔn),以保證在白平衡、色準(zhǔn)、抗眩光和解析力等指標(biāo)上達到vivo的影像標(biāo)準(zhǔn)。

f4f9bbd06d8b46338dd05f4e32c78f0b~tplv-tt-shrink:640:0.image

傳感器上,vivo X80 Pro搭載了獨家定制的GNV超大底傳感器,X80則首發(fā)索尼IMX866 RGBW大底傳感器。在傳感器型號的背后,隱藏著許許多多不為人知的創(chuàng)新技術(shù)。例如GNV,通過定制濾光片,vivo再一次突破GN1的極限,并采用了1G +6P的高規(guī)格鏡片組合,以及頂格的鍍膜工藝??梢哉fvivo X80系列搭載的鏡頭模組,顆顆都是定制款,反映了vivo在硬件上的精益求精,不惜工本,已經(jīng)成為了vivo的標(biāo)志之一。

8b106043ba7b4b77a7902dc0247e85e5~tplv-tt-shrink:640:0.image

為了用戶的一次驚喜,赫卡忒之眸歷經(jīng)了層層雕琢。為了算盡極夜,vivo已經(jīng)準(zhǔn)備了太久太久。

千座山巒,一抹夜色

微光“夜視儀”的背后,真正可以體現(xiàn)出什么是手機影像的全鏈路創(chuàng)新。

接下來,無論是計算攝影的產(chǎn)業(yè)空間發(fā)展,還是手機突破紅海競爭,走向多元未來,都與廠商的全鏈路創(chuàng)新能力緊密相關(guān)。

回到vivo X80系列的夜視儀功能,可以看到這項垂直突破的背后,是器件、軟件、硬件的協(xié)同,是自研技術(shù)、自研芯片、產(chǎn)業(yè)合作等多重能力的整合。

“集結(jié)重兵力,解決真痛點”正在變成手機創(chuàng)新的新錨點。而這個思路背后是為了打破產(chǎn)業(yè)瓶頸,廠商需要以消費者需求為準(zhǔn)繩,盡一切可能性完成創(chuàng)新積累,最終呈現(xiàn)出厚積薄發(fā)的效果。

從使用全行業(yè)最高成本的玻璃鏡片,到與蔡司持續(xù)合作光學(xué)器件、光學(xué)算法創(chuàng)新,再到長周期、大成本研發(fā)的自研芯片,都可以看到vivo這種長期主義的戰(zhàn)略指引。

微光“夜視儀”看到的不僅是夜色,還有一段旅程。

旅程中,vivo的做法是逐步增強不可復(fù)制能力,最終將其融合在一起。達成N個1相加大于N的效果。登上千座山峰,只為了一抹不容替代的夜色。

vivo的創(chuàng)新觀念中,只要能夠讓消費者感知,做正確的事情,無論爬多少座山都是合理的。赫卡忒的眼眸,或許就是這樣煉成的。

聲明:本文內(nèi)容及配圖由入駐作者撰寫或者入駐合作網(wǎng)站授權(quán)轉(zhuǎn)載。文章觀點僅代表作者本人,不代表電子發(fā)燒友網(wǎng)立場。文章及其配圖僅供工程師學(xué)習(xí)之用,如有內(nèi)容侵權(quán)或者其他違規(guī)問題,請聯(lián)系本站處理。 舉報投訴
  • vivo
    +關(guān)注

    關(guān)注

    12

    文章

    3291

    瀏覽量

    63065
  • vivo手機
    +關(guān)注

    關(guān)注

    2

    文章

    606

    瀏覽量

    29173
收藏 人收藏

    評論

    相關(guān)推薦

    紅外熱成像與微光夜視優(yōu)劣勢對比

    在現(xiàn)代科技發(fā)展的驅(qū)動下,人類已經(jīng)不再對夜晚和低光環(huán)境無能為力。尤其是在夜視安全等領(lǐng)域,夜視技術(shù)的應(yīng)用尤為重要。其中,紅外熱成像和微光夜視是兩種最主要的
    的頭像 發(fā)表于 07-03 16:05 ?477次閱讀
    紅外熱成像與<b class='flag-5'>微光</b><b class='flag-5'>夜視</b>優(yōu)劣勢對比

    Testin云測上線vivo X100s系列真機測試服務(wù)

    超級長焦加持,以其嶄新性能和創(chuàng)新設(shè)計,引領(lǐng)了手機科技的新風(fēng)尚。 ? ? vivo?X100s系列新功能一覽 芯片 :vivo?
    的頭像 發(fā)表于 05-21 09:51 ?1010次閱讀

    vivo X100 Ultra發(fā)布:影像新紀(jì)元,旗艦級體驗

    vivo近日召開了一場盛大的影像新藍圖暨X系列新品發(fā)布會,會上正式推出了vivo史上首個Ultra機型——vivo X100 Ultra。這
    的頭像 發(fā)表于 05-16 11:01 ?568次閱讀

    vivo X100s和vivo X100s Pro發(fā)布,首發(fā)搭載天璣9300+旗艦芯片

    vivo今日震撼發(fā)布兩款新品——vivo X100s和vivo X100s Pro,均首發(fā)搭載了強大的天璣9300+旗艦芯片,為用戶提供更加
    的頭像 發(fā)表于 05-14 09:32 ?757次閱讀

    vivo兩款新機獲3C認(rèn)證,支持80W快充

    據(jù)悉,vivo X100 Ultra已于近期獲得3C認(rèn)證,型號為V2366GA,顯示其支持高達80W的閃充技術(shù);除此之外,vivo S19 Pro(型號為V2362a)亦已通關(guān)認(rèn)證,同
    的頭像 發(fā)表于 04-26 09:56 ?696次閱讀

    vivo發(fā)布X Fold 3系列折疊屏手機

    近日,vivo正式發(fā)布了其最新款折疊屏手機——X Fold 3系列。這款手機的標(biāo)準(zhǔn)版重量僅為219克,這一數(shù)據(jù)甚至輕于市場上的旗艦直板手機
    的頭像 發(fā)表于 03-28 11:42 ?996次閱讀

    vivo X Fold3系列折疊旗艦手機正式發(fā)布

    近日,vivo攜全新力作X Fold3系列折疊旗艦手機驚艷登場。其中,vivo X Fold3 Pro憑借搭載業(yè)界領(lǐng)先的第三代驍龍8移動平臺
    的頭像 發(fā)表于 03-27 09:35 ?614次閱讀

    內(nèi)置AI原生能力+支持6載波聚合!高通重磅發(fā)布驍龍X80 5G調(diào)制解調(diào)器

    高通發(fā)布全新的驍龍X80 5G調(diào)制解調(diào)器及射頻系統(tǒng),這是去年驍龍X75的后續(xù)產(chǎn)品,該系統(tǒng)以更強大的功能和全新的AI功能提升了5G Advanced技術(shù)。
    的頭像 發(fā)表于 02-28 18:15 ?4479次閱讀
    內(nèi)置AI原生能力+支持6載波聚合!高通重磅發(fā)布驍龍<b class='flag-5'>X80</b> 5G調(diào)制解調(diào)器

    MWC2024:高通推出革新性驍龍X80 5G調(diào)制解調(diào)器及射頻系統(tǒng)

    驍龍X80在技術(shù)創(chuàng)新方面取得了重大突破,首次將人工智能與5G Advanced性能相結(jié)合,為行業(yè)樹立了新的標(biāo)桿。
    的頭像 發(fā)表于 02-27 15:43 ?1203次閱讀

    高通推出驍龍X80 5G調(diào)制解調(diào)器及射頻系統(tǒng)

    在2024年的西班牙巴塞羅那世界移動通信大會(MWC 2024)上,全球領(lǐng)先的技術(shù)公司高通再次展現(xiàn)了其在5G技術(shù)領(lǐng)域的前瞻性和創(chuàng)新能力。公司宣布推出其最新的第七代5G調(diào)制解調(diào)器到天線解決方案——驍龍?X80 5G調(diào)制解調(diào)器及射頻系統(tǒng),進一步鞏固了其在全球5G技術(shù)領(lǐng)域的領(lǐng)先
    的頭像 發(fā)表于 02-27 11:03 ?939次閱讀

    高通發(fā)布驍龍 X80 5G 調(diào)制解調(diào)器,支持衛(wèi)星、Wi-Fi 7等新技術(shù)

    驍龍X80主要面向智能手機、AR/VR設(shè)備、PC、汽車及工業(yè)物聯(lián)網(wǎng)設(shè)備,配備的AI處理單元搭載張量加速器,提升數(shù)據(jù)傳輸效率、覆蓋范圍及性能,改善時延。此外,該解調(diào)器內(nèi)置第三代5G AI套件,進一步提升覆蓋范圍及定位精準(zhǔn)度。
    的頭像 發(fā)表于 02-26 15:53 ?1090次閱讀

    熱成像開發(fā)定制_紅外熱成像/紅外夜視儀主板方案

    熱成像開發(fā)定制_紅外熱成像/紅外夜視儀主板方案。主板采用了聯(lián)發(fā)科12納米四核低功耗處理器,搭載了Android9.0操作系統(tǒng),具有高速運行的特點。同時,配備了320×240的紅外探測器和200萬
    的頭像 發(fā)表于 01-29 19:49 ?440次閱讀
    熱成像<b class='flag-5'>儀</b>開發(fā)定制_紅外熱成像<b class='flag-5'>儀</b>/紅外<b class='flag-5'>夜視儀</b>主板方案

    3d光學(xué)輪廓微光學(xué)器件應(yīng)用及其重要意義

    微光學(xué)器件是指尺寸在微米到毫米級別的光學(xué)元件,其尺寸比傳統(tǒng)光學(xué)器件小很多。微光學(xué)器件利用了微納加工技術(shù),將光學(xué)器件的功能集成到微米尺寸的芯片中,具有小型化、集成化、高效率、低成本等特點。微光學(xué)器件
    發(fā)表于 01-02 10:31 ?0次下載

    FLIR紅外熱像儀在野外追蹤中的作用

    在廣袤野外探索動物痕跡時,你會選擇哪種輔助設(shè)備呢?雙筒望遠(yuǎn)鏡目前使用比較普遍,其次是可以用來在夜間發(fā)現(xiàn)動物的夜視儀。但即使是夜視儀在條件不良情況下(夜間非常黑)有時也很難發(fā)現(xiàn)動物,還好有不依靠光源就能發(fā)現(xiàn)物體的紅外熱像儀,它能在任何條件下,精準(zhǔn)探測野生動物的位置。
    的頭像 發(fā)表于 12-20 17:22 ?959次閱讀