越來越多的人選擇用通過照片與視頻的方式保留記憶,而在剛過去的五一假期,出門游玩中攜帶一部影像系統優(yōu)秀的手機就能展現出對于生活記錄的優(yōu)勢,而對于一部拍照優(yōu)秀的手機來說,除了鏡頭參數的耀眼外,也離不開手機SoC和AI提供的性能支持。
如果說起安卓手機陣營中,影像性能最好的SoC,旗艦機型標配的驍龍865自然當仁不讓,除內置Spectra 480ISP外,還有Qualcomm第五代人工智能引擎AI Engine的加持。提起AI,很多人會下意識和營銷手段、噱頭聯系在一起,但從實際的移動端影像系統來看,通過SoC內置的Spectra 480ISP+Qualcomm AI引擎的結合,給手機拍照有著強悍的表現,下面我們結合搭載865 SoC手機的實際拍照表現來闡述第五代Qualcomm人工智能引擎AI Engine在實際拍照中的作用。
01AI引擎帶來是全方位畫質升級
在移動端影像飛速發(fā)展的過程中,業(yè)內也嘗試通過對于移動端鏡頭的升級全面帶動移動端影像的進步,但移動端影像系統的發(fā)展方向并不是復刻專業(yè)相機的“鏡頭路線”,而是借助移動端使用便捷的優(yōu)勢讓普羅大眾記錄生活。而手機作為當前用戶最智能的使用終端,通過AI引擎實現對于視覺能力的全方位提升才是更貼近用戶的發(fā)展方向。
可以說當前相機的影像系統和手機影像系統走上了兩種不同的方向。相機追求的是保留更多細節(jié)便于留出更多后期處理空間,移動端則是更快更便捷記錄與分享生活。在這一過程中,移動端通過AI引擎對于成像結果的自動調校就起到了很大的增益作用。以的影像系統為例,AI引擎對于這套影像系統的實際使用也有明顯的增益作用。
驍龍865的AI算力來源于第五代Qualcomm人工智能引擎AI Engine。第五代AI引擎則由 Kryo 585 CPU+Adreno 650 GPU+Hexagon 698張量構成,每一部分都有各自的運算專長,系統會根據實際負載將需求分配到到CPU、GPU和張量處理器上。高通第五代AI Engine的AI算力達到了15TOPS,保證高性能與功耗低兼?zhèn)?,滿足移動端的使用需求。
常規(guī)拍攝對于圖片表現力的增強
Pro常規(guī)樣張
常規(guī)場景下移動端拍攝過程經歷“鏡頭與CMOS收集圖片信息”到“Spectra 480 ISP+AI引擎增強畫面表現力”再到“最終成像結果”的過程。在第二個步驟中,Spectra 480 ISP和AI引擎會根據實際的算法提升圖片的細節(jié)與質感,達到增強像系統表現力的目的。
AI場景識別是提升拍攝表現力的關鍵
AI引擎提升最終拍攝表現力的原因主要是AI基于深度學習功能對移動端進行最終畫質的針對性優(yōu)化,保證拍攝的最終觀感。當你使用移動端影像拍攝時,驍龍865內置的第五代AI引擎則會識別你當前拍攝場景是人、食物、風景還是是動物。
AI場景識別
AI優(yōu)化拍攝過程中最重要的是AI引擎對于場景的識別。采用驍龍865的手機會默認打開這個功能,第五代AI引擎會幫助用戶自動識別當前場景并選擇最佳的拍攝參數,并會根據實際場景選擇“夜景模式”、“微距模式”等。同時,AI引擎還會對拍攝選擇合適的曝光和色彩調節(jié),讓用戶從繁瑣的拍攝參數中解放,享受所見即所得的拍攝樂趣。
弱光環(huán)境下提升拍攝降噪的處理
OPPO Pro弱光拍攝
弱光對于移動端的拍攝要求相對較高。這是因為手機CMOS受元器件體積的限制,弱光下的表現往往不盡人意。移動端解決弱光拍攝的手段是通過短時間內拍攝多張不同曝光下的照片,通過挑選與合成的方式實現對于移動端弱光拍攝增強的效果。這個過程中除了對于鏡頭與CMOS參數的硬件要求外,也對于ISP和AI Engine的計算性能提出了要求。
搭載驍龍865 SoC的OPPO Find X2 Pro 上的“超級夜景 3.0”技術,一方面通過Spectra 480 ISP以每秒處理20億像素的速度處理圖片信息,另一方面利用AI引擎則通過場景識別等功能實現對于圖片的噪點去除、壞點修補、曝光校正等功能,進而呈現優(yōu)質的弱光拍攝效果。正式在ISP和AI Engine的聯合作用下,實現了對于實際的夜景環(huán)境進行圖像重建和色彩重建。
對于高清視頻支持
視頻是當前最重要的分享媒介之一,移動端的影像系統也讓普通人能夠通過極低的成本完成對于視頻的錄制與處理。用戶對于視頻的需求無非兩點——“看得清”(更高的畫質)和“拍得穩(wěn)”(更好的防抖控制)。采用驍龍865 SoC的手機實現對于 4K 視頻的錄制,而驍龍865借力Spectra 480ISP與第五代AI引擎最高實現了對于8K視頻的錄制。
在Spectra 480 ISP和高通第五代AI Engine的算力支持下,移動端影像系統最終成像表現有了長足的進步。AI引擎在不同的環(huán)境下帶來了不同的畫面表現力,使移動端影像系統擺脫了傳統拼鏡頭與參數的桎梏,帶來了更多的拍攝趣味、更豐富的畫面色彩表現、更優(yōu)秀的成像效果。
02除了對影像效果升級外,AI提升了相機的智能程度
上文我們闡述了高通驍龍第五代AI引擎在手機影像系統中的具體作用。從AI引擎在影像系統中的處理我們不難發(fā)現“不搭載AI引擎的傳統智能手機”與搭載“搭載AI引擎的智能手機”的區(qū)別:
傳統智能手機只能一對一解決問題,用戶如果要得到一張精致的照片,首先需要用相機拍出一張照片,然后通過App對圖片進行后期處理;而搭載AI引擎的智能手機則可以在用戶拍攝后就可以得到精致的照片,無需任何處理。
這個過程中,AI引擎根據用戶的實際需求簡化了拍照的流程。AI引擎對于移動端最重要的提升是實現移動設備對于人需求的理解:通過提升移動設備的感知能力,讓移動設備了解消費者的需求才是移動端的未來,而高通AI引擎深入參與移動端影像系統,進而讓移動端影像系統變得更好用。
AI引擎帶來平滑順暢的變焦過程
移動端的影像系統受制于體積無法搭載體積龐大的光學變焦鏡頭,因而移動端的變焦是通過后置多攝的鏡頭接力與算法補足實現的。目前移動端主流的變焦是通過在廣角、主攝與長焦鏡頭中切換來實現的。但因為多個攝像頭的位置不一樣,所以在變焦過程中會出現變焦過程不夠順暢的問題。
采用驍龍865手機的變焦效果
而采用驍龍865的手機則能夠實現平滑的光學變焦和保持變焦過程中畫面曝光與色彩的一致, 可以說Spectra 480 ISP和高通AI引擎正是移動端實現平滑變焦幕后功臣。移動端影像系統不借助AI引擎強大的算力能夠保證用戶在不同鏡頭的切換過程中保持拍攝畫面取景框的穩(wěn)定,從而使移動端變焦過程呈現更平滑流暢的使用效果。
同時,移動端影像系統變焦面臨的另外一個問題是拍攝最終樣張的實際曝光與色彩呈現不一致的現象,這是移動端影像系統常見的問題。而高通第五代 AI 引擎以運算的形式修正拍攝畫面的參數,實時優(yōu)化變焦畫面,最終將變焦拍攝得到的圖片風格、色彩與曝光控制在同一風格。
眾多手機廠商在高通第五代AI Engine基礎上開發(fā)屬于自己的變焦技術。其中realme在高通第五代AI Engine的基礎上研發(fā)出SAT平滑變焦技術,可以模擬出單反鏡頭變焦的感覺,多個鏡頭切換畫面穩(wěn)定不跳躍,而且可以保持曝光、色溫等效果的一致。
AI引擎實現對于4單元色彩濾鏡陣列硬件加速
高通憑借這種理解在AI引擎中實現了對于4單元色彩濾鏡陣列硬件加速的支持?,F在很多的移動端傳感器是像素四合一,像素四合一的優(yōu)勢是提升實際拍攝效果,但過去在處理像素四合一的運算是1個像素1個像素進行的,而AI引擎的硬件加速則實現對一次運行處理4個像素,通過CPU、DSP與ISP的接入處理,降低功耗的同時提升運行效率。
4單元色彩濾鏡陣列硬件加速
AI引擎帶來更聰明的對焦
移動端影像的躍進帶來的是用戶對于移動端影像系統的對焦有著更高的要求。在AI引擎全面應用移動端之前,移動端已經出現了提升對焦效率的算法,但AI引擎加持下的手機對焦則有了聰敏的大腦,移動端對焦效率得到大幅度提升,經過AI場景識別的取景框會自動識別畫面焦點并實時追焦,實現真正意義上的“自動對焦”。
NEX3s“人眼追焦”功能需要AI Engine支持
此外,有些傳感器搭載的“全對焦區(qū)域自動”功能則需要同分調用Spectra 480 ISP和第五代AI Engine性能,帶來更準確的對焦效果;還有vivo NEX3s借助AI Engine的算力實現了對于“人眼追焦”功能的實現,進而實現了更好的人像拍攝效果。
上述這些讓人驚艷的拍攝功能,如果離了AI引擎,會出現不能實現或者表現效果大打折扣的問題。而AI引擎對于影像系統的影響還體現在拍攝過程的電量消耗上:不僅可以將攝像頭的功耗控制在1毫瓦以內,還可以將視頻拍攝的功耗降低16%。而ISP+AI引擎在通過全方位的優(yōu)化提升移動端影像系統的使用體驗,重新定位移動端影像操作的前進方向。
03AI引擎還提升了移動端后期處理
如果手機不具備AI算力或者AI算力不足,我們可以借助第三方App對圖片進行AI處理,具體步驟為:“圖片傳輸到云端”→“借助服務器AI算力對圖片進行處理”→“從云端回本地”。在這個過程中不僅需要流量,還對于網絡也有一定的要求,當移動端的AI算力足夠強,我們可以在手機端實現對于圖片的AI美化。
實時路人消除
在拍攝過程中,很難避免路人搶鏡,而搭載高通865的概念機借助第五代AI引擎實現了實時路人消除功能。
實時路人消除
這種功能依靠移動端高通第五代AI引擎的強大算力實現了對于圖片與視頻的復原,消除視頻與圖片中的“路人甲”,進而保證移動端的拍攝主體不被搶鏡。保證視頻與圖片的純凈度,突出主體。
AI一鍵換天
“AI一鍵換天”則是移動端AI技術大熱的功能,這項技術借助高通第五代AI引擎的每秒15萬億次運算,在極短的時間內實現圖像分割,優(yōu)化圖片背景,成為移動端的AI修圖神器。
AI一鍵換天
上圖中不難看出,“AI一鍵換天”可以瞬間將圖片中的背景更改為彩色或者換成完全不一樣的天空。特別是當我們在某處拍攝后,可將不滿意的天空背景換成其他顏色,而手機廠商搭載的“AI一鍵換天”則就是基于高通第五代AI引擎實現的。先通過高通第五代AI引擎實現對于圖像的分割,繼而根據用戶需求變換天空色彩與背景,呈現效果如魔法般神奇。
除了上述AI引擎在移動端后期的功能,還有AI智能構圖、AI聲音對焦等貫穿于移動端影像系統的功能。AI引擎在移動端的作用已經打通了影像信息采集、影像處理、成像與后期處理等全過程。而高通第五代AI引擎的強大算力是為了更好地滿足用戶對于Vlog、旅游記錄、保留更清晰的記憶等越來越多、越來越嚴苛的需求。
04總結
AI引擎給手機帶來的優(yōu)勢是讓手機越來越智能,越來越好用,越來越理解用戶的心意,而移動端影像系統則是AI引擎最能體現價值與發(fā)揮作用的場景,在AI引擎的加持下,用戶只需要按照AI引擎的指引實現構圖與按下快門就行了。繁瑣的技術細節(jié)于傳統的拍攝技巧都可以放諸腦后。
把用來調節(jié)參數、考慮技巧與后期處理的時間解放出來,交給高通第五代AI引擎去處理,這是移動端影像系統發(fā)展的必然趨勢,也是移動端在不同環(huán)境下呈現最優(yōu)質影像效果的核心。每一段影像都是美好回憶,每一段影像都需要被銘記,而高通第五代AI引擎身居幕后統御移動端影像,時刻候命記錄用戶每一段記憶。
-
AI
+關注
關注
87文章
29824瀏覽量
268112 -
Qualcomm
+關注
關注
8文章
669瀏覽量
51997 -
驍龍865
+關注
關注
0文章
174瀏覽量
12438
發(fā)布評論請先 登錄
相關推薦
評論