利用人工智能改進手機攝影技術(shù)

如果你關(guān)心手機的攝像頭有多好?不妨留意一下手機制造商對于AI(人工智能)的評價，為什么呢?因為人工智能這項技術(shù)在過去的幾年里，已經(jīng)使攝影技術(shù)取得了驚人的進步，沒有理由認(rèn)為這種進步會放緩。

不過目前為止，AI仍然有許多噱頭，但攝影技術(shù)最令人印象深刻的進步，實際上歸功于軟件和AI，而不是傳感器和鏡頭，這在很大程度上得益于AI。

Google Photos，利用人工智能+攝像相結(jié)合

舉個例子，例如Google Photos，在2015年推出這款應(yīng)用時，其展示了人工智能和攝影兩者結(jié)合的功能多么強大。在此之前，谷歌多年來一直使用機器學(xué)習(xí)對谷歌上的圖片進行分類，這款圖片應(yīng)用程序也包含了面向消費者的人工智能功能，用戶無組織的數(shù)千張、沒有標(biāo)簽的圖片庫，一夜之間就變成了可搜索的數(shù)據(jù)庫，并且可利用人工智能自動創(chuàng)建拼貼、動畫、電影、風(fēng)格化圖片等等。

圖片來源：Google Photos

2013年谷歌收購了一家專門從事語音和圖像識別研究的公司DNNresearch，以此作為前期的發(fā)展基礎(chǔ)，它建立了一個深度神經(jīng)網(wǎng)絡(luò)，對人類標(biāo)記的數(shù)據(jù)進行訓(xùn)練，這叫做監(jiān)督學(xué)習(xí)。這個過程涉及到對數(shù)百萬張圖像進行網(wǎng)絡(luò)訓(xùn)練，使其能夠在像素級別上尋找視覺線索，以幫助識別圖片類別。

隨著時間的推移，該算法在識別方面做得越來越好，例如用來正確識別熊貓的模式，通過進一步的訓(xùn)練，我們可以搜索更抽象的詞匯，如“動物”或“早餐”，這些詞匯可能沒有共同的視覺指標(biāo)，但對人類來說仍然是顯而易見的。

圖片來源：Google Photos

當(dāng)然，訓(xùn)練這樣的算法需要花費大量的時間和處理能力，但是在數(shù)據(jù)中心完成它們的工作之后，就可以在低功耗的移動設(shè)備上輕松運行。繁重的工作已經(jīng)完成，所以一旦你的照片上傳到云端，谷歌就可以使用它的模型來分析和標(biāo)記整個庫。

大約在Google Photos發(fā)布一年后，蘋果公司宣布了一項照片搜索功能，該功能同樣經(jīng)過了神經(jīng)網(wǎng)絡(luò)的訓(xùn)練，但作為公司對隱私承諾的一部分，實際的分類是在每臺設(shè)備的處理器上分別執(zhí)行，而不發(fā)送數(shù)據(jù)，這通常需要一到兩天的時間，并在后臺進行設(shè)置。

蘋果利用如何利用“計算攝影”?

智能照片管理軟件是一回事，但人工智能和機器學(xué)習(xí)可以說對最初的圖像采集方式產(chǎn)生了更大的影響。是的，鏡頭、變得更快，傳感器變得更大，但實際上已經(jīng)達到了物理的局限性，比如將光學(xué)系統(tǒng)塞進超薄的移動設(shè)備。

盡管如此，在某些情況下，手機拍出的照片比很多專用相機設(shè)備拍出的照片要好，這在當(dāng)今并不少見，至少在后期處理之前是這樣。這是因為傳統(tǒng)相機無法在另一類硬件上與之競爭，這類硬件對攝影來說同樣意義深遠(yuǎn)：包含CPU、圖像信號處理器、以及越來越多的神經(jīng)處理單元(NPU)的芯片系統(tǒng)。

這就是所謂的“計算攝影”所利用的硬件，“計算攝影”是一個寬泛的術(shù)語，涵蓋了從手機人像模式的假景深效果，到幫助驅(qū)動Google Pixel’s圖像質(zhì)量的算法等方方面面。并非所有的計算攝影都涉及人工智能，但人工智能無疑是其中的一個重要組成部分。

圖片來源：蘋果官網(wǎng)

蘋果利用這項技術(shù)來驅(qū)動其雙攝像頭手機的人像模式。iPhone的圖像信號處理器使用機器學(xué)習(xí)技術(shù)，用一臺相機識別人，而第二臺相機創(chuàng)建深度地圖，以幫助隔離主題和模糊背景。這種通過機器學(xué)習(xí)來識別人的功能在2016年推出時并不新鮮，因為照片組織軟件已經(jīng)在這么做了，但以智能手機攝像頭所需的速度進行實時管理它是一個突破。

谷歌仍然是這一領(lǐng)域的明顯領(lǐng)導(dǎo)者，然而，三代Pixel所產(chǎn)生的卓越結(jié)果是最令人信服的證據(jù)。HDR+是默認(rèn)的拍攝模式，它使用了一種復(fù)雜的算法，可以將幾個曝光不足的幀合并到一個幀中。

正如谷歌的計算攝影負(fù)責(zé)人Marc Levoy在《The Verge》雜志上指出的那樣，機器學(xué)習(xí)意味著系統(tǒng)只會隨著時間的推移而變得更好。谷歌已經(jīng)在一個巨大的標(biāo)簽照片數(shù)據(jù)集上訓(xùn)練了它的人工智能，就像Google Photos軟件一樣，這進一步幫助相機曝光。

華為：4800萬像素分辨率最高

不過，硬件仍有發(fā)揮作用的空間，尤其是在有人工智能支持的情況下。華為榮耀的新款View 20手機，以及華為Nova 4，是首款使用索尼IMX586圖像傳感器的手機。它的傳感器比大多數(shù)競爭對手都要大，擁有4800萬像素，是迄今為止所有手機中分辨率最高的。

但這仍然意味著在一個很小的空間中塞入大量的像素，往往會對圖像質(zhì)量造成問題。然而在20次的測試中，榮耀的“AI Ultra Clarity”模式在充分利用分辨率方面表現(xiàn)出色，它消除了傳感器不同尋常的顏色濾鏡，以解鎖額外的細(xì)節(jié)。這就使得這款手機拍攝的照片，可清晰到大聚會合照的每一張人臉，并且接近專業(yè)相機的照片解析力。

榮耀總裁趙明在微博曬榮耀V20高清攝影

榮耀V20拍照細(xì)節(jié)放大

一段時間以來，圖像信號處理器一直是手機相機性能的重要組成部分，但隨著計算攝影技術(shù)的進步，NPU似乎將扮演更重要的角色。華為是第一家宣布采用專用人工智能硬件系統(tǒng)芯片的公司，即麒麟970，這是業(yè)界首顆帶有獨立NPU專用硬件處理單元的手機芯片。

盡管蘋果的A11仿生芯片最終首先到達了消費者手中。高通是全球最大的安卓處理器供應(yīng)商，該公司尚未將機器學(xué)習(xí)作為主要關(guān)注點，但谷歌已經(jīng)開發(fā)了自己的芯片Pixel Visual Core，以幫助完成與人工智能相關(guān)的成像任務(wù)。

與此同時，最新款的蘋果A12仿生擁有一個8核神經(jīng)引擎，可以在蘋果的機器學(xué)習(xí)框架Core ML中運行任務(wù)，速度是A11的9倍，而且它首次直接與圖像處理器相連。蘋果公司表示，這讓相機更好地理解焦平面，有助于產(chǎn)生更真實的景深。

攝像頭是基礎(chǔ)，人工智能是改進的最佳手段

這種硬件對于設(shè)備上高效、高性能的機器學(xué)習(xí)將變得越來越重要，因為機器學(xué)習(xí)對處理器的要求非常高。而支持Google Photos的算法是在擁有強大的GPU和強大的計算機上進行訓(xùn)練的，之后才在照片庫中得到釋放?？梢赃@么說，大部分工作可以“提前”完成，但在移動設(shè)備上實時進行機器學(xué)習(xí)計算的能力仍處于領(lǐng)先地位。

谷歌已經(jīng)展示了一些令人印象深刻的工作，可以減少處理負(fù)擔(dān)，而神經(jīng)引擎正變得越來越快。但即使是在“計算攝影”的早期階段，圍繞機器學(xué)習(xí)設(shè)計的手機相機也有真正的好處。事實上，在過去幾年人工智能熱潮所帶來的所有可能性和應(yīng)用中，如今最實用的領(lǐng)域無疑是攝影，攝像頭是任何手機的基本功能，而人工智能是改進攝影的最佳手段。