高端智能手機(jī)的亮點(diǎn)越來越少,雷兔兔跑分已經(jīng)無法表現(xiàn)手機(jī)的優(yōu)勢。于是更霸氣的雙攝像頭閃亮登場了。這里說到的雙攝像頭,并非是像以前的智能手機(jī),前后各一個攝像頭,而是一共用兩顆后攝像頭,模擬人的一雙眼睛,來實(shí)現(xiàn)更多的拍照功能和更好的拍照效果。
一般來講,目前的智能手機(jī)的攝像頭接口都是MIPI(Mobile Industry Processor Interface)接口。之前手機(jī)平臺都只有2路MIPI接口,分別給前攝像頭和后攝像頭。做雙攝像頭,就要求平臺至少支持三路MIPI接口。其實(shí)在之前的高端平臺上,為了實(shí)現(xiàn)更高像素,已經(jīng)用雙路ISP(Image SignalProcessing,圖像信號處理器)了,比如為了支持16M的攝像頭,會用2路8M能力的ISP。這類平臺很有可能只有2路MIPI,但這個無法阻止工程師去做前單攝像頭+后雙攝像頭。
那問題來了,雙攝像頭到底能做什么?
1、雙攝像頭可以測距,可做距離相關(guān)的應(yīng)用
人眼很容易對一個物體的距離進(jìn)行定位,但當(dāng)人閉上其中一個眼睛后,定位能力就會下降很多。雙攝像頭就是模擬人眼的應(yīng)用。簡單的說,測距離的話,就是通過算法算出,被拍攝物體與左/右攝像頭的角度θ1和θ2,再加上固定的y值(即兩個攝像頭的中心距),就非常容易算出z值(即物體到Camera的距離)。
不過這也很容易推算,若兩個攝像頭中心距過小的話,可計(jì)算的物體距離就會很近。若想算出更遠(yuǎn)距離,就必須讓左右攝像頭的距離拉遠(yuǎn)。
如上圖,由于雙攝像頭通過算法,可以判斷被攝物體的距離,所以通過此特性,很容易做出一些特效,如:
A、背景虛化
單反相機(jī)最出眾的特色之一就是大光圈。由于雙攝像頭可以測出不同被拍攝物體的距離,對需要進(jìn)行大光圈的物體對準(zhǔn),其他不同距離的物體虛化,可以輕松實(shí)現(xiàn)大光圈的效果。
B、背景替換
由于可以測量距離,可以將被拍攝物體里的主體提取出來,更換背景,就可以比PS還簡單,進(jìn)行摳圖。
C、背景特效
由于可以測量距離,分出主題和背景,所以很容易對背景做任何處理,就不在這里過多描述。
D、測量距離
這個圖就非常明顯的標(biāo)識出不同物體的距離,這個距離信息用不同顏色標(biāo)識出來。當(dāng)AP獲得了不同物體的距離信息,就可以做到上述的各種功能。
2、雙攝像頭可以做光學(xué)變焦
光學(xué)變焦主要是左右攝像頭使用不同的FOV(可視角),這樣兩個攝像頭取景不同。當(dāng)用戶需要廣角照片,則用視角為85度的左攝像頭取景,獲得廣角效果。當(dāng)用戶需要長焦照片,則用視角為45度的右攝像頭取景,獲得長焦效果。
為了使左右攝像頭拍攝的物體重疊度高,光學(xué)變焦的雙攝像頭模組不能像做距離應(yīng)用的攝像頭的模組那樣距離過大,而是需要將左右攝像頭擺得越近越好。
若兩個Camera的FOV不一樣,一個大FOV,一個小FOV,再通過算法實(shí)現(xiàn)兩個光學(xué)鏡頭之間的效果,就可以輕松做到光學(xué)變焦。
3、暗光效果增強(qiáng)
一般來講,做暗光增強(qiáng)就是在兩個攝像頭中:一個用RGBG的標(biāo)準(zhǔn)攝像頭,一個用去掉RGBG濾波片的黑白攝像頭。RGBG用來獲得物體的色彩,而黑白攝像頭用來獲得更好的進(jìn)光量,來判斷被拍物體的光強(qiáng)強(qiáng)度。然后將兩個圖片融合即可獲得更好的暗光增強(qiáng)。
目前有兩種融合方法:
至于哪種方式更合適做融合,可能仁者見仁智者見智,就不在這展開討論了。同樣,做暗光增強(qiáng),為了讓左右攝像頭拍攝的物體重疊度高,此類雙攝像頭模組也是要求越近越好。需要說明的事,華為P9其實(shí)選用的就是這個方式的模組當(dāng)然有些業(yè)內(nèi)人士也表示這種算法目前做的效果并不明顯。暗光補(bǔ)償對用戶來說的確很有幫助,尤其拍夜景的時(shí)候。不過有些客戶認(rèn)為索尼和三星的DualPD技術(shù)就非常好,更愿意用Dual PD攝像頭來做暗光補(bǔ)償。
到底是雙攝像頭還是DualPD的暗光補(bǔ)償效果好,大家可以比較一下華為P9和三星的Galaxy S7 edge,就會有答案了。這個一般使用彩色+黑白的攝像頭。通過黑白攝像頭獲取圖片的光亮強(qiáng)度,來對圖片暗光補(bǔ)償。
4、3D拍攝以及3D建模
3D拍攝和3D建模的算法其實(shí)跟距離應(yīng)用有點(diǎn)類似,只是它的精度要求更高,甚至有時(shí)會需要用紅外測距進(jìn)行更準(zhǔn)確的距離判斷。
提到雙攝像頭的算法,不得不提到ISP(Image SignalProcessing圖像信號處理器),ISP主要作用是對前端圖像傳感器輸出的信號做后期處理,主要功能有線性糾正、噪聲去除、壞點(diǎn)去除、內(nèi)插、白平衡、自動曝光控制等,依賴于ISP才能在不同的光學(xué)條件下都能較好的還原現(xiàn)場細(xì)節(jié),ISP技術(shù)在很大程度上決定了手機(jī)的成像質(zhì)量。
功能機(jī)時(shí)代,ISP都是做在攝像頭上的,不同像素的攝像頭搭配不同性能的ISP。隨著手機(jī)攝像頭像素越來越高,對ISP性能的要求越來越高,若將ISP集成到攝像頭Sensor上,勢必造成攝像頭的模組過大,甚至影響拍照效果。所以智能機(jī)時(shí)代,ISP一般都是在主芯片SoC上。部分品牌客戶為了實(shí)現(xiàn)更好的效果,甚至不惜成本的外加一顆ISP用來達(dá)到更好更專業(yè)的拍照效果。
好的拍照算法就需要搭配好的ISP,ISP和算法相輔相成,缺一不可。而雙攝像頭對ISP性能要求更多。首先,為了使左右攝像頭的信號能夠同時(shí)被處理,單一的ISP已經(jīng)無法滿足雙攝像頭的需求。這就需要雙路ISP實(shí)現(xiàn)此功能。
以暗光增強(qiáng)為例,彩色/黑白圖像分別進(jìn)入各自的ISP通道和校準(zhǔn)通道,然后將兩副圖片做匹配(如將兩幅圖片相同的部分提取出來,去除只有一個攝像頭拍到的部分),然后通過遮擋,檢測,補(bǔ)償?shù)人惴ㄌ幚硐嚓P(guān)的圖片。最后將兩幅圖片融合起來,實(shí)現(xiàn)顏色的增強(qiáng)。當(dāng)然實(shí)際上ISP配合算法做的事情,遠(yuǎn)遠(yuǎn)比這圖片上寫的要多。
當(dāng)然,在這里面也有一個小小的插曲。畢竟是兩個ISP,兩個ISP多少有一些處理速度、處理能力不同的問題。為了保證兩個ISP能在同一時(shí)間上取樣,就需要雙攝像頭拍出來的圖片是同一時(shí)間拍出來的。其中一個解決辦法就是讓Sensor有一個同步信號引腳。將兩個攝像頭的同步信號對接,在每次讀取圖片時(shí),將圖片都打上一個時(shí)間戳,ISP通過時(shí)間戳,保證左右攝像頭拍出來的照片在同一時(shí)間拍攝,最終再進(jìn)行融合。
不同于一般的3D電影的拍攝。手機(jī)上的兩個攝像頭無法在圖像的拍攝過程中就產(chǎn)生足夠的視覺差,這是由于兩個攝像頭中間的距離和人眼不一樣。而且為了能夠讓人們更明顯地得到3D視覺效果。所以往往需要算法進(jìn)行增強(qiáng)。由于可以測出距離,后續(xù)的雙攝像頭不僅僅可以實(shí)現(xiàn)3D攝影,還可以進(jìn)行3D建模,到這個時(shí)候,我想雙攝像頭的重要性則會更加重要。其他的效果增強(qiáng),比如HDR、提高分辨率,這些功能其實(shí)單攝像頭也可以實(shí)現(xiàn),只是雙攝像頭可以讓效果更好,就不一一列舉了。
現(xiàn)在我們就重點(diǎn)來說說雙攝像頭的產(chǎn)業(yè)鏈。
1、雙攝像頭算法供應(yīng)商
由于算法是需要跟ISP配合的,所以算法和ISP是相輔相成的,想把算法做好,也得有好的ISP。
作為主平臺供應(yīng)商,高通/聯(lián)發(fā)科都有自己的ISP,所以也自己開發(fā)了雙攝像頭算法。至于其算法好壞,還有待市場的檢驗(yàn)。
而作為Sensor供應(yīng)商,Sony、Samsung、OV也在積極開發(fā)雙攝算法,暫時(shí)也沒有看到量產(chǎn)的產(chǎn)品。不過在功能機(jī)時(shí)代,是沒有ISP的。這些Camera sensor的供應(yīng)商做2M/5M的時(shí)候,都得搭配自家的ISP,所以這些供應(yīng)商都是有自己開發(fā)ISP的經(jīng)驗(yàn)。所以開發(fā)雙攝像頭算法,相對來說也是有相關(guān)的經(jīng)驗(yàn)的。
Apple去年收購了Linx,也擁有了多攝像頭的專利和算法,是否會用在自家的雙攝像頭機(jī)型,那就看今年的iPhone7。理論來上說,Linx有足夠多的算法,所以Apple不至于跟某大廠去買雙攝像頭的IP授權(quán)。
除了這些平臺,sensor供應(yīng)商和智能機(jī)的品牌商會自己開發(fā)雙攝像頭算法外,其他供應(yīng)商我們一一列舉一下:
1996年成立于***的華晶,主要開發(fā)獨(dú)立的ISP芯片。部分高端手機(jī)、相機(jī)和車載都有用其ISP的案例。雙攝像頭手機(jī)也有用其ISP的。距離應(yīng)用、光學(xué)變焦和暗光補(bǔ)償都有所建樹。
一家以色列的公司。其算法的優(yōu)勢主要在光學(xué)變焦和暗光補(bǔ)償上。景深方面,也有一定的研究。從媒體宣傳來看,hTC有機(jī)型采用了其算法。
虹軟成立于1994年,總部在美國,在上海,杭州和南京都有技術(shù)中心。虹軟的強(qiáng)項(xiàng)是光學(xué)變焦和暗光補(bǔ)償。上一篇里的第二個光學(xué)變焦圖和暗光補(bǔ)充的圖就來自虹軟。
上海興芯微是一家成立于2011年的公司,主要從事圖像處理器的研發(fā),目前產(chǎn)品主要應(yīng)用在車載市場。做為為數(shù)不多的研發(fā)獨(dú)立ISP的公司,目前也在開發(fā)雙攝像頭的算法和ISP。在雙攝像頭市場起來后,X-Chip將會是一匹非常有潛力的黑馬。
雙攝像頭也是剛剛出來, 所以算法方面,各家都有各自的優(yōu)點(diǎn)和缺點(diǎn)。不過從目前已經(jīng)推出的雙攝像頭手機(jī)效果來看,各家的算法還有待提高。等各種算法能力上去后,勢必會讓雙攝像頭成為手機(jī)的標(biāo)配。
2、雙攝像頭sensor供應(yīng)商
由于雙攝像頭在拍照的時(shí)候,需要兩個攝像頭同步時(shí)間戳,這就需要Camera Sensor有同步信號。目前有此同步信號的sensor供應(yīng)商有Sony、Samsung、OV、格科微。所以雙攝像頭的Sensor主要用這幾家的產(chǎn)品。
3、雙攝像頭模組供應(yīng)商
目前能做雙攝像頭的模組廠很多,有光寶、舜宇、信利、Namuga、O-Film、三星機(jī)電、丘鈦。不過有量產(chǎn)經(jīng)驗(yàn)的主要是光寶、舜宇和信利。華為的機(jī)型主要是用光寶和舜宇的模組。而O-Film和三星機(jī)電憑借其強(qiáng)大的工廠能力,現(xiàn)在也大舉進(jìn)軍雙攝像頭模組領(lǐng)域。Namuga則是跟各算法公司保持良好的溝通關(guān)系,并為三星手機(jī)的供應(yīng)商,也逐漸在雙攝像頭模組領(lǐng)域發(fā)力。
不過不同功能對模組要求不一樣。我們繼續(xù)拿上文說的四個功能為例:
算法方面,主要是通過右面的黑白攝像頭讀取進(jìn)光量的多少,從而補(bǔ)償左邊RGB攝像頭的色彩。
3D拍攝和建模,這種方式跟距離相關(guān)的模組有點(diǎn)類似。只是3D對距離的精準(zhǔn)度要求更高。這種情況下,更需要將兩個攝像頭的距離擺得遠(yuǎn)一點(diǎn),甚至有些會采用外加紅外輔助定位來實(shí)現(xiàn)距離測量,最終實(shí)現(xiàn)3D拍攝和建模的作用。
雙攝像頭模組制作的難點(diǎn):
雙攝像頭的做法,一般有兩種:共基板,或者共支架。如下圖:
若共基板,則是將兩個CameraSensor共同放在同一個基板上,然后一個FPC從此基板上引出來即可。若共支架,如上圖,通過支架將Sensor固定住,每個Sensor有自己的基板和自己的FPC。
總之兩種方法各有優(yōu)缺點(diǎn),目前只有華為采用的是共基板的方式。但無論哪種方式,目前良率都是較差的,所以成本還是很高的。
若算法提高,模組良率提高,雙攝像頭還是有很多優(yōu)勢值得大家去做的。
不過由于不同功能對模組擺放要求不同,雙攝像頭目前來看,有可能完全無法滿足大家對攝像頭的要求。
由于谷歌推出Project Tango的時(shí)候,很聰明地提出了一個三攝像頭的概念:當(dāng)需要測距和3D建模的時(shí)候,可以用兩個距離遠(yuǎn)的攝像頭;若做光學(xué)變焦和暗光補(bǔ)償,可以用兩個距離近的鏡頭。甚至此Depth Sense可以結(jié)合紅外,更準(zhǔn)確的測量距離。
無論如何,隨著雙攝像頭算法的演進(jìn),VR需求的增加,攝像頭發(fā)揮的作用越來越大。雙攝像頭,甚至前雙攝像頭+后三攝像頭的手機(jī),明后年很有可能變得越來越常見。
評論
查看更多