解析紫光展銳T820的AI-Bokeh技術(shù)，讓影像插上翅膀

手機(jī)拍照已成為我們?nèi)粘Ｉ钪胁豢苫蛉钡囊徊糠郑謾C(jī)拍照有許多模式可以選擇，比如全景、夜景、人像、微距等，就像專業(yè)相機(jī)拍攝時(shí)，也會(huì)有各種參數(shù)設(shè)置，比如大光圈、閃光燈等。

影像表現(xiàn)已經(jīng)成為體現(xiàn)智能手機(jī)差異化的主要賣點(diǎn)之一，手機(jī)拍照效果的好壞，除了看硬件配置，軟件算法也至關(guān)重要。

本篇主要介紹下紫光展銳是如何針對(duì)手機(jī)端的大光圈、人像等模式，進(jìn)行設(shè)計(jì)和效果呈現(xiàn)，讓手機(jī)拍出的照片擁有主體清晰、背景虛化的層次感、美感。

背景虛化效果圖

要實(shí)現(xiàn)主體突出、背景虛化的效果，關(guān)鍵在于景深。景深是一個(gè)比較專業(yè)的詞匯，可能比較難理解，我們以相機(jī)拍照過程來解釋一下什么叫景深。相機(jī)通常需要先對(duì)焦、后拍攝，理論上來講照片只有被準(zhǔn)確對(duì)焦的部分會(huì)清晰，焦點(diǎn)之外的部分就會(huì)模糊。不過，由于相機(jī)鏡頭、拍攝距離等因素的影響，照片焦點(diǎn)前、后仍然會(huì)有一段距離的景物能夠被清晰顯示，不致于落入模糊地帶，這個(gè)清晰的范圍便稱為景深。

影響景深的有三個(gè)因素：光圈大小、對(duì)焦距離以及鏡頭焦距。改變光圈值來調(diào)節(jié)景深范圍，是業(yè)界最便捷、也最常用的方法。一般來說，在焦距和攝距相同的情況下，光圈越小、景深越大，光圈越大、景深越小。

數(shù)碼單反相機(jī)只需要更換一個(gè)大光圈鏡頭，就能輕松得到想要的效果。而對(duì)于智能手機(jī)來說，所配備的圖像傳感器較小，產(chǎn)生的景深范圍幾乎無限遠(yuǎn)，因此智能手機(jī)拍出的背景通常與拍攝對(duì)象主體一樣清晰。

要想讓手機(jī)也能拍出與單反相機(jī)效果接近的背景虛化照片，就需要借助計(jì)算攝影技術(shù)來模擬淺景深和散景的效果。紫光展銳在5G移動(dòng)平臺(tái)T820上，針對(duì)前后單攝、多攝等拍照?qǐng)鼍埃O(shè)計(jì)開發(fā)了多套算法，結(jié)合T820的強(qiáng)大算力，可以在不同的拍照?qǐng)鼍跋露寄軐?shí)現(xiàn)背景虛化效果。

基于AI的雙目深度估計(jì)

基于AI雙目深度估計(jì)的虛化流程示例圖

相較于傳統(tǒng)計(jì)算depth的方法，AI算法可以極大提升depth的準(zhǔn)確率，特別是解決人物邊緣的漏虛、誤虛問題，保證虛化有更好的效果。

以雙目深度示例圖1為例，玩偶背后的白色白板區(qū)域紋理信息較弱，傳統(tǒng)方法在計(jì)算這類區(qū)域的深度時(shí)很容易出錯(cuò)，AI算法不會(huì)出現(xiàn)類似問題，這保證了平板區(qū)域的深度一致性。

從雙目深度示例圖2也可以看到，AI算法可以很好地處理頭頂處的重復(fù)紋理區(qū)域，比傳統(tǒng)方法計(jì)算出來的結(jié)果更加準(zhǔn)確。

基于AI的單目深度估計(jì)

為了適配不同機(jī)型的需求，尤其是前置單攝像頭的拍照?qǐng)鼍?，紫光展銳研發(fā)了AI單目深度估計(jì)算法。利用一張RGB圖像，就可估算出圖像中每一個(gè)像素相對(duì)拍攝源的距離。對(duì)于人眼來說，閉上一只眼睛依然可以大致估計(jì)出大量的深度信息，這是由于存在大量的先驗(yàn)知識(shí)。AI算法通過采集大量的現(xiàn)實(shí)場(chǎng)景數(shù)據(jù)集，以及算法模型在準(zhǔn)確性和實(shí)時(shí)性之間取得了較好的平衡，在單攝虛化拍照和錄像時(shí)，都能取得較真實(shí)的漸進(jìn)效果。

獲得了場(chǎng)景的深度信息后，就可以利用深度模擬景深虛化的效果，如單目深度效果圖的右側(cè)為無深度信息的虛化效果，人之外的區(qū)域均模糊處理；左圖則將和人處于同一深度平面的信息板保持清晰，更加接近單反的拍照效果。

基于AI的人像分割算法

人像分割算法可以將圖片中的人像和背景進(jìn)行分離，這樣在虛化處理的過程中，可以較好的保持人體區(qū)域的完整度，防止被誤虛。

人像分割算法也是需要輸出像素級(jí)的結(jié)果，為了應(yīng)對(duì)不同的場(chǎng)景、人物、服飾等變化，紫光展銳通過采集大量數(shù)據(jù)來提高算法的魯棒性，并依托T820 5G平臺(tái)的強(qiáng)大AI算力，實(shí)現(xiàn)了較為復(fù)雜的人像分割算法，優(yōu)化了多人、手指及發(fā)絲等邊緣細(xì)節(jié)等方面的效果。

如下圖從左到右，分別為原圖、T820平臺(tái)模型結(jié)果、低算力平臺(tái)結(jié)果，可以看到在復(fù)雜背景中，T820平臺(tái)算法依然可以準(zhǔn)確分割出人像區(qū)域。

有了AI算法的T820 5G芯片，可以拍出背景過渡平滑、虛化自然、極富藝術(shù)感染力的照片。

作為世界領(lǐng)先的平臺(tái)型芯片設(shè)計(jì)企業(yè)，紫光展銳堅(jiān)持以技術(shù)創(chuàng)新為核心，持續(xù)打造業(yè)界領(lǐng)先的影像技術(shù)，為產(chǎn)業(yè)和客戶創(chuàng)造價(jià)值，用科技之光照亮幸福生活。

End