OPPO躋身技術(shù)流 3D結(jié)構(gòu)光和5G技術(shù)碾壓iPhone X

不用再羨慕 iPhone X，OPPO 用 3D 結(jié)構(gòu)光和 5G“秀”了一下手機(jī)的未來(lái)

OPPO 在今天召開了一場(chǎng)技術(shù)溝通會(huì)，展示了在 5G 以及 3D 結(jié)構(gòu)光上的研發(fā)進(jìn)展。

去年 9 月，蘋果在初代 iPhone 上市十周年之際推出的全新 iPhone X 上，大膽地砍掉了沿用多年、在用戶中口碑甚佳的 Touch ID 指紋識(shí)別，取而代之的是 Face ID 面容識(shí)別。

經(jīng)過了前期量產(chǎn)中的困難、產(chǎn)品上市后軟件上不斷的小修小補(bǔ)之后，F(xiàn)ace ID 已經(jīng)具備了很高的完成度。而根據(jù)目前的消息，在今年下半年發(fā)布的新一代 iPhone 上，F(xiàn)ace ID 將全面取代 Touch ID，成為所有 iPhone 新品的標(biāo)配。

不過另一方面，由于 Face ID 所需的傳感器非常復(fù)雜，對(duì)手機(jī)內(nèi)部設(shè)計(jì)和配套算法也有很高的要求，缺乏“統(tǒng)一戰(zhàn)線”的 Android 陣營(yíng)很難快速跟進(jìn)。目前 Android 手機(jī)中普遍采用的是基于傳統(tǒng)前置攝像頭的 2D 數(shù)據(jù)做的人臉識(shí)別，技術(shù)難度和安全級(jí)別相比起 Face ID 的 3D 結(jié)構(gòu)光都有很大差距。

在蘋果發(fā)布 iPhone X 的時(shí)候，極客之選（微信號(hào) GeekChoice）曾采訪過一些上游 AI 人臉識(shí)別公司的從業(yè)人員，得到的消息是 Android 陣營(yíng)需要 1—2 年的時(shí)間才有能力跟進(jìn) iPhone X 的 3D 結(jié)構(gòu)光方案。

不過現(xiàn)在看，可能不少人都低估了 Android 陣營(yíng)的創(chuàng)新能力。在 iPhone X 上市 7 個(gè)月之后，Android 陣營(yíng)就拿出來(lái)了自己的 3D 結(jié)構(gòu)光方案，而主角是 OPPO。

Face ID 和 3D 結(jié)構(gòu)光

在看 OPPO 這次展示的 3D 結(jié)構(gòu)光方案之前，我們有必要先復(fù)習(xí)以下 iPhone X 的 Face ID。

上面這張圖是蘋果官方提供的為 Face ID 提供硬件支撐的原深感攝像頭結(jié)構(gòu)，圖中標(biāo)注了 3 個(gè)核心部件，分別是位于最左側(cè)的紅外鏡頭（infrared Camera）、泛光感應(yīng)元件（flood illuminator）以及最右側(cè)的點(diǎn)陣投影器（dot projector）。在用戶使用 Face ID 的過程中，這三個(gè)部件的工作流程大致如下。

有人臉或者其他物體靠近時(shí)，泛光感應(yīng)元件首先會(huì)先發(fā)出非結(jié)構(gòu)性的紅外光，然后紅外鏡頭收集到反射回來(lái)的信息，形成紅外圖（如上圖，來(lái)自 iFixit）并傳回手機(jī)。

如果檢測(cè)到人臉，點(diǎn)陣投影器就會(huì)被啟動(dòng)，發(fā)出 3 萬(wàn) 個(gè)“結(jié)構(gòu)”光點(diǎn)，光點(diǎn)形成的陣列反射回紅外鏡頭，形成包含臉部不同位置的深度數(shù)據(jù)的點(diǎn)云圖。

有了紅外和深度數(shù)據(jù)，再使用 A11 Bionic 的 Neural Engine 神經(jīng)網(wǎng)絡(luò)專用加速模塊，通過深度學(xué)習(xí)算法將這些數(shù)據(jù)和用戶之前錄入的 3D 人臉模型數(shù)據(jù)進(jìn)行比對(duì)，就可以判斷是否是本人了。

和傳統(tǒng)攝像頭直接收集自然光不同，3D 結(jié)構(gòu)光的不同之處在于多了可以主動(dòng)發(fā)出“結(jié)構(gòu)”光點(diǎn)的光源，紅外鏡頭收集的是反射經(jīng)過人臉等物體發(fā)射回來(lái)的光線。

圖片來(lái)自 OPPO

由于這種獨(dú)特的設(shè)計(jì)，3D 結(jié)構(gòu)光可以收集到精確的 3D 點(diǎn)云數(shù)據(jù)，這是普通的 RGB 攝像頭所做不到的。同時(shí)，由于 3D 結(jié)構(gòu)光擁有主動(dòng)發(fā)光的紅外光源，因此在弱光、暗光下不會(huì)受到影響。

不過 3D 結(jié)構(gòu)光也有它的局限，相比傳統(tǒng)的攝像頭，3D 結(jié)構(gòu)光可以工作的距離要短一些，最長(zhǎng)距離一般在 1 米左右（這個(gè)距離對(duì)人臉解鎖是足夠了）。另外在強(qiáng)光下，自然光中的光束還可能對(duì)結(jié)構(gòu)光造成干擾。

3D 人臉和 2D 人臉

在手機(jī)的人臉解鎖中，由于 3D 結(jié)構(gòu)光可以獲得人臉精確的深度信息，因此可以提供超過傳統(tǒng)指紋的超高安全級(jí)別，這也是基于 3D 結(jié)構(gòu)光的人臉識(shí)別和目前 Android 手機(jī)上常見的人臉識(shí)別根本的區(qū)別。

早在 Android 4.0 的時(shí)代，Google 就為 Android 系統(tǒng)增加了原生的人臉識(shí)別功能，不過那個(gè)時(shí)候的算法還很原始，識(shí)別速度慢，很容易被照片欺騙。

到去年下半年的時(shí)候，通過使用 Face++、商湯科技等 AI 公司提供的基于深度學(xué)習(xí)的人臉識(shí)別算法，Android 陣營(yíng)的人臉識(shí)別體驗(yàn)有了一次質(zhì)的飛躍，識(shí)別速度、安全性都比之前有了大幅度的改善。

支持人臉解鎖的 vivo X21

到了 2018 年，幾乎所有的新上市的手機(jī)都搭載了類似的 AI 人臉識(shí)別功能，不少手機(jī)廠商還通過軟件更新的方式，為老機(jī)型增加了人臉識(shí)別功能。

不過即便是目前的 AI 人臉識(shí)別已經(jīng)可以做到對(duì)人臉幾百個(gè)特征點(diǎn)進(jìn)行對(duì)比，甚至還能提供一定的活體檢測(cè)能力，但終究還都是基于手機(jī)前置攝像頭拍攝的 2D 照片（部分手機(jī)加入了使用前置 Dual Pixel 傳感器的部景深數(shù)據(jù)，但精度有限），在保證人臉解鎖體驗(yàn)的情況下，能實(shí)現(xiàn)的安全級(jí)別終究還是比較有限。

結(jié)果就是，雖然 Android 手機(jī)幾乎都有 AI 人臉解鎖，但沒有任何一家廠商敢把人臉解鎖用在對(duì)安全性要求更高的支付上（三星的虹膜識(shí)別可以做支付，但不屬于“人臉”），不得不額外保留指紋識(shí)別模塊。

不過如果有了 3D 結(jié)構(gòu)光的深度數(shù)據(jù)，就可以實(shí)現(xiàn)更高的安全級(jí)別，指紋識(shí)別也就沒有繼續(xù)存在的意義了。

OPPO 的 3D 結(jié)構(gòu)光

在這次的溝通會(huì)上，OPPO 并沒有公布 3D 結(jié)構(gòu)光方案具體的硬件細(xì)節(jié)，不過從工作原理和現(xiàn)場(chǎng)展示的原型機(jī)上看，OPPO 的 3D 結(jié)構(gòu)光方案應(yīng)該和 Face ID 的原深感攝像頭大同小異。

核心硬件同樣是紅外鏡頭（infrared Camera）、泛光感應(yīng)元件（flood illuminator）、點(diǎn)陣投影器（dot projector）三個(gè)，紅外鏡頭用來(lái)收集反射光，泛光感應(yīng)元件和點(diǎn)陣投影器分別用來(lái)發(fā)射紅外線和結(jié)構(gòu)光點(diǎn)。

和蘋果的做法類似，為了獲得更大的視差，OPPO 3D 結(jié)構(gòu)光模組中的紅外鏡頭和點(diǎn)陣投影儀也位于結(jié)構(gòu)光模塊的左右兩端。

這里有一個(gè)值得關(guān)注的地方，根據(jù) OPPO 提供的數(shù)據(jù)，為了采集到精確的深度數(shù)據(jù)，紅外鏡頭和點(diǎn)陣投影器的中心間距需要達(dá)到 40 毫米。

考慮到紅外鏡頭和點(diǎn)陣投影器本身還要占據(jù)一定的寬度，這意味著 OPPO 3D 結(jié)構(gòu)光模組的長(zhǎng)度會(huì)比 40 毫米再多一點(diǎn)，比 iPhone X 的“劉?！甭蚤L(zhǎng)一些。

此外，OPPO 3D 結(jié)構(gòu)光的點(diǎn)陣投影器可以投出來(lái) 1.5 萬(wàn)個(gè)物理點(diǎn)，這個(gè)數(shù)據(jù)沒有 iPhone X 的 3 萬(wàn)個(gè)物理點(diǎn)那個(gè)么多，不過理論上應(yīng)該也足以收集到精度很高的深度信息。

在安全性上，OPPO 表示，這個(gè) 3D 結(jié)構(gòu)光方案的安全級(jí)別可以達(dá)到百萬(wàn)分之一，和蘋果公布的 iPhone X Face ID 的數(shù)據(jù)相同，大大高于傳統(tǒng)指紋識(shí)別的五萬(wàn)分之一。

在溝通會(huì)的現(xiàn)場(chǎng)，OPPO 準(zhǔn)備了幾臺(tái)搭載了 3D 結(jié)構(gòu)光模塊并且可以正常使用的原型機(jī)。

在我們的現(xiàn)場(chǎng)體驗(yàn)中，結(jié)構(gòu)光原型機(jī)的表現(xiàn)非常不錯(cuò)，無(wú)論是人臉錄入還是解鎖，速度都很快，特別是解鎖，甚至比 iPhone X 還要略快一點(diǎn)。

不止于人臉解鎖

除了用于做高精度的人臉解鎖，3D 結(jié)構(gòu)光獲取的精確景深數(shù)據(jù)還也可以用在更多的場(chǎng)景中。

在 iPhone X 上，蘋果就利用 3D 結(jié)構(gòu)光，設(shè)計(jì)了 Animoji、前置人像背景虛化和 3D 光效等功能。作為一個(gè)后來(lái)者，OPPO 在結(jié)構(gòu)光的應(yīng)用場(chǎng)景方面想得比蘋果還要更多一些。

OPPO 首先展示的一個(gè)應(yīng)用叫做 3D 人像重建，包括 3D 美顏和 3D 光效兩個(gè)，后者和 iPhone 大同小異，而 3D 美顏指的是利用 3D 結(jié)構(gòu)光豐富的深度信息，對(duì)美顏從現(xiàn)有 AI 美顏的兩三百個(gè)特征點(diǎn)提升到幾千甚至上萬(wàn)個(gè)，實(shí)現(xiàn)更加立體和精確地美顏效果。

另外一個(gè)應(yīng)用是 AR，現(xiàn)在有很多拍照和視頻 app 已經(jīng)可以做到智能疊加 AR 特效，而有了 3D 結(jié)構(gòu)光的數(shù)據(jù)，這些 AR 特效可以做得更加精確。

OPPO 另外一個(gè)重點(diǎn)演示的功能是 3D 視頻通話。

通過分別是用手機(jī)的傳統(tǒng) RGB 攝像頭和 3D 結(jié)構(gòu)光模組來(lái)獲取色彩和 3D 信息，然后將這些數(shù)據(jù)和 VR、AR、全系顯示進(jìn)行融合，可以在虛擬世界中模擬出身臨其境的 3D 視頻通話體驗(yàn)。

在現(xiàn)場(chǎng)的演示中，OPPO 使用了一臺(tái)內(nèi)置結(jié)構(gòu)光模組的 R11s 和高通的 5G 新空口原型機(jī)，讓手機(jī)采集的 3D 視頻通過 5G NR 傳輸，實(shí)時(shí)顯示在遠(yuǎn)端的顯示器上。

值得注意的是，這一過程需要高達(dá) 148.44Mbps 的上傳速率，而可以實(shí)現(xiàn)大幅度提高上傳下載速率并且大大縮短了延時(shí)的 5G 通訊技術(shù)就自然成了 3D 視頻的完美載體。

這不是 PPT，這不是 PPT，這不是 PPT

看完了技術(shù)本身和應(yīng)用，下面大家最關(guān)心的可能就是啥時(shí)候能用上了。

重點(diǎn)來(lái)了，和 MWC 上展示的 Super VOOC、五倍光變等“秀肌肉”的技術(shù)不同，OPPO 這次發(fā)布 3D 結(jié)構(gòu)光是實(shí)實(shí)在在可量產(chǎn)的。

OPPO 表示，3D 結(jié)構(gòu)光已經(jīng)做好了商業(yè)化的準(zhǔn)備，將在未來(lái) 6 個(gè)月之內(nèi)進(jìn)行量產(chǎn)。

也就是說，最晚在今年年底之前，我們就可以看到搭載 3D 結(jié)構(gòu)光的 OPPO 手機(jī)了，而這一次，打頭陣的將很可能不是大家熟悉的 R 系列。