谷歌推出ARCore,手機(jī)上體驗(yàn)宇宙大爆炸,實(shí)現(xiàn)AR效果

谷歌藝術(shù)與文化推出新作品，手機(jī)上體驗(yàn)宇宙大爆炸，并可以作為背景進(jìn)行自拍。而谷歌博客解釋了如何使用ARCore和機(jī)器學(xué)習(xí)，只用一個(gè)手機(jī)攝像頭就可以實(shí)現(xiàn)給自拍加AR特效的工作原理。

谷歌與歐洲研究機(jī)構(gòu)CERN合作創(chuàng)建了一個(gè)增強(qiáng)現(xiàn)實(shí)應(yīng)用程序，可以讓用戶通過手機(jī)體驗(yàn)宇宙大爆炸Big Bang，感受上帝創(chuàng)世紀(jì)時(shí)候的宏偉壯闊。

應(yīng)用程序?qū)Ыo你一場(chǎng)360度的奇幻旅程，從宇宙誕生開始，到第一顆恒星誕生，直到我們的太陽系，以及地球的出現(xiàn)。

更有意思的是，你還可以以大爆炸作為背景，進(jìn)行自拍！可以說是超炫酷了。各大應(yīng)用商店搜索Google Arts & Culture下載。

如果你使用的是Android手機(jī)，你需要確認(rèn)一下是否裝了ARCore。

ARCore是谷歌推出的搭建增強(qiáng)現(xiàn)實(shí)（Augmented Reality，簡(jiǎn)稱 AR）應(yīng)用程序的軟件平臺(tái)，類似蘋果的ARKit，它可以利用云軟件和設(shè)備硬件的進(jìn)步，將數(shù)字對(duì)象放到現(xiàn)實(shí)世界中。

用ARCore實(shí)現(xiàn)AR效果

增強(qiáng)現(xiàn)實(shí)，是一種實(shí)時(shí)地計(jì)算攝影機(jī)影像的位置及角度并加上相應(yīng)圖像的技術(shù)，這種技術(shù)的目標(biāo)是在屏幕上把虛擬世界套在現(xiàn)實(shí)世界并進(jìn)行互動(dòng)。

這種技術(shù)最早于1990年提出。隨著隨身電子產(chǎn)品運(yùn)算能力的提升，增強(qiáng)現(xiàn)實(shí)的用途越來越廣。比如下面這個(gè)動(dòng)圖，通過AR設(shè)備你可以看到實(shí)際并不存在的藍(lán)色光圈。

AR已經(jīng)被廣泛應(yīng)用于自拍、短視頻、直播app中，可以實(shí)現(xiàn)一些好玩的效果。而其中最關(guān)鍵的挑戰(zhàn)在于將虛擬內(nèi)容適當(dāng)?shù)劐^定到現(xiàn)實(shí)世界中。這個(gè)過程需要一套獨(dú)特的感知技術(shù)，能夠跟蹤每個(gè)微笑，皺眉或傻笑背后的高動(dòng)態(tài)表面幾何。

所以今天我們就為大家介紹一下，開發(fā)者如何借助最新版本ARCore的全新Augmented Faces API，使機(jī)器學(xué)習(xí)（ML）來推斷近似的3D表面幾何形狀，從而只需要一個(gè)攝像機(jī)輸入，無需專用的深度傳感器就可以實(shí)現(xiàn)給自拍添加動(dòng)畫特效，比如添加眼鏡、3D帽子等物品。

3D網(wǎng)格及其實(shí)現(xiàn)的一些效果

這種方法提供了實(shí)時(shí)速度的AR效果，使用TensorFlow Lite進(jìn)行移動(dòng)CPU推理或其可用的新移動(dòng)GPU功能。

此技術(shù)與YouTube Stories的新creator effect效果相同，并且通過最新的ARCore SDK版本和ML Kit Face Contour Detection API，可供更廣泛的開發(fā)人員社區(qū)使用。

自拍AR的ML pipeline

我們的ML pipeline由兩個(gè)一起工作的實(shí)時(shí)深度神經(jīng)網(wǎng)絡(luò)模型組成。一個(gè)探測(cè)器，在整個(gè)圖像上運(yùn)行，并計(jì)算面部位置；一個(gè)通用3D網(wǎng)格模型，在這些位置上運(yùn)行并通過回歸預(yù)測(cè)近似表面幾何。

精確地裁剪面部可以大大減少對(duì)共同數(shù)據(jù)增強(qiáng)的需求，例如由旋轉(zhuǎn)，平移和比例變化組成的仿射變換。

它允許網(wǎng)絡(luò)將其大部分容量用于坐標(biāo)預(yù)測(cè)準(zhǔn)確度，這對(duì)于實(shí)現(xiàn)虛擬內(nèi)容的正確錨定至關(guān)重要。

一旦需要的位置被裁剪，網(wǎng)格網(wǎng)絡(luò)每次僅應(yīng)用于單個(gè)幀，使用窗口平滑以便在面部靜止時(shí)減少噪聲，同時(shí)避免在快速移動(dòng)時(shí)滯后。

3D網(wǎng)格

對(duì)于我們的3D網(wǎng)格，我們采用了傳遞學(xué)習(xí)并訓(xùn)練了一個(gè)具有多個(gè)目標(biāo)的網(wǎng)絡(luò)。

網(wǎng)絡(luò)同時(shí)預(yù)測(cè)合成、渲染數(shù)據(jù)上的3D網(wǎng)格坐標(biāo)，以及類似于MLKit提供的帶注釋的真實(shí)世界數(shù)據(jù)的2D語義輪廓。

由此產(chǎn)生的網(wǎng)絡(luò)不僅在合成上，而且在現(xiàn)實(shí)世界數(shù)據(jù)上為我們提供了合理的3D網(wǎng)格預(yù)測(cè)。

所有模型都接受來自地理上不同數(shù)據(jù)集的數(shù)據(jù)培訓(xùn)，隨后在平衡，多樣化的測(cè)試集上進(jìn)行測(cè)試，以獲得定性和定量性能。

3D網(wǎng)格網(wǎng)絡(luò)接收裁剪的視頻幀作為輸入。它不依賴于額外的深度輸入，因此它也可以應(yīng)用于預(yù)先錄制的視頻。

該模型輸出3D點(diǎn)的位置，以及在輸入中存在并合理對(duì)齊的面部概率。一種常見的替代方法是預(yù)測(cè)每個(gè)地標(biāo)的2D熱圖，但它不適合深度預(yù)測(cè)，并且對(duì)于這么多點(diǎn)具有高計(jì)算成本。

通過迭代引導(dǎo)和細(xì)化預(yù)測(cè)來進(jìn)一步提高模型的準(zhǔn)確性和魯棒性。這樣我們就可以將我們的數(shù)據(jù)集增長(zhǎng)到越來越具有挑戰(zhàn)性的案例，例如鬼臉，斜角和遮擋。

數(shù)據(jù)集增強(qiáng)技術(shù)還擴(kuò)展了可用的地面實(shí)況數(shù)據(jù)，開發(fā)了模型對(duì)相機(jī)缺陷或極端光照條件等工件的彈性。

數(shù)據(jù)集擴(kuò)展和改進(jìn)pipeline

我們使用TensorFlow Lite進(jìn)行設(shè)備上的神經(jīng)網(wǎng)絡(luò)推理。新推出的GPU后端加速可在可用的情況下提升性能，并顯著降低功耗。

此外，為了涵蓋廣泛的消費(fèi)類硬件，我們?cè)O(shè)計(jì)了各種具有不同性能和效率特性的模型架構(gòu)。

較輕的網(wǎng)絡(luò)最重要的區(qū)別是殘余塊布局和可接受的輸入分辨率（最輕的模型中為128x128像素，而最復(fù)雜的模型中為256x256）。

我們還改變了層數(shù)和子采樣率（輸入分辨率隨網(wǎng)絡(luò)深度減小的速度）。

每幀的推理時(shí)間：CPU與GPU

這些優(yōu)化的結(jié)果是使用較輕型號(hào)的顯著加速，AR效果質(zhì)量的降低最小。

比較最復(fù)雜（左）和最輕的模型（右）。

在輕型模型上，時(shí)間一致性以及唇部和眼睛跟蹤略微降低

這些努力的最終結(jié)果是通過以下方式為用戶體驗(yàn)在YouTube，ARCore和其他客戶中提供令人信服的，逼真的自拍AR效果：

通過環(huán)境映射模擬光反射，實(shí)現(xiàn)眼鏡的逼真渲染

通過將虛擬對(duì)象陰影投射到面網(wǎng)格上來實(shí)現(xiàn)自然光照

對(duì)面部遮擋建模以隱藏面部后面的虛擬對(duì)象部分，例如虛擬眼鏡，如下圖所示

YouTube Stories基于3D網(wǎng)格的逼真虛擬眼鏡

此外，我們通過以下方式實(shí)現(xiàn)高度逼真的妝效：

建模在嘴唇和嘴唇上應(yīng)用的鏡面反射

通過使用亮度感知材料進(jìn)行面部繪畫

案例研究將不同光照條件下5個(gè)主題的真實(shí)化妝與AR妝容進(jìn)行比較。

未來，谷歌計(jì)劃將此技術(shù)擴(kuò)展到更多谷歌產(chǎn)品中。