Google ARCore為你解鎖增強現(xiàn)實的未來

5月11日，Unite Shanghai 2019正式開幕，在會上，Google 中國 AR/VR 負責(zé)人Carrie Shiung以“Google ARCore為你解鎖增強現(xiàn)實的未來”為主題發(fā)表了演講，其講述了ARCore的核心功能部分，以及ARCore在2019 Google I/O發(fā)布的最新功能。

以下為演講內(nèi)容整理：

我是Google中國AR、VR負責(zé)人。很多人在業(yè)界朋友們碰到我, 都會一臉憂慮告訴我，現(xiàn)在AR市場很冷怎么辦呢？但是我今天不是要來跟大家解盤或打雞血的，我們今天想要實實在在的跟大家分享，Google 對AR 的定位、ARCore 的進程以及我們?yōu)槭裁匆褂肁R技術(shù)，AR都用在哪里？我也想快速跟大家分享一下Google新發(fā)布的AR功能。

Google對AR的定位

我們看到體驗方式不斷變革，從非常久以前的打字、手寫、語音，到了現(xiàn)在的視覺方式，就是用你的眼睛來看這個世界。另外一方面來說，人類是視覺的動物，我用我的視覺感知可以了解到很多有趣的事情。人類腦子有30%神經(jīng)都是在處理視覺的，AR 技術(shù)就是來訓(xùn)練機器怎么看世界，怎么看東西，而且會開啟人機互動的革命。

有了眼睛，其實會需要我們的大腦，來理解消化場景。所以Google也在不斷發(fā)展認知理解、知識系統(tǒng)、人工智能、機器學(xué)習(xí)等，來配合眼睛有更舒適的視覺處理，之后能夠讓感知的事情和機器更加為人類提供更好的服務(wù)。

我們所謂更豐富的輸入到底是什么呢？大家可以想一下，我們?nèi)祟愂窃趺礃涌词澜绲?？其實只要看一眼大概就可以知道一個東西的大小、材質(zhì)，就可以大概知道我是在一個非常漂亮的餐廳里面，可以知道外面光線是什么樣的。我們Google認為現(xiàn)階段最接近人類眼睛的就是手機上的相機，幾乎是一個超級計算機，有非常非常豐富的傳感器，再加上IMU, GPS, 算法及機器學(xué)習(xí)等，各種不同的認知，經(jīng)過理解、翻譯之后可以輸出更豐富的現(xiàn)實和虛擬疊加的畫面。

怎么樣叫做更多樣的輸出呢？我們看有一個公司叫做Streem Pro，是直接把加油手冊直接投射在汽車上面，你再也不用拿著手冊去對照到底在哪里加油。第二，Google的Measure，你可以直接用你的手機量度大小尺寸。第三，Google的Maps，我們可以看到直接把要怎么樣走，怎么樣轉(zhuǎn)彎直接投射在要轉(zhuǎn)彎的路上，就不需要非常困難尋找了，就像為你私人設(shè)置的路牌一樣。第四，Tendar游戲，你可以用表情和情緒在你家里養(yǎng)一只虛擬的孔雀魚，很治愈，也不不需要換水喂食物。第五，Google的Playground。

因此，我們相信AR其實是用來解鎖更有趣的互動方式。我們用手機拿起來可以非常了解公司剛買的酷炫咖啡機，你要看杯子放在什么樣的位置，用什么樣的加熱原理讓你覺得咖啡機原理真的很棒，這個就是AR場景。

市場為什么冷？其實我們覺得AR再也不僅是一個科技名詞，而是用來吸引眼球的，因為它非常的有用，它非常的助力無窮，也可以創(chuàng)意十足，它是以視覺展示為基礎(chǔ)展現(xiàn)出來的，另一方面可以非常容易表達出來你想表達的東西，未來的創(chuàng)作間是整個世界了。

ARCore 核心功能部分

我們來看一下真正的ARCore功能。

我稍微科普一下ARCore，第一部分做的是運動跟蹤，AR就是利用攝像頭中間的視覺差異跟傳感器做一個很好的測量結(jié)果，白話來說如果想要放一個虛擬東西在場景當(dāng)中，就像放一個稻草人跟你一樣排隊買食物，只需要一個虛擬相機配合你的手機真實相機來做。

第二，環(huán)境理解。ARCore提供的另一個重要功能就是環(huán)境理解，也就是估算現(xiàn)實環(huán)境中的平面信息。具體來說，ARCore會提取檢測攝像頭畫面的特征點，查找歸類那些位于水平或垂直平面上的成簇的特征點，來估算平面的位置和大小。 通過ARCore提供的API，你可以獲取平面的類型（水平還是垂直），平面的邊界多邊形、以及平面的中心位置。利用ARCore檢測到的平面， 你可以很容易的將虛擬物體放置在現(xiàn)實世界中平面上， 比如你可以將一個虛擬場景平穩(wěn)的放置在一個桌面上， 或者給墻上加一些嚇人的蜘蛛傳送門等等。

第三，光估測。ARCore可以分析手機攝像頭拍攝到的圖像信息，以及拍攝的參數(shù)，來估算當(dāng)前環(huán)境中的光照信息。使用這些估算的光照信息，你可以對你渲染的虛擬內(nèi)容進行光照和色彩的矯正， 使其與手機攝像頭拍到的畫面結(jié)合的更加自然，提高虛擬內(nèi)容真實感。

第四，可跟蹤對象，就是Trackable。這個Trackable就是現(xiàn)實世界可以追蹤的點，就是物體移動它可以跟著移動，主要方法就是想做一個虛擬物體，可以跟著桌面，跟著椅子，做一些不同連接，保持物體之間的連接，如果物體移動之后回來之后還是連接這個桌子的。

第五，定向點是一種特殊的特征點，是ARCore中的一種可跟蹤對象。ARCore會查看其附近的特征點并使用這些特征點估算這個定向點所在平面的法線的方向。借助定向點，您可以將虛擬物體置于傾斜的表面上。

第六，增強圖像。增強圖像是虛擬物體和現(xiàn)實世界中互動的一個最佳實踐，ARCore 可以檢測手機拍攝到的圖像信息，并與預(yù)先設(shè)置的數(shù)據(jù)庫中的2D圖像去匹配。 當(dāng)ARCore匹配到圖像數(shù)據(jù)庫中的圖像時，他會返回一個增強圖像的可跟蹤對象。 你可以獲取圖像的在現(xiàn)實空間中的姿態(tài)， 大小等信息。利用這一功能，你可以構(gòu)建能夠響應(yīng)特定 2D 圖像（如產(chǎn)品包裝或電影海報）的 AR 應(yīng)用。用戶可以在將手機的攝像頭對準(zhǔn)特定圖像時觸發(fā) AR 體驗。

第七，云錨點。我要怎么解決多人共享，或者怎么樣讓它一直存在在AR世界里面呢？其實云錨點就是解答，我們可以用設(shè)備放到云端做托管工作，再把錨點與同一環(huán)境中的Android和IOS設(shè)備做共享。

ARCore的改進

我們現(xiàn)在一直在不斷演進，我們做了很多的改進，我們第一個的改進就是運動跟蹤，就是在跟蹤物體時可以非常容易找到，不會有不穩(wěn)定的情況，從現(xiàn)在30%的穩(wěn)健性提升，其實主要就是說可以有效進入特征，我們都可以把這個反饋給開發(fā)者，讓大家更好在APP里面引導(dǎo)你怎么做。

第二，平面檢測也是大家覺得非常重要的，其實AR方面的三角測量需要有一定的動作和面積，緩慢移動才能讓我們很好看到平面，有些人是因為應(yīng)用很久就找不到平面了，在這個方面也下了很多功夫做改進，這個方面不知道該怎么去掃平面，所以用自己的算法可以讓它真正減少平面檢測時間。我們已經(jīng)將第一次找到平面所需的時間，降低了50%。

另外一個更新相機更新。我們在相機方面也會不斷更新，主要第一個拍AR照片時為了讓虛擬物體看起來非常真實，在一些焦距上面都有控制，你現(xiàn)在拍AR照片都解決了非常多的不清楚的問題，還有一個共享攝像頭權(quán)限，開發(fā)者可以在AR攝像機里面很快轉(zhuǎn)化到攝像里面。此外，我們還加了支持前置攝像頭的AR拍攝方式。

ARCore跟Unity也有深度的結(jié)合，我們每個版本都會實時更新，大家可以直接去用?；蛘呤钦f可以用Unity做ARCore的開發(fā)。我們也把在ARCore的功能帶到IOS里面，真正做到跨平臺。

現(xiàn)在全球已經(jīng)有4億的ARCore認證設(shè)備了，我們相信這個數(shù)據(jù)會不斷增加了，為什么會有這個自信會增加呢？因為和很多大廠合作了，他們在設(shè)計開發(fā)時就已經(jīng)討論了手機出廠時確定這個是ARCore的設(shè)備，所以手機新出廠可以讓更多人享用到ARCore。國外國內(nèi)都有很多的APP，有各式各樣的，可以讓大家使用的，用在你的設(shè)備里或者發(fā)揮你的創(chuàng)意。

當(dāng)然了，我今天一定要講一下跟中國有關(guān)的事情，也就是說在去年上市的時候，我們也在中國同步上線，現(xiàn)在ARCore1.9在全球百分之百發(fā)布，我們在中國各個商店里面也是在今天發(fā)布的。大家現(xiàn)在就可以享受到ARCore發(fā)布的功能。另外，在中國也在做手機認證，目前可以支持4500萬。

另外，我們跟國內(nèi)很多開發(fā)者進行合作，在購物、興趣點、游戲、個人表達，這幾個行業(yè)應(yīng)用里面，不管跟頭部合作伙伴還是各位開發(fā)者一起來打造AR應(yīng)驗，讓它被更多人所應(yīng)用。我們來看一下國內(nèi)的應(yīng)用，像美圖已經(jīng)用到了臉部增強功能，這個效果看起來真的是非常真實的。另一方面，神奇AR也是做了非常爆紅的貼紙，做的也非常真實，還有一款是Snaappy，你可以用AR來傳遞給你的朋友。

以下很快跟大家分享一下發(fā)布的新功能。在講新功能之前，先說一下為什么要做ARCore？因為我們希望在更多地方有更多用戶，提供更逼真的體驗。我們一直認為說逼真是非常重要的，我們看看在2019年 Google I/O 做了什么東西呢？

2019 Google I/O ARCore 更新

第一，增強臉部。我們發(fā)現(xiàn)自拍 Selfie 已經(jīng)成為全球流行的一個現(xiàn)象，大家每個人都對自己的臉有非常表達的欲望，希望有最美的妝容，最酷炫的臉，因此，今年就全新推出了一個增強臉部功能。

大家看一下增強臉部功能提供了前置攝像頭，有非常好的精度，支持468個點的3D網(wǎng)絡(luò)，人的臉部經(jīng)過細小的肌肉產(chǎn)生出不同的表現(xiàn)，會有各種不同的表情來操作不同的事情。另一方面，因為種族，因為年齡，因為膚色的不同，你要能夠非常要做臉部是一個很大的挑戰(zhàn)，我們其實做了非常多的，我們做了算法改進，讓它可以適應(yīng)大部分的做法。更重要的是，我們不需要深度傳感器，而是使用機器學(xué)習(xí)技術(shù)來實現(xiàn)這樣的功能。

我們可以看到酷炫，日曬，冰凍等炫酷效果。我們也將在今年夏天推出IOS的ARCore，我們不需要深度的傳感器，再低版本的手機也可以享受到功能。第一個和我們合作的是美圖，他們將在下周的時候就在潮自拍上、美圖上會有這個功能。

第二，增強圖像。你可以去看整個需要理解的環(huán)境，最大可以做到10乘以10的空間，相關(guān)點可以投射到10乘以10的空間里面。

第三，移動增強圖像。這個例子是可以把一個紙片用手機照一下，之后就會變成移動迷宮，你可以直接移動紙片完成游戲。這個部分也跟京東一起合作了，做了相關(guān)的案例，這是讓小孩子做拼字游戲的部分。如果對著這個圖片的話有C、A、R，如果對著字母的話會變成3D圖形。除了把AR 和圖片鏈接，我們還可以改變現(xiàn)實物品并呈現(xiàn)在虛擬世界的東西，例如Notable Woman的 app, 是由Roisie Rios 和Google creative lab 共同開發(fā)的，用來表彰美國歷史上重要的女性楷模，你可以把美元上的華盛頓轉(zhuǎn)換成女性楷模的頭像，效果非常驚艷，完全能夠以假亂真。

我再講一個比較底層的功能，這個是非常非常重要的，就是為什么把這個世界感覺變得更真實，其實就需要360度的HDR的光照效果。

講完以上的話，除了AR讓開發(fā)者用的各種功能，再講一下場景觀測器，這個目標(biāo)是讓更多人簡單享受到AR，這個主要為網(wǎng)站達到經(jīng)驗，讓網(wǎng)站可以直接顯現(xiàn)3D的場景。大家看一下這個是怎么實現(xiàn)呢？我想現(xiàn)在大部分都知道Model Viewer，這是一個元件可以直接加入進來，如果要AR功能是非常簡單的，你只要在Model Viewer加入進去就可以了。