Facebook攜手Sketchfab為AR Studio增添更多3D模型

隨著AR的逐漸興起，巨頭們追逐AR開發(fā)的趨勢已經(jīng)十分明顯，各家都開始推出自己的AR開發(fā)平臺，像蘋果的ARKit、谷歌的ARCore，還有我們這次的主角AR Studio。

作為一個發(fā)布已經(jīng)有一段時間的AR開發(fā)平臺，AR Studio可以提供的功能并不是很豐富，只提供開發(fā)者制作各種濾鏡、特效和貼圖的能力，甚至可以說，F(xiàn)acebook對AR的理解，更多地是停留在相機捕捉到的實際環(huán)境影像的基礎上，疊加一些濾鏡、貼圖、邊框效果，這與Snapchat的相機濾鏡功能并沒有太大的區(qū)別。

而最近，在F8 開發(fā)者會議上, Facebook宣布，將會更新AR Studio，集成 Sketchfab 的下載 API，同時，將使AR Studio具備更多功能。

先來說說Sketchfab，Sketchfab是最大的3D模型分享網(wǎng)站，提供大量非常精美的3D模型下載 鏈接。在集成API后，開發(fā)人員可以直接從 Facebook提供的API中添加Sketchfab 免費內(nèi)容庫中的3D 模型,免于自建模型或另外渠道下載的麻煩。

Sketchfab 的共同創(chuàng)始人兼首席執(zhí)行官 Alban Denoyel 在博客文章中說，"與 Facebook 合作是我們實現(xiàn)下載 API 的一個重要里程碑。我們確實認為 Facebook 是一個將該功能帶到用戶端的候選者?，F(xiàn)在, 將 API 集成到創(chuàng)建者端將使開發(fā)人員更容易地將3D 內(nèi)容導入到其 AR 體驗中?！?/p>

關于AR Studio的更新， Facebook提供了兩個新的功能，一個是實現(xiàn)對身體和手部的追蹤；一個是對場景基于語義的理解，以此為基礎可以得到更高保真度的背景分割。

先看背景分割吧，背景分割是許多可視化應用中重要操作。要求獨立提取特定對象的圖像，從技術上講，需要將動態(tài)的前景與靜態(tài)的背景分離。

舉個例子，如果有一張沒有游客的房間或者沒有車輛的道路背景圖，那么很簡單，只要將新圖和背景圖做減法，就能得到前景圖了。但是多數(shù)情況是沒有這樣的背景圖的。所有我們需要在任何情況下都可以提取背景圖。當有車輛陰影時，就變得很復雜。陰影也是移動的，簡單的減法會把陰影算在前景里，這是一件比較麻煩的事。

Facebook對此有自己的解決方案。今年一月底，我們就發(fā)過一篇文章：Facebook新研究為未來全身AR打下基礎，在這篇文章中，說過Facebook發(fā)表了一篇論文，對原有的Mask R-CNN框架進行了優(yōu)化，得到一個新的、占用內(nèi)存更小、效率更高的框架Mask R-CNN2Go，這個框架可以直接被應用到智能手機上，而智能手機可以基于它實現(xiàn)對場景的語義理解，并且在此基礎上實現(xiàn)背景分割，識別人的整個身體。

從目前的信息來看，F(xiàn)acebook的新AR Studio提供的功能與這篇論文提到的功能非常相似，只是論文中比較關注利用背景分割對人整個身體的識別，而實際的功能則更為全面，將識別對象的選擇權(quán)交到了開發(fā)者的手中。

這么一來，新的AR Studio提供的身體和手部追蹤功能就好理解了，身體的追蹤就是完全還原了論文中提到的功能，手部追蹤也只是把分割的對象從身體變成了手而已。換句話說，本次AR Studio更新的功能可能都是來源于Facebook改進的語義識別框架Mask R-CNN2Go。

當然，對場景的語義理解不止做到背景分割這樣一個功能,還可以處理一些細節(jié)的問題。通過對場景進行語義理解, AR 內(nèi)容將能夠更有意義地與現(xiàn)實世界中的對象交互，例如, 當在場景中識別出杯子時,虛擬的蒸汽從真正的杯子中升起，這將使Facebook的AR體驗更加真實。

總之，F(xiàn)acebook對其AR開發(fā)平臺的更新將改善AR Studio功能上的豐富性，優(yōu)化其創(chuàng)造的AR體驗。對AR Studio來說，將會是一個不小的進步。