谷歌利用光場(chǎng)技術(shù),VR視頻和全景視頻有什么不同?

谷歌一直堅(jiān)信虛擬現(xiàn)實(shí)身臨其境的力量，但要?jiǎng)?chuàng)建最為逼真的臨場(chǎng)感，在VR中展示的內(nèi)容需要盡可能接近看到的內(nèi)容。
光場(chǎng)是一種先進(jìn)的捕捉，拼接和渲染算法。通過為靜態(tài)捕捉圖像生成運(yùn)動(dòng)視差和非常逼真的紋理和光照，光場(chǎng)可以向你提供極高質(zhì)量的臨場(chǎng)感。為了展示這種技術(shù)的潛力，谷歌日前正式在Steam上發(fā)行了免費(fèi)應(yīng)用“Welcome to Light Fields”，支持HTC Vive，Oculus Rift和WMR頭顯。

谷歌的光場(chǎng)技術(shù)

捕捉和處理光場(chǎng)

對(duì)于光場(chǎng)，附近的對(duì)象似乎相當(dāng)靠近你。當(dāng)你移動(dòng)頭部的時(shí)候，它們看起來的變化會(huì)很大。遠(yuǎn)處的對(duì)象變化較少，不同對(duì)象的光線發(fā)射也不同，因此你會(huì)得到強(qiáng)烈的暗示，認(rèn)為自己正身處于3D空間之中。當(dāng)通過支持位置追蹤的VR頭顯進(jìn)行瀏覽時(shí)，光場(chǎng)可以根據(jù)真實(shí)世界中捕獲的片段實(shí)現(xiàn)真正令人驚嘆的VR體驗(yàn)。

這一切的原因在于光場(chǎng)可以記錄進(jìn)入空間的所有不同光線。為了記錄它們，谷歌改裝了一臺(tái)GoPro Odyssey Jump相機(jī)平臺(tái)，將其彎曲成16個(gè)鏡頭的垂直弧形并安裝在旋轉(zhuǎn)平臺(tái)上。

左：在發(fā)現(xiàn)號(hào)航天飛船甲板上拍攝的球形光場(chǎng)延時(shí)拍攝視頻。

右：光場(chǎng)渲染允許我們通過對(duì)鏡頭記錄的光線進(jìn)行采樣和插值，并且在球形空間內(nèi)的任何位置合成新場(chǎng)景視圖。

相機(jī)平臺(tái)旋轉(zhuǎn)并錄制70厘米球體上的大約1000個(gè)外向視角大概需要1分鐘。這提供了一個(gè)兩英尺寬的光線量，而后者決定了頂部空間的大小，亦即用戶為探索場(chǎng)景而轉(zhuǎn)動(dòng)頭部的空間。為了向頭顯渲染視圖，谷歌從球體表面上的相機(jī)位置采樣光線，從而構(gòu)建從球體內(nèi)部看到的新視圖，并以此匹配用戶移動(dòng)頭部的方式。它們?cè)谝粋€(gè)自定義數(shù)據(jù)集文件中對(duì)齊和壓縮，據(jù)小編了解谷歌是通過作為Unity游戲引擎插件的特殊渲染軟件讀取這個(gè)數(shù)據(jù)集文件。

用光場(chǎng)記錄世界

谷歌選擇了數(shù)個(gè)特殊場(chǎng)所來測(cè)試他們的光場(chǎng)相機(jī)平臺(tái)。谷歌表示，他們鐘愛帕薩迪納蓋博住宅(Gamble House)的亮漆柚木和紅木內(nèi)飾，威尼斯馬賽克小屋(Mosaic Tile House)的光澤陶瓷和閃亮，以及格拉納達(dá)山圣斯蒂芬教堂那陽光瀲滟的彩色玻璃窗。最重要的是，史密森學(xué)會(huì)的航空航天博物館和3D數(shù)字化辦公室允許谷歌進(jìn)入NASA的發(fā)現(xiàn)號(hào)航天飛船，在這個(gè)不對(duì)外開放的飛行甲板中為我們提供宇航員的視角。最后谷歌錄制了一系列的光場(chǎng)，并且實(shí)驗(yàn)了眼神接觸如何應(yīng)用于6自由度體驗(yàn)。

VR視頻是探索世界的一項(xiàng)光明技術(shù)。盡管只是實(shí)驗(yàn)，但光場(chǎng)向我們展示了VR體驗(yàn)可以實(shí)現(xiàn)的逼真水平 。

VR視頻和全景視頻的區(qū)別

VR視頻與全景視頻有什么區(qū)別?

我們用一張圖來說明360度全景視頻和VR視頻的不同：

全景視頻很好理解，就是有別于傳統(tǒng)視頻單一的觀看視角，讓人們可以360度自由觀看。而VR視頻在此基礎(chǔ)上，還允許人們?cè)谝曨l里自由移動(dòng)觀看（提供場(chǎng)景中任意位置的360度自由視角）。

全景視頻可以是3D的也可以不是，可以通過屏幕觀看，也可以帶上眼鏡觀看。而VR視頻必須帶上頭顯觀看，且必須是3D的。

全景視頻是線性播放的，也就是按照時(shí)間軸來進(jìn)行回放的。而VR視頻可以允許用戶在同一時(shí)間，站在不同的位置觀看（有點(diǎn)類似科幻電影里時(shí)間暫停了，然后觀察者在定格的時(shí)間和空間里任意移動(dòng)，觀看周圍的人物和景物）。

全景視頻和VR視頻有什么相似之處？

1.都可以是3D的（全景視頻也有2D版）；

2.都能360度上下、左右旋轉(zhuǎn)觀看；

3.具有視覺沉浸感。

那有什么不同呢？

最大區(qū)別就是VR視頻允許觀看者在場(chǎng)景里自由走動(dòng)觀察，但全景視頻不行，拍攝機(jī)位在哪兒，觀看者就必須在哪兒，頂多只能原地360度觀看。

如果是一部VR電影，那么傳統(tǒng)的“鏡頭運(yùn)動(dòng)、場(chǎng)景切換、Zoom In or Zoom Out”可能都將被取代，由觀眾來決定鏡頭位置。你可以把VR視頻看成是“3D全景視頻+自由移動(dòng)”。

所以，現(xiàn)在大家所看到的基本都是“偽VR視頻”，各大視頻網(wǎng)站上標(biāo)稱的VR視頻也基本都是360度全景視頻。而打著“VR相機(jī)”口號(hào)行銷的其實(shí)大部分都是360度全景相機(jī)。那么，我們不禁要問，真正的VR視頻是什么樣呢？

真正的VR視頻目前只能通過CG實(shí)現(xiàn)

如何才能拍攝出真正的VR視頻呢？很遺憾，以現(xiàn)在的技術(shù)手段和設(shè)備能力還很難實(shí)現(xiàn)。所以到目前為止，我們還沒有看到過一部真正意義上的VR視頻是被實(shí)際拍攝出來的。因?yàn)橐慌_(tái)攝像機(jī)只能捕捉一個(gè)位置的光線，而要實(shí)現(xiàn)場(chǎng)景里的自由移動(dòng)，需要捕捉場(chǎng)景里任意位置的光線，顯然我們無法在場(chǎng)景里安置那么多攝像機(jī)，這是矛盾的。現(xiàn)今的谷歌光場(chǎng)技術(shù)是否能解決這問題？

那未來有沒有可能呢？答案是肯定的。

要拍攝真正意義上的VR視頻，我們需要光場(chǎng)攝像機(jī)。

什么是光場(chǎng)攝像機(jī)？這絕對(duì)是一個(gè)黑科技，很難用幾句話表述清楚。大概意思就是通過矩陣式攝像頭（非常非常多的微型攝像頭），捕捉和記錄周圍不同角度射入的光線信號(hào)，再利用計(jì)算機(jī)后期合成出任意位置的圖像。

Lytro公司去年發(fā)布的360度光場(chǎng)攝像機(jī)

Immerge，其內(nèi)部的數(shù)百個(gè)鏡頭和圖像傳感器分為五個(gè)“層”（你可以想象每層都是20部GoPro相機(jī)組合在一起），除此之外還配套專用的服務(wù)器和編輯工具等。

與傳統(tǒng)攝像機(jī)不同的是，光場(chǎng)攝像機(jī)除了記錄色彩和光線強(qiáng)度信息外，還會(huì)記錄光線的射入方向——這就是“光場(chǎng)”技術(shù)的由來。

有了從四面八方射入的光的方向信息，再利用算法，就能對(duì)環(huán)境進(jìn)行分析，逆向建模，從而還原出一個(gè)三維的環(huán)境模型。這和計(jì)算機(jī)建模（CG）的結(jié)果是相似的，只不過CG是人為主觀“虛構(gòu)”模型，而光場(chǎng)攝像機(jī)是逆向方式“客觀”還原模型。

有了三維模型，計(jì)算機(jī)便可以實(shí)時(shí)計(jì)算出任意位置的視覺圖像，3D+360度全景也沒有問題。這就是說，光場(chǎng)攝像機(jī)所在的位置拍攝到的景象是真實(shí)的，而自由移動(dòng)位置后看到的景象是通過電腦后期合成的。

Lytro公司坦言目前他們只能做到視角在一定范圍的左右和前后移動(dòng)，要想“看到”物體背面的樣子還不行（也許要對(duì)反射光進(jìn)行計(jì)算和建模）。所以要實(shí)現(xiàn)真正意義上的VR視頻，還是電腦建模然后實(shí)時(shí)渲染輸出最簡(jiǎn)單。

如今所有的VR游戲，都可以看作是VR視頻。不僅可以3D顯示+360度全景，還可以自由移動(dòng)，甚至控制時(shí)間軸也沒有問題。只是，VR視頻都用計(jì)算機(jī)建模了，還有拍攝什么事情呢？我們要繼續(xù)討論VR視頻的拍攝過程嗎？

當(dāng)然要，全景視頻雖然是“偽VR視頻”，但全景視頻還是可以被認(rèn)為是VR視頻的初級(jí)階段。因?yàn)槿耙曨l加上3D效果也能帶來沉浸感，相比普通視頻已經(jīng)有了質(zhì)的飛躍，應(yīng)用領(lǐng)域也非常廣闊，值得我們?nèi)L試和探索。

未來VR的呈現(xiàn)方式會(huì)趨向多元化，頭顯本身的發(fā)展也會(huì)從目前眼前單一屏幕向光場(chǎng)化真實(shí)化邁進(jìn)，目前以Magic Leap為代表的國內(nèi)外研究機(jī)構(gòu)在光場(chǎng)頭戴式顯示進(jìn)行探索，這種頭顯可以讓人眼聚焦在虛擬物體的不同深度，而不是一塊顯示屏上; 最后，應(yīng)用方式上，谷歌Welcome to Light Field為我們提供了一個(gè)很好的范例，更好的光場(chǎng)應(yīng)用方式還需要進(jìn)一步研究探索，比如，虛擬的光場(chǎng)和真實(shí)世界的逼真融合以及自然的交互也會(huì)成為學(xué)界和產(chǎn)業(yè)界的熱點(diǎn)。"