高品質(zhì)的挑戰(zhàn) - VR想被完美地消費(fèi)和使用 還面臨哪些技術(shù)挑戰(zhàn)？

　　實(shí)現(xiàn)高品質(zhì)VR的挑戰(zhàn)

　　高品質(zhì)移動(dòng)VR不僅對(duì)GPU有更高的要求，對(duì)整個(gè)系統(tǒng)都是很大的挑戰(zhàn)。發(fā)熱限值是VR設(shè)備的重要參數(shù)，為確保設(shè)備運(yùn)行時(shí)間內(nèi)不超出發(fā)熱限制，很多組件都需要重新設(shè)計(jì)，才能夠?qū)崿F(xiàn)視頻、GPU和顯示器的超低延遲、零拷貝路徑，以及嚴(yán)格的功耗管理。Linux系統(tǒng)對(duì)實(shí)時(shí)操作的要求不高，但低延遲的VR應(yīng)用則需要接近實(shí)時(shí)的系統(tǒng)運(yùn)行。因此，線程間通信和線程優(yōu)先級(jí)、動(dòng)態(tài)調(diào)頻調(diào)壓（DVFS）及其他系統(tǒng)集成細(xì)微的改變都會(huì)對(duì)“光子運(yùn)動(dòng)”關(guān)鍵路徑的穩(wěn)健性產(chǎn)生影響。暫時(shí)不談VR，一款安卓應(yīng)用需要經(jīng)過(guò)操作系統(tǒng)的三重緩沖，僅僅圖像提交路徑就會(huì)產(chǎn)生50ms的延遲。盡管最后的效果還過(guò)得去，短時(shí)視頻體驗(yàn)也還不錯(cuò)，但是眼睛和屏幕的延遲非常明顯。如此，看不了太久，延遲就會(huì)使人不舒服，甚至感到惡心，哪怕是觀看相對(duì)靜態(tài)的內(nèi)容也不會(huì)有很大的改觀。盡管VR體驗(yàn)讓人印象深刻，但產(chǎn)業(yè)發(fā)展的重點(diǎn)是為大眾市場(chǎng)帶來(lái)高品質(zhì)VR產(chǎn)品，唯有此，才能進(jìn)一步釋放其巨大的發(fā)展?jié)摿Α?/p>

　　業(yè)界通用的“光子運(yùn)動(dòng)”延遲最高為20ms。低于20ms的話，延遲就難以被察覺。對(duì)刷新率為60幀／秒（16毫／幀）的標(biāo)準(zhǔn)面板來(lái)講，這一目標(biāo)很難實(shí)現(xiàn)；但通過(guò)一系列技術(shù)的結(jié)合，三星Gear VR設(shè)備現(xiàn)在已經(jīng)可以實(shí)現(xiàn)：

　　“異步時(shí)間扭曲”流程

　　直接渲染到顯示器前置緩沖

　　使用低持續(xù)性的OLED顯示器

　　一旦通過(guò)應(yīng)用框架，應(yīng)用程序就可以收集最新的頭部追蹤數(shù)據(jù)，將當(dāng)前世界渲染成“眼部緩沖區(qū)（eyebuffer）”（一種特殊紋理，對(duì)應(yīng)左右眼分成邏輯兩側(cè)）。如果可能的話，我們建議應(yīng)用程序以60幀／秒的速度運(yùn)行，但實(shí)際應(yīng)用中很難保證，所以將目標(biāo)設(shè)定為30幀／秒更為顯現(xiàn)實(shí)。為了保證幀速率，降低有效延遲時(shí)間，異步運(yùn)行的時(shí)間扭曲流程會(huì)負(fù)責(zé)收集最新的有效eyebuffer，并在顯示器讀取之前直接將其寫入前置緩沖。安裝ARM Mali GPU的“context—priority”擴(kuò)展后，時(shí)間扭曲流程能采用單獨(dú)的高優(yōu)先級(jí)OpenGL ES（嵌入式系統(tǒng)開放圖形庫(kù)）內(nèi)容進(jìn)行渲染。提交高優(yōu)先級(jí)內(nèi)容后，GPU上現(xiàn)有的渲染工序會(huì)自動(dòng)中斷，完成高優(yōu)先級(jí)內(nèi)容渲染后再繼續(xù)原有任務(wù)。采用該流程，時(shí)間扭曲可以及時(shí)提交渲染任務(wù)，顯示器也可以再次讀取返回的數(shù)據(jù)。時(shí)間扭曲對(duì)顯示屏的渲染時(shí)間比應(yīng)用程序更短，其獲得的頭部追蹤數(shù)據(jù)也就更新，進(jìn)而可以調(diào)整eyebuffer內(nèi)容，使之與頭部的實(shí)際方向更加匹配。時(shí)間扭曲僅能針對(duì)頭部轉(zhuǎn)動(dòng)進(jìn)行調(diào)整，而無(wú)法根據(jù)頭部固定位置或動(dòng)畫場(chǎng)景來(lái)調(diào)節(jié)，但實(shí)際應(yīng)用中，因?yàn)轭^部轉(zhuǎn)動(dòng)的時(shí)間延遲低于可被注意到的閾值，流暢的體驗(yàn)就可以形成。這“剛好及時(shí)”將內(nèi)容渲染到前置緩沖的方式最適合低持續(xù)性的OLED顯示器。

　　對(duì)全局背光LCD顯示器來(lái)講，屏幕必須及時(shí)照亮單點(diǎn)圖像。相反，低持續(xù)性O(shè)LED顯示器的照亮?xí)r間很短，因?yàn)閹彌_已經(jīng)完成讀取。若屏幕保持水平，使用慢動(dòng)作攝影機(jī)觀看，每一幀的畫面你都會(huì)看到一道在面板上從左到右運(yùn)行的光波。這使得觀看屏幕時(shí)，頭部可以旋轉(zhuǎn)至不同方向，并進(jìn)一步降低延遲。

　　盡管延遲時(shí)間是一個(gè)亟待攻克的技術(shù)難關(guān)，但人們對(duì)VR的需求不會(huì)因此而終結(jié)。在頭部佩戴鏡頭以放大面板倍率則進(jìn)一步印證了我們對(duì)高清面板的渴望。哪怕原始分辨率已經(jīng)達(dá)到1440p，面板的視差發(fā)光格柵仍清晰可見；但對(duì)分辨率大于 1440p，幀率超過(guò) 60 FPS的顯示屏來(lái)講，我們還需要在系統(tǒng)上花更大的功夫，并進(jìn)一步提高外置存儲(chǔ)器帶寬。隨著壓縮視頻、GPU和顯示器間的幀緩沖交換變得愈加重要，所有ARM IP均使用無(wú)損ARM幀緩沖壓縮（AFBC）技術(shù)，以盡可能地減少幀緩沖存儲(chǔ)器流量。還有一點(diǎn)非常重要，為了高效地創(chuàng)建eyebuffer，且無(wú)需為左右眼重復(fù)做功，應(yīng)用程序需要更有效地渲染至多視圖。在具備該技術(shù)的平臺(tái)上，Mali可以支持“多視圖” OpenGL ES擴(kuò)展，允許應(yīng)用程序在一幀圖像到達(dá)驅(qū)動(dòng)器后提交繪制命令，同步完成左右眼的eyebuffer創(chuàng)建。這一流程可以顯著縮短應(yīng)用程序和驅(qū)動(dòng)器需要的CPU計(jì)算時(shí)間。同時(shí)，我們進(jìn)一步優(yōu)化了Midgard Mali GPU的頂點(diǎn)運(yùn)算能力，運(yùn)行頂點(diǎn)著色器中不依賴眼睛的部分，并實(shí)現(xiàn)雙眼共享。Vulkan是Khronos公司開發(fā)的全新跨平臺(tái)API，可以進(jìn)一步降低CPU開銷，讓開發(fā)者對(duì)產(chǎn)品有更大的掌控力度，促進(jìn)移動(dòng)VR的發(fā)展。

　　VR是一項(xiàng)開創(chuàng)性的技術(shù)，正在快速發(fā)展的過(guò)程中。得益于現(xiàn)代移動(dòng)設(shè)備的普及和強(qiáng)大功能，VR不再只是昂貴的定制臺(tái)式機(jī)或控制臺(tái)系統(tǒng)的專屬。為了真正實(shí)現(xiàn)VR，發(fā)揮其對(duì)世界的潛在影響，移動(dòng)VR必須面向大眾市場(chǎng)。作為這一領(lǐng)域的意見領(lǐng)袖，我們致力于推動(dòng)其繼續(xù)發(fā)展并與合作伙伴密切協(xié)作，提供高品質(zhì)的VR體驗(yàn)，發(fā)揮該技術(shù)的最大潛力，實(shí)現(xiàn)更加美好的虛擬世界。