VR技術(shù)在保護(hù)文物方面的應(yīng)用案例

文物3D數(shù)字化的需求

首先，文物3D數(shù)字化的結(jié)果應(yīng)是高保真的，即要求做到每一處細(xì)節(jié)均應(yīng)嚴(yán)格忠實(shí)于原作，而且不僅僅是外形的高保真，還包括色彩、圖案、質(zhì)地、不可移動文物的擺放位置和擺放方向等，比如圖案不能產(chǎn)生拉伸、玉器瓷器等不同質(zhì)地應(yīng)與原物忠實(shí)等，不能引入主觀成分，否則失去文物數(shù)字化的價(jià)值。

文物數(shù)字化需滿足文物信息獲取的完整性，具體包括：文物的形狀（點(diǎn)的空間分布）、色彩、圖案、質(zhì)地（表面和內(nèi)部的光學(xué)屬性）、不可移動文物的擺放位置和擺放方向、病蟲害現(xiàn)狀、蘊(yùn)藏在文物中的文化內(nèi)涵等。而且，全部可見信息應(yīng)被數(shù)字化，不應(yīng)出現(xiàn)空洞，包括文物的內(nèi)部。

文物數(shù)字化還應(yīng)要求采集時(shí)不能對文物造成任何破壞，包括對文物的物理損壞和所使用的高功率光源對顏料的影響等。尤其是不可移動文物，不能為了采集而改變文物本身擺放的方位，將文物從原處搬到空地上。

文物的數(shù)字化應(yīng)達(dá)到足夠高的精度，尤其是在需要將文物數(shù)字化保存作為研究依據(jù)和一比一重建依據(jù)時(shí)，另外還應(yīng)考慮近距離細(xì)節(jié)展示以及大屏幕沉浸感展示的需要，比如壁畫中的細(xì)線條，在投射到球幕或巨幕上也應(yīng)保持不模糊且沒有馬賽克。

文物數(shù)字化之后得到的海量數(shù)據(jù)，應(yīng)進(jìn)行高效地組織，以便快速檢索和調(diào)度。

3D數(shù)字化方法探秘

目前文物的3D數(shù)字化，主要有三種方法：

（1）手工3D建模

顧名思義，手工3D建模就是借助3D建模軟件進(jìn)行手工建模，常用的3D建模軟件有Maya， 3DSMax， Rhino， SolidWorks， SketchUp， C4D等等。

這種方法的優(yōu)點(diǎn)是，如果3D建模師足夠優(yōu)秀，可以做出非常精美的3D模型。

然而，其缺點(diǎn)包括：

l 文物的3D數(shù)字化有著非常嚴(yán)格的要求：必須嚴(yán)格忠實(shí)于原作，而手工建模會引入相當(dāng)大程度的主觀因素，其準(zhǔn)確程度取決于建模師的個(gè)人經(jīng)驗(yàn)與技巧，就如同臨摹一副古畫，也許畫師臨摹得非常美，甚至都超過了原作，然而其結(jié)果依舊是臨摹品或者贗品，而原作的價(jià)值是無法取代的。

l 手工3D建模的門檻比較高，工序較復(fù)雜，造成人員短缺，產(chǎn)能非常低。

（2）3D掃描

3D掃描，就是借助激光3D掃描儀、結(jié)構(gòu)光3D掃描儀等設(shè)備來獲取物體表面點(diǎn)的3D信息，其優(yōu)點(diǎn)是能夠獲取精度很高，而且也相對較準(zhǔn)確的幾何信息，因而被廣泛應(yīng)用于工業(yè)自動化、建筑自動化等場景。

不過3D掃描也存在一定局限：

l 很多情況下3D掃描只能獲取幾何信息（而且還會出現(xiàn)空洞部位需要手工填補(bǔ)），得到的只是灰度的3D模型（稱為素模），沒有豐富的顏色和紋理，更談不上質(zhì)感，就像石膏像一樣，如下圖。如果要獲取顏色和紋理，還需要手工進(jìn)行貼圖，這樣，也會帶來最終模型的非客觀；而物體的質(zhì)感，還需要采取其他方法才能獲取。

l 部分3D掃描儀也能獲取簡單的貼圖，但是對于文物（往往存在復(fù)雜的細(xì)節(jié)），會造成細(xì)節(jié)部位貼圖的拉伸、接縫和模糊，下圖即通過3D掃描儀得到的結(jié)果：

3D掃描儀所造成的細(xì)節(jié)部位的貼圖拉伸、

l 激光3D掃描產(chǎn)生的高強(qiáng)度能量，會對文物造成損害。

l 3D掃描會產(chǎn)生大量的冗余數(shù)據(jù)，不利于實(shí)現(xiàn)實(shí)時(shí)的互動展示?，F(xiàn)在通常采取的做法，是對3D掃描生成的模型進(jìn)行簡化（也稱為“優(yōu)化”），才能實(shí)時(shí)運(yùn)行，但簡化之后的模型，已經(jīng)失去了幾何模型的精確性。

（3）基于立體視覺的3D重建

這里的立體視覺指的是計(jì)算機(jī)立體視覺，是一種利用多幅圖像來恢復(fù)物體3D信息的方法。

根據(jù)圖像獲取方式的區(qū)別，計(jì)算機(jī)立體視覺又可以劃分成普通立體視覺和光流（optical flow）立體視覺兩大類。普通立體視覺研究的是由多個(gè)攝像機(jī)同時(shí)拍攝下的多幅圖像，而光流法中研究的是單個(gè)攝像機(jī)沿任意軌道運(yùn)動時(shí)拍下的多幅圖像。

以下是基于計(jì)算機(jī)立體視覺進(jìn)行3D重建的基本步驟：

1） 圖像獲?。杭从脭z像機(jī)獲取3D物體的2D圖像。光照條件、相機(jī)的幾何特性等對后續(xù)的圖像處理造成很大的影響。

2）相機(jī)標(biāo)定：通過相機(jī)標(biāo)定來建立有效的成像模型，求解出相機(jī)的內(nèi)外參數(shù)，這樣就可以結(jié)合圖像的匹配結(jié)果得到空間中的3D點(diǎn)坐標(biāo)，從而達(dá)到進(jìn)行3D重建的目的。

3）特征提取：特征主要包括特征點(diǎn)、特征線和區(qū)域。大多數(shù)情況下都是以特征點(diǎn)為匹配基元，特征點(diǎn)以何種形式提取與用何種匹配策略緊密聯(lián)系。因此在進(jìn)行特征點(diǎn)的提取時(shí)需要先確定用哪種匹配方法。

4）立體匹配：立體匹配是指根據(jù)所提取的特征來建立圖像對之間的一種對應(yīng)關(guān)系，也就是將同一物理空間點(diǎn)在兩幅不同圖像中的成像點(diǎn)進(jìn)行一一對應(yīng)起來。在進(jìn)行匹配時(shí)要注意場景中一些因素的干擾，比如光照條件、噪聲干擾、景物幾何形狀畸變、表面物理特性以及攝像機(jī)機(jī)特性等諸多變化因素。

5）3D重建：有了比較精確的匹配結(jié)果，結(jié)合相機(jī)標(biāo)定的內(nèi)外參數(shù)，就可以恢復(fù)出3D場景信息。

筆者通過基于計(jì)算機(jī)立體視覺的3D數(shù)字化技術(shù)，對大量文物進(jìn)行了成功的數(shù)字化，現(xiàn)將效果與大家分享：

國家文物局春水玉的3D重建

通過立體視覺，我們不僅能精確獲取物體的3D形狀，除此之外還能同步地準(zhǔn)確獲取紋理、材質(zhì)、色彩以及質(zhì)感，避免手工貼圖造成的龐大工作量和主觀因素的引入，滿足文物忠實(shí)于原作的要求（下圖右即3D數(shù)字化的結(jié)果）；

敦煌彩塑原始照片與3D模型（后者重調(diào)了

這種方法可適用于較為復(fù)雜的采集環(huán)境，且可避免對文物的損害；此外還能有效避免數(shù)據(jù)的冗余。

在獲得了文物的3D模型之后，還有很多重要問題，比如光照的還原，尤其是像洞窟里的彩塑這樣的不可移動類文物，它們實(shí)際所處的光照環(huán)境很難達(dá)到理想，其光的顏色、明暗分布等均會影響文物的色彩和材質(zhì)獲取，而且在很多光照本身微弱需要使用輔助光源的情況下，數(shù)字化的結(jié)果會造成明暗接縫（見下圖），需要求出光源的數(shù)量、位置、方向、顏色、強(qiáng)度等信息，再通過逆向計(jì)算，去除環(huán)境光照對數(shù)字化后文物明暗接縫和色彩的影響。有了這一前提，我們再進(jìn)行色彩管理，以及基于視覺的色彩校正，才能得到準(zhǔn)確的文物色彩。

輔助光源造成的明暗接縫及其去除方法

如何讓文物“活起來”

文物除了外形之外，還有更豐富的文化內(nèi)涵，包括文物的制造工藝、用途、使用方法、細(xì)部藝術(shù)價(jià)值、部分文物的特殊功用及其原理，以及所蘊(yùn)涵的宗教、戰(zhàn)爭、文化、民俗故事等。有了這些內(nèi)涵，文物才能真正“活起來”。

此外，對于文物而言，局部破損或丟失是很常見的情況，通過互動手段，可根據(jù)考古成果對已損壞了、缺失的文物或其局部進(jìn)行虛擬的復(fù)原，在一定程度上恢復(fù)其新建時(shí)的面貌，達(dá)到修舊如新的目的。

這需要通過對文物特征的提取和知識挖掘，將其豐富的內(nèi)涵從數(shù)據(jù)中提取出來，分別賦予每件文物。除此之外，還需要借助互動手段和沉浸式手段，生動地展示和呈現(xiàn)給大眾。

（1）VR/AR+AI加持的互動展示

利用VR（虛擬現(xiàn)實(shí)）、AR（增強(qiáng)現(xiàn)實(shí)），和AI（人工智能），可以讓文物與觀眾互動起來，讓觀眾沉浸在一個(gè)計(jì)算機(jī)模擬的數(shù)字博物館及各個(gè)文物場景中，通過親身參與激發(fā)自己的想象，并在寓教于樂的過程中輕松獲取文物的內(nèi)涵和相關(guān)知識。

金縷玉衣

其中，VR與AR的重要基礎(chǔ)，是實(shí)時(shí)3D渲染。該技術(shù)在應(yīng)用到文物領(lǐng)域時(shí)將面對海量的文物數(shù)據(jù)，尤其是圖形和圖像的數(shù)據(jù)。如敦煌莫高窟單個(gè)洞窟在數(shù)字化后的數(shù)據(jù)量就為數(shù)G級到數(shù)10G。虛擬現(xiàn)實(shí)互動展示還將面向復(fù)雜的文物遺存場景。文物遺存往往由于自身工藝的精湛及其因古舊而不規(guī)則，都是非常復(fù)雜的。

VR與AR技術(shù)發(fā)展到今天，正在朝著在實(shí)時(shí)互動的前提下實(shí)現(xiàn)電影質(zhì)量真實(shí)感的趨勢發(fā)展。一方面要求實(shí)時(shí)，另一方面，要求將生成畫面的真實(shí)程度提高到電影質(zhì)量，不能為了達(dá)到實(shí)時(shí)而對模型進(jìn)行簡化，而且應(yīng)該進(jìn)行照片級的光照計(jì)算，并達(dá)到高清的輸出分辨率。

敦煌VR系統(tǒng)

（2）沉浸式展示

沉浸式展示，也有多種手段，包括球幕、VR頭顯、環(huán)幕、CAVE、4D、全息成像等。

這里以球幕（Fulldome）為例進(jìn)行介紹。球幕是沉浸感最強(qiáng)的展示方式之一，并且它能脫離立體眼鏡，已經(jīng)成為文物博物館領(lǐng)域沉浸感展示技術(shù)的發(fā)展趨勢。

球幕產(chǎn)生沉浸感的一個(gè)重要原理，便是其龐大的視域范圍（也叫視場角，是兩眼的觀察范圍）。因球幕放映的視域范圍可達(dá)180°，自觀眾面前延至身后，且伴有立體聲環(huán)音，使觀眾如置身其間。按照視覺理論，人的視域范圍一旦超過150°，就會產(chǎn)生身臨其境的錯覺。

文物球幕沉浸式展示的一大挑戰(zhàn)，便是分辨率。人眼在觀看分辨率上一般有三個(gè)檔次，由差到優(yōu)依次是“模糊感知”、“辯知”和“精確辨別”。球幕的國際標(biāo)準(zhǔn)化機(jī)構(gòu)Fulldome Standards Summit（FSS）建議數(shù)字球幕電影的制作最低應(yīng)滿足“辯知”的需要，此時(shí)畫面中相鄰兩象素與觀眾視點(diǎn)連線夾角至少應(yīng)達(dá)到3弧分（Arc minutes）。文物領(lǐng)域?qū)Ψ直媛屎?D數(shù)字化精度的要求遠(yuǎn)高于“辯知”，應(yīng)達(dá)到“精確辨別”的層次，而達(dá)到此目標(biāo)，畫面中相鄰兩象素與觀眾視點(diǎn)連線夾角應(yīng)達(dá)到1.5弧分，相應(yīng)的畫面象素分辨率為8000×8000。下圖是我們按此標(biāo)準(zhǔn)實(shí)現(xiàn)的球幕電影效果。