數(shù)十年耕耘，故宮數(shù)字化發(fā)展歷程

5月11日，Unite Shanghai 2019正式開幕，在會(huì)上，故宮博物院數(shù)字化研究所工程師張雨辰以“技術(shù)與文化的融合”為主題發(fā)表了演講，其講述了故宮博物院在數(shù)十年內(nèi)的發(fā)展過程，以及故宮博物院數(shù)字化各類項(xiàng)目與Unity技術(shù)融合的細(xì)節(jié)。

以下為演講內(nèi)容整理：

大家下午好，我是來自故宮博物院的張雨辰。很榮幸受到Unity官方的邀請(qǐng)，來到上海給大家做案例分享。非常感謝有Unite大會(huì)這么一個(gè)渠道能夠讓我們博物館人從中汲取技術(shù)和創(chuàng)意的養(yǎng)分。很抱歉故宮本身的開發(fā)實(shí)力不足以在這里從技術(shù)的角度給大家做分享，所以我想從數(shù)字故宮的相關(guān)展示案例出發(fā)，來介紹Unity引擎如何助力故宮產(chǎn)出數(shù)字化成果。

我相信每一位觀眾都會(huì)有對(duì)故宮獨(dú)到的理解。其實(shí)，在我們看來故宮是座博物館，故宮是我們今人去了解故宮文化、了解中華文明的一個(gè)非常重要的窗口。

百年前故宮就開始做影像采集

故宮所做的數(shù)字化一定是要從博物館的角度出發(fā)，讓文化遺產(chǎn)的“本體”活起來，是為了讓文化遺產(chǎn)的“基因”活起來，是為了讓在文化遺產(chǎn)中的“人”活起來，致力于優(yōu)秀傳統(tǒng)文化的創(chuàng)作性轉(zhuǎn)化和創(chuàng)新性發(fā)展。如果從這個(gè)角度出發(fā)去思考，我們就能夠避免那些為了展示而展示、為了炫技而炫技的“空洞”的數(shù)字項(xiàng)目。

故宮人在博物館數(shù)字化探索的道路上走了20多年，百年前故宮就開始做影像采集。當(dāng)然，這些都是清宮影像，如今都已經(jīng)成了故宮博物院珍貴的文物，代表了一段歷史的記錄。

現(xiàn)在故宮人探索出一條適合故宮博物院的三維數(shù)字化道路，數(shù)字化保護(hù)、數(shù)字化研究、數(shù)字化展示。保護(hù)、研究、展示“三位一體”，遵循“內(nèi)容為王、技術(shù)為器、融合互通”，展現(xiàn)故宮獨(dú)有特性，才能有效的避免博物館數(shù)字化過程中的同質(zhì)化問題。

2002年起，故宮建立了數(shù)字化資產(chǎn)應(yīng)用研究所，開始了三維數(shù)字化的應(yīng)用建設(shè)。到現(xiàn)在，我們已經(jīng)采集了紫禁城（112公頃）的全景三維簡(jiǎn)模數(shù)據(jù)，采集了包括太和殿、養(yǎng)心殿、乾隆花園和角樓在內(nèi)的重要殿宇室內(nèi)外高清數(shù)據(jù)。并通過照片建模、三維掃描等技術(shù)采集室外陳設(shè)三維數(shù)據(jù)和可移動(dòng)文物三維數(shù)據(jù)。隨著，采集技術(shù)的發(fā)展我相信我們的三維數(shù)據(jù)資源會(huì)越來越充實(shí)。有了這些基礎(chǔ)數(shù)據(jù)，我們能夠開展數(shù)字化項(xiàng)目建設(shè)。

在來到這里之前我整理了一下近三年的開發(fā)項(xiàng)目，據(jù)不完全統(tǒng)計(jì)總共有12個(gè)項(xiàng)目是基于Unity引擎開發(fā)的。為什么故宮博物院能夠做到在博物館數(shù)字化領(lǐng)域如此高產(chǎn)？為什么Unity引擎能夠助力數(shù)字故宮實(shí)現(xiàn)高產(chǎn)？

請(qǐng)大家跟我一起走進(jìn)數(shù)字故宮，來探究答案。

我們第一期制作的數(shù)字展主題是“故宮是座博物館”，2016年養(yǎng)心殿正式開始進(jìn)行為期五年的大修工作，作為最受觀眾歡迎的原狀陳列，不能一睹養(yǎng)心殿，自然成為很多觀眾的遺憾，因此我們一方面讓養(yǎng)心殿的真文物出門巡展，讓不再北京的觀眾也能‘走進(jìn)’養(yǎng)心殿，另一方面用數(shù)字技術(shù)，讓養(yǎng)心殿‘活起來’，讓年輕人更多地走進(jìn)數(shù)字養(yǎng)心殿，走進(jìn)傳統(tǒng)文化。所以，第二期我們以“發(fā)現(xiàn)養(yǎng)心殿”為主題，利用原有的設(shè)備將數(shù)字內(nèi)容進(jìn)行了更換，開放了新的一期數(shù)字展覽。

AR穿搭服飾互動(dòng)項(xiàng)目：服飾文化是民族文化的重要組成部分，通過Unity引擎+Kinect體感設(shè)備開發(fā)的試衣互動(dòng)可以將成套的宮廷服飾“穿上身”，喜歡的話還可以拍照并將自己的照片下載到手機(jī)里。這樣一來，非常像當(dāng)下流行的AR試裝項(xiàng)目，大家都在思考如何將虛擬試衣項(xiàng)目融合到商場(chǎng)和線上商城的時(shí)候，很多人都沒有想到在故宮里面也能夠Idea出這樣項(xiàng)目，Unity引擎所搭載的布料系統(tǒng)就已經(jīng)能夠滿足我們的互動(dòng)需求，而且我們?yōu)榱苏疹櫺∨笥眩€適配了孩童的身高。通過衣服搭配和選擇佩飾，觀眾可以了解清代宮廷服飾搭配的相關(guān)小知識(shí)。

御膳項(xiàng)目：故宮內(nèi)的御膳房有兩處，“養(yǎng)心殿御膳房”為其中之一，無(wú)數(shù)美味佳肴都出自這里。在這個(gè)項(xiàng)目中我們選取了眾多宮廷美食中最有特色的四道菜肴，還原了制作方法，觀眾在隨著提示一步一步“制作”好菜肴后還要選擇正確的餐具盛放擺盤。

從選材到上桌，所有關(guān)鍵步驟都用數(shù)字技術(shù)呈現(xiàn)出來。這個(gè)項(xiàng)目作為一個(gè)2D互動(dòng)應(yīng)用，Unity引擎提供豐富的2D功能：包括動(dòng)畫、粒子系統(tǒng)創(chuàng)作和音頻混合的工具，使我們這款2D手繪風(fēng)的應(yīng)用開發(fā)效率大大提高。特別是當(dāng)我們產(chǎn)生新的靈感之后，合作方能夠很快的拿出一版完全可玩的版本去印證我們的想法，經(jīng)過這樣一次次的迭代，項(xiàng)目很快能夠走入正軌。

所以說，Unity引擎在技術(shù)上的快速更新和穩(wěn)定迭代也是我們所看重的一點(diǎn)，特別是在這個(gè)數(shù)字多寶閣展項(xiàng)。在第一期的端門數(shù)字展覽上我們就使用Unity開發(fā)了這個(gè)項(xiàng)目，當(dāng)時(shí)的版本還是4.x。這個(gè)項(xiàng)目的亮點(diǎn)一是有趣的熱點(diǎn)互動(dòng)，二是文物材質(zhì)的模擬，在當(dāng)時(shí)的技術(shù)環(huán)境下材質(zhì)的模擬效果不太理想。之后Unity引擎發(fā)布了5.x版本，支持了基于物理材質(zhì)的圖形渲染，這樣我們就能夠借助法線貼圖、金屬貼圖、反射貼圖輕松的模擬文物的材質(zhì)效果，在后面的講述中我會(huì)用一個(gè)視頻來給大家做詳細(xì)展示。

在第二期鑒藏珍玩的改版過程中，我們還借助Unity引擎的Asset store應(yīng)用商店中的UBER - Standard Shader Ultra插件，制作玉器和玻璃器類文物的材質(zhì)效果，這一過程大大減輕了開發(fā)難度，使程序人員不必自己編寫Shader就可以得到我們想要的效果。

這個(gè)項(xiàng)目的核心還是以養(yǎng)心殿內(nèi)真實(shí)陳列為藍(lán)本制作的，我們?yōu)榫x故宮院藏文物中精品制作出數(shù)字模型，并且結(jié)合展品中最主要的亮點(diǎn)，如制作工藝，紋飾特點(diǎn)，使用方式等，用交互的手段將這些知識(shí)呈現(xiàn)出來。

故宮對(duì)VR技術(shù)的探索早在2000年已經(jīng)開始，我們與日本凸版印刷公司進(jìn)行合作，借助他們自主開發(fā)的引擎平臺(tái)，以VR技術(shù)再現(xiàn)金碧輝煌的紫禁城?？赡艽蠹液茈y想象在故宮里有一個(gè)數(shù)字化團(tuán)隊(duì)，自己開發(fā)了7部《紫禁城·天子的宮殿》虛擬現(xiàn)實(shí)系列作品。不過受限于凸版開發(fā)的引擎，我們展示技術(shù)的競(jìng)爭(zhēng)力已經(jīng)跟不上這個(gè)時(shí)代的步伐，凸版的引擎已經(jīng)有多年沒有進(jìn)行更新迭代，渲染、光影效果還停留在Unity4.x系列的標(biāo)準(zhǔn)上，我去東京學(xué)習(xí)的時(shí)候凸版的工作人員也曾經(jīng)向我透露自主引擎的開發(fā)難度非常的大。

所以凸版和我們都在盡全力的尋找另外一條技術(shù)解決方案，我們不約而同的把目光都聚焦在Unity引擎身上，目前凸版公司已經(jīng)開始將自研引擎轉(zhuǎn)移到Unity引擎并獨(dú)立開發(fā)多通道系統(tǒng)實(shí)現(xiàn)互動(dòng)功能與效果的雙提升。

而故宮選擇了相對(duì)保守的方案，基于Unity引擎開發(fā)了平板設(shè)備與自研引擎進(jìn)行通信交互，實(shí)現(xiàn)大小屏幕聯(lián)動(dòng)以及觀眾的互動(dòng)。這個(gè)思路在我們第七部虛擬現(xiàn)實(shí)作品《紫禁城天子的宮殿·御花園》節(jié)目中有所體現(xiàn)，利用Unity引擎在安卓平板設(shè)備上進(jìn)行開發(fā)工作，通過交互設(shè)備改變了傳統(tǒng)的只能觀看沒有互動(dòng)的觀影流程，現(xiàn)在我們可以一邊看大屏幕一邊通過交互設(shè)備了解屏幕展示點(diǎn)的現(xiàn)實(shí)所在位置，以及當(dāng)前區(qū)域的熱點(diǎn)信息。這些信息可以是文字圖片，也可以是三維模型，可以進(jìn)行補(bǔ)充說明，也可以進(jìn)行深度互動(dòng)，比如說我們講解到萬(wàn)春亭的時(shí)候，交互設(shè)備上立馬出現(xiàn)萬(wàn)春亭的大木結(jié)構(gòu)模型，觀眾可以在平板設(shè)備上進(jìn)行拆解、交互，可以在御花園的喂一喂鹿，在古代御花園里面是養(yǎng)鹿的。借助Unity引擎與大屏幕之間的互動(dòng)，以獨(dú)特視角向觀眾完整、準(zhǔn)確、生動(dòng)地傳遞著故宮文化遺產(chǎn)所蘊(yùn)含的歷史信息和文化情懷。

我們還舉辦了《御花園》節(jié)目觀影周，一周時(shí)間內(nèi)容納50人的演播廳一共接待了1200多名預(yù)約前來的觀眾，獲得了不錯(cuò)的反響。未來，我們依然可以借助Unity引擎多平臺(tái)發(fā)布的特性，將我們交互內(nèi)容進(jìn)行重新編排和解讀，可以作為單獨(dú)的互動(dòng)展項(xiàng)發(fā)布，我想這就是Unity能給我們帶來的最大的便捷。

以上我所分享的，都是在“發(fā)現(xiàn)養(yǎng)心殿”主題數(shù)字展里面所展示的內(nèi)容。故宮出品，必屬精品，我們帶著我們數(shù)字展示成果走出故宮，走出國(guó)門。2017年我們帶著數(shù)字多寶閣項(xiàng)目走出了故宮，參加了“砥礪奮進(jìn)的五年”大型成就展，深受國(guó)家領(lǐng)導(dǎo)人的好評(píng)。

之后，數(shù)字多寶閣與《紫禁城天子的宮殿》VR節(jié)目走出了國(guó)門，隨***總理一起出訪日本。當(dāng)然我們還積極的與地方政府、博物館和企業(yè)合作，將我們數(shù)字故宮的成果推向更多的地方，將故宮的數(shù)字化成果轉(zhuǎn)化成為專題展覽的形式，讓更多的人感受到數(shù)字故宮的魅力。

在展示項(xiàng)目里還有一個(gè)故宮導(dǎo)覽應(yīng)用項(xiàng)目，它也是利用Unity引擎開發(fā)。我們把終端放置在故宮觀眾服務(wù)中心，部分觀眾在進(jìn)入故宮前使用導(dǎo)覽終端可以初步了解故宮的概，也可以訂制最適合自己的游覽路線并生成二維碼，觀眾可以將自己的路線“掃”進(jìn)手機(jī)里，更為方便和快捷，Unity引擎不僅讓國(guó)寶藏“活”起來，也讓故宮的服務(wù)更有“溫度”。

十余年耕耘，觀眾有6.5萬(wàn)，VR技術(shù)帶來突破口

故宮博物院在虛擬現(xiàn)實(shí)領(lǐng)域已經(jīng)默默耕耘了十多年，但是在這段時(shí)間內(nèi)僅有65000名觀眾能夠來到故宮數(shù)字劇場(chǎng)觀看我們的VR節(jié)目。于是我們?cè)谒伎?，能不能將我們?yōu)質(zhì)的三維數(shù)據(jù)、三維節(jié)目放到互聯(lián)網(wǎng)上，讓更多的人體驗(yàn)到虛擬故宮的魅力？出于這種想法，一個(gè)線上的三維展示平臺(tái)“V故宮”就此誕生。

2014年，我們開始著手利用Unity引擎，在現(xiàn)有的故宮三維數(shù)據(jù)庫(kù)中，選擇了靈沼軒進(jìn)行移動(dòng)端移植的測(cè)試。移植完成后，由于數(shù)據(jù)量太大，雖然可以承載VR程序內(nèi)容，但是體量龐大，以當(dāng)時(shí)的移動(dòng)端設(shè)備仍然面臨著運(yùn)行效果不理想的問題。在這種情況下，我們不得不選擇了折中方案——網(wǎng)頁(yè)端全景圖展示。

第一個(gè)項(xiàng)目是養(yǎng)心殿，我們將虛擬現(xiàn)實(shí)節(jié)目里的三維模型加工渲染成全景圖，并加以輕互動(dòng)，移植到互聯(lián)網(wǎng)上，突出簡(jiǎn)單便捷易上手的特性，吸引觀眾的目光。觀眾反饋不錯(cuò)，于是我們又制作了第二期線上展示內(nèi)容《靈沼軒》，但是我們并不滿足于相對(duì)簡(jiǎn)單的全景展示，隨著技術(shù)的進(jìn)步，特別是Unity引擎對(duì)H5平臺(tái)和WebGL渲染框架更好的支持，以及越來越多的瀏覽器支持WebGL渲染，于是我們準(zhǔn)備部署更具交互感的游戲體驗(yàn)方式。經(jīng)過測(cè)試，發(fā)現(xiàn)手機(jī)等移動(dòng)設(shè)備上的三維模型運(yùn)載能力依然有限，而電腦PC端卻可以流暢的實(shí)現(xiàn)三維交互。于是我們以《倦勤齋》為主題，設(shè)計(jì)了基于PC和手機(jī)端兩種不同側(cè)重點(diǎn)的Web程序。

在移動(dòng)端，能夠承載的三維模型精度不高，在保證精細(xì)程度和三維模型上，我們做了多次取舍。在需要呈現(xiàn)畫面精細(xì)效果時(shí)采用二維影像，而在重點(diǎn)呈現(xiàn)空間感與真實(shí)感時(shí)采用三維模型。而在PC端的我們?nèi)渴褂萌S模型數(shù)據(jù)的進(jìn)行開發(fā)，以第一人稱視角探索倦勤齋，并可以與NPC人物進(jìn)行互動(dòng)，古風(fēng)十足，使整個(gè)體驗(yàn)更接近于線上游戲；這一次，借助Unity引擎幫助我們驗(yàn)證了故宮三維數(shù)據(jù)展示的另一種可能性。

未來，V故宮展示平臺(tái)將迎來一位新成員。線上的數(shù)字多寶閣展示項(xiàng)目，通過WebGL技術(shù)實(shí)現(xiàn)4K級(jí)精度的文物展示，聯(lián)通線上與線下的展示內(nèi)容，打破常規(guī)提升用戶粘性，做到真正的“把故宮文物‘帶’回家”。

時(shí)間來到2015年初，當(dāng)時(shí)北京在隆宗門西區(qū)域和慈寧宮花園區(qū)域發(fā)現(xiàn)了明代大型宮殿建筑遺跡。這一發(fā)現(xiàn)對(duì)于研究元代北京皇城具有非常重要的價(jià)值，以往都是考古繪圖與二維影像共同來進(jìn)行考古數(shù)據(jù)的記錄與保存，而在隆宗門西區(qū)域發(fā)現(xiàn)的考古遺址坑，我們的數(shù)字化團(tuán)隊(duì)第一次利用攝影測(cè)量技術(shù)采集加工生成考古遺址三維模型，實(shí)現(xiàn)了對(duì)考古遺址的三維化保護(hù)工作。

這時(shí)，我們需要思考如何讓這個(gè)考古遺址為專業(yè)人員所用。當(dāng)時(shí)VR頭顯剛開始發(fā)力，我們便購(gòu)入了一臺(tái)VIVE頭顯進(jìn)行測(cè)試開發(fā)工作。我們借助Unity引擎將考古遺址VR化，當(dāng)時(shí)并沒有交互內(nèi)容設(shè)置。但對(duì)于考古專家們來說，這近乎真實(shí)的三維展示方式已經(jīng)完全超出了他們的想象。隨著考古工地的回填，我們掌握了唯一一份考古三維基礎(chǔ)數(shù)據(jù)。

考古專家對(duì)VR的展示方式給予了充分的認(rèn)可，直接促成了與數(shù)字化團(tuán)隊(duì)的又一次合作——景德鎮(zhèn)御窯遺址的三維數(shù)據(jù)應(yīng)用研究。

之后我們走出了故宮的大門，為全國(guó)的考古項(xiàng)目進(jìn)行采集加工工作。利用Unity引擎實(shí)現(xiàn)了5000萬(wàn)三角面的考古遺址運(yùn)行，幀率符合VR展示的要求。為了進(jìn)行場(chǎng)景真實(shí)度還原，我們采用了全局環(huán)境光和環(huán)境光預(yù)計(jì)算技術(shù)（GI），以及VRTK - Virtual Reality Toolkit插件，實(shí)現(xiàn)VR的交互內(nèi)容開發(fā)。

為了能夠在虛擬世界中，給體驗(yàn)者對(duì)整個(gè)御窯遺址提供概覽性的介紹，同時(shí)避免觀眾產(chǎn)生眩暈感，所以我們?cè)谔摂M場(chǎng)景中構(gòu)建一個(gè)虛擬電影院。以電影放映的形式來對(duì)遺址進(jìn)行概括描述，這樣一來，不光減輕了體驗(yàn)者的眩暈感，而且還有一種仿佛置身于巨幕當(dāng)中欣賞遺址的奇特感覺。

在此之后，我們主持開展了國(guó)家科技部支撐項(xiàng)目——利用激光掃描和攝影測(cè)量相結(jié)合的方式采集加工了23件青銅器模型。而這些模型要達(dá)到貼圖精度為8K的級(jí)別，成為數(shù)字所截至目前制作的最為精細(xì)的一批文物。當(dāng)時(shí)領(lǐng)導(dǎo)希望能夠在最終的評(píng)審會(huì)上以可視化的形式展示成果，于是我們?cè)僖淮蜗氲搅薝nity引擎。

值得注意的是，我們從構(gòu)想到開發(fā)結(jié)束不到一周的時(shí)間，便實(shí)現(xiàn)了對(duì)三維文物模型紋理細(xì)節(jié)的極致展示。特別是在2017年的“故宮騰訊數(shù)字文化節(jié)”上，這批文物在4K屏幕上向觀眾展示，引起了文博行業(yè)與科技界專家的關(guān)注。也正是由此，故宮樹立起可移動(dòng)文物三維數(shù)據(jù)可視化領(lǐng)域的一面旗幟，業(yè)務(wù)范圍逐漸的擴(kuò)大。

結(jié)語(yǔ)

故宮希望在文博數(shù)字化應(yīng)用領(lǐng)域始終保持領(lǐng)先態(tài)勢(shì)，我們對(duì)先進(jìn)技術(shù)的探索從未停止，像最初的谷歌Project Tango項(xiàng)目出現(xiàn)時(shí)，我們購(gòu)買了Tango手機(jī)，基于Unity引擎將延禧宮“搬”到了我們的院落，實(shí)際上Tango項(xiàng)目就是升級(jí)版的AR增強(qiáng)現(xiàn)實(shí)，通過技術(shù)測(cè)試評(píng)估我們覺得AR技術(shù)在博物館專業(yè)領(lǐng)域上應(yīng)用前景的春天還沒有到來，不盲目追風(fēng)，等待技術(shù)上的突破這是我們現(xiàn)階段的想法。

我想大家很難想象，在大會(huì)上介紹的12種應(yīng)用程序中，有6個(gè)完全由故宮人自己開發(fā)的，故宮在數(shù)字化領(lǐng)域有自己的團(tuán)隊(duì)。正是有Unity引擎這樣優(yōu)秀的開發(fā)工具，才能夠使想法成為可能，使可能成為現(xiàn)實(shí)。未來，故宮博物院將會(huì)加大在機(jī)器學(xué)習(xí)、人機(jī)互動(dòng)、混合現(xiàn)實(shí)等領(lǐng)域的探索，研究其應(yīng)用于數(shù)字故宮的可能性。故宮雖然很古老，但是故宮博物院卻很時(shí)尚。感謝大家的聆聽，謝謝。