使用深度學(xué)習(xí)和圖像處理技術(shù)復(fù)原和保存藝術(shù)品

Carola-Bibiane Sch?nlieb 在 2005 年開(kāi)始攻讀數(shù)學(xué)博士學(xué)位，她的第一個(gè)項(xiàng)目是幫助復(fù)原維也納的一幅中世紀(jì)壁畫(huà)。 這幅壁畫(huà)一度隱藏在一間舊公寓的墻壁后，由于幾年前拆除墻壁造成的損壞，壁畫(huà)殘跡上布滿(mǎn)了斑斑駁駁的白點(diǎn)。 Sch?nlieb 的復(fù)原工作靠的不是顏料、溶劑或樹(shù)脂，而是算法。Sch?nlieb 說(shuō)，“維也納大學(xué)的一些文物保護(hù)工作者已開(kāi)始對(duì)它進(jìn)行物理復(fù)原。而我們則會(huì)以數(shù)字方式進(jìn)行復(fù)原?！?/p>

“MACH 計(jì)劃”集藝術(shù)史學(xué)家、文物保護(hù)工作者、古典學(xué)家和中世紀(jì)學(xué)家之所長(zhǎng)，同時(shí)結(jié)合數(shù)學(xué)家的專(zhuān)業(yè)知識(shí)，旨在推進(jìn)文物復(fù)原和考古工作。

在對(duì)受損壁畫(huà)拍照后，Sch?nlieb 研究了一些算法，希望基于這些照片來(lái)填充壁畫(huà)中缺失、受損的部分，創(chuàng)建壁畫(huà)原貌的數(shù)字模型。 當(dāng)時(shí)，關(guān)于數(shù)學(xué)家和文物保護(hù)工作者合作復(fù)原藝術(shù)品的論文屈指可數(shù)。文物保護(hù)工作者和藝術(shù)史學(xué)家剛剛開(kāi)始對(duì)文物進(jìn)行數(shù)字化存檔，在計(jì)算機(jī)上保存繪畫(huà)、手抄本和陶器的數(shù)字版本。

一幅中世紀(jì)壁畫(huà)的局部，一度位于維也納一座公寓墻后。圖片所有權(quán)：MACH。 Sch?nlieb

現(xiàn)任劍橋大學(xué)的應(yīng)用數(shù)學(xué)教授，她使用圖像分析和處理來(lái)進(jìn)行藝術(shù)品復(fù)原和保護(hù)。當(dāng)前，她與其他數(shù)學(xué)家和人文專(zhuān)家合作開(kāi)展數(shù)學(xué)在文化遺產(chǎn)中的應(yīng)用 (MACH) 計(jì)劃。該計(jì)劃集藝術(shù)史學(xué)家、文物保護(hù)工作者、考古學(xué)家和中世紀(jì)學(xué)家之所長(zhǎng)，同時(shí)結(jié)合數(shù)學(xué)家的專(zhuān)業(yè)知識(shí)，旨在推進(jìn)文物復(fù)原和物質(zhì)文化研究。

MACH 團(tuán)隊(duì)當(dāng)前正在開(kāi)展名為“揭秘隱形”的項(xiàng)目。他們使用 MATLAB 算法對(duì)古羅馬陶器編目，分析顏料截面以探索文物之間的新關(guān)聯(lián)，并以數(shù)字方式復(fù)原因過(guò)于精美而無(wú)法物理復(fù)原的泥金手抄本。項(xiàng)目在這三個(gè)重點(diǎn)領(lǐng)域已醞釀多年。

復(fù)原泥金手抄本

MACH 始于 2013 年，當(dāng)時(shí) Sch?nlieb 在學(xué)校進(jìn)行一場(chǎng)關(guān)于數(shù)字圖像復(fù)原的講座。劍橋菲茨威廉博物館的工作人員出席了這場(chǎng)講座，這是一家館藏涵蓋古今的藝術(shù)博物館。他們認(rèn)為 Sch?nlieb 的方法對(duì)他們手頭的工作很有幫助。 當(dāng)時(shí)，菲茨威廉博物館負(fù)責(zé)手抄本和刊本的管理員正致力于尋求非侵入性的手抄本復(fù)原方法，Sch?nlieb 的圖像復(fù)原講座讓她很受啟發(fā)。她找到 Sch?nlieb，提出開(kāi)展合作。MACH 項(xiàng)目由此誕生。 面對(duì)受損的繪畫(huà)和工藝品時(shí)，文物保護(hù)工作者面臨兩難境地。 他們可以選擇重現(xiàn)文物原貌，但損壞本身也是文物歷史的見(jiàn)證。以中世紀(jì)的泥金手抄本為例，這類(lèi)書(shū)籍是在羊皮紙上手寫(xiě)而成，具有繪畫(huà)裝飾，經(jīng)常采用金銀等貴金屬。一些情況下，手抄本上的部分顏料可能經(jīng)刻意涂改，以消除持有者的標(biāo)記，或掩蓋冒犯性的圖畫(huà)。

“借助虛擬的數(shù)學(xué)手段，我們既能維持泥金手抄本的當(dāng)前面貌、保留歷史痕跡，又能獲得接近其本真原貌的復(fù)原版本。這一做法可謂兩全其美?！?—— Suzanne Reynolds，菲茨威廉博物館館長(zhǎng)

“通過(guò)復(fù)原，我們能得到什么，又將失去什么？”菲茨威廉博物館手抄本和刊本館的管理員 Suzanne Reynolds 問(wèn)道。Reynolds 是 MACH 團(tuán)隊(duì)的成員，主要負(fù)責(zé)中世紀(jì)泥金手抄本。

細(xì)節(jié)展示。

修復(fù)區(qū)域。

最終結(jié)果。 大面積損壞的手抄本成功得到數(shù)字化復(fù)原。圖片來(lái)源： 劍橋費(fèi)茨威廉博物館。

泥金手抄本的復(fù)原工作尤其困難。與其他形式的繪畫(huà)相比，泥金手抄本很少得到物理復(fù)原。這類(lèi)復(fù)原是“揭秘隱形”項(xiàng)目的重要組成部分，為應(yīng)對(duì)其中的挑戰(zhàn)，Sch?nlieb 與 Reynolds 合作，同時(shí)聯(lián)手劍橋應(yīng)用數(shù)學(xué)與理論物理系及菲茨威廉博物館助理研究員 Simone Parisotto，共同開(kāi)發(fā)一款 App。 該 App 使用 MATLAB 開(kāi)發(fā)，服務(wù)于文物保護(hù)工作者，它使用圖像處理方法來(lái)識(shí)別手抄本的受損區(qū)域，并以虛擬方式重新構(gòu)造圖像。它依賴(lài)于“圖像修復(fù)”，該術(shù)語(yǔ)最初指以物理方式重新構(gòu)造一幅畫(huà)。在數(shù)學(xué)語(yǔ)境下，圖像修復(fù)意味著以數(shù)字方式復(fù)原圖像。 借助深度學(xué)習(xí)和偏微分方程，MACH 小組的程序可以填補(bǔ)受損手抄本的空白區(qū)域，并預(yù)測(cè)不同復(fù)原途徑的結(jié)果。用戶(hù)使用來(lái)自同一手抄本或相關(guān)手抄本的樣例（越多越好）訓(xùn)練算法，然后用算法重新構(gòu)造待復(fù)原圖像的缺失內(nèi)容。 Reynolds 說(shuō)，“借助虛擬的數(shù)學(xué)手段，我們既能維持文物的當(dāng)前面貌、保留歷史痕跡，又能獲得接近其本真原貌的復(fù)原版本。這一做法可謂兩全其美?！?在復(fù)原的同時(shí)，數(shù)學(xué)方法不僅可以對(duì)文物進(jìn)行數(shù)字化存檔，還可以運(yùn)用人工智能讓存檔數(shù)據(jù)更好地服務(wù)于文物保護(hù)工作者、藝術(shù)史學(xué)家和考古學(xué)家。

古羅馬陶器分類(lèi)

“揭秘隱形”第二大重點(diǎn)領(lǐng)域的構(gòu)思始于 2015 年，當(dāng)時(shí)，劍橋大學(xué)古典學(xué)系高級(jí)講師 Alessandro Launaro 向 Sch?nlieb 求教一個(gè)難題。 作為一名考古學(xué)家，Launaro 專(zhuān)注于古羅馬時(shí)期的研究，并一直在意大利西部發(fā)掘遺址。他在該遺址成功發(fā)掘出大量陶器，均為炊器等日用粗陶器，但接下來(lái)的任務(wù)相當(dāng)艱巨：他必須分析數(shù)千件陶器的形狀、口沿和底座。 “我面臨一個(gè)考古問(wèn)題，即如何分析大量物證?！盠aunaro 說(shuō)。對(duì)于那些形制較為精美的古羅馬陶器（細(xì)陶器），已經(jīng)有系統(tǒng)、全面的目錄可幫助考古學(xué)家進(jìn)行分析；但對(duì)于他要研究了解的日用粗陶器，這類(lèi)資料還是一片空白。

“我們當(dāng)然可以找人逐一比對(duì)這些（陶器碎片的）形狀，但這太過(guò)繁重枯燥。人難免疲勞或者犯錯(cuò)，難免會(huì)看漏一些東西。而算法不會(huì)感到勞累?！?—— Carola-Bibiane Sch?nlieb，劍橋大學(xué)應(yīng)用數(shù)學(xué)教授

考古遺址出土的陶器中大部分都是粗陶器。但是，由于此類(lèi)陶器形狀各異，出土器物數(shù)量龐大，要確定不同遺址的不同器型之間的關(guān)聯(lián)，可謂一項(xiàng)挑戰(zhàn)。 Launaro 說(shuō)，“與博物館里那些雕像、馬賽克鑲嵌畫(huà)或者繪有精美裝飾的陶器相比，作為日常器物的粗陶器更能反映古代人民的生活狀況?！比绻芙⒁粋€(gè)目錄來(lái)記錄這些器物以及它們之間的關(guān)聯(lián)，將有助于我們進(jìn)一步了解古代文明的日常生活?！暗斯ず茈y實(shí)現(xiàn)這一點(diǎn)?！彼f(shuō)。 Sch?nlieb 和 Parisotto 覺(jué)得有辦法幫助 Launaro 解決這一難題。Sch?nlieb 說(shuō)，“我們當(dāng)然可以找人逐一比對(duì)這些形狀，但這太過(guò)繁重枯燥。人難免疲勞或者犯錯(cuò)，難免會(huì)看漏一些東西。而算法不會(huì)感到勞累。” Parisotto 和 Sch?nlieb 使用 MATLAB 來(lái)創(chuàng)建 Launaro 設(shè)想的這種目錄。2016 年，他們?cè)囆辛艘粋€(gè)系統(tǒng)，該系統(tǒng)可將一件陶器的輪廓圖與數(shù)據(jù)庫(kù)中的類(lèi)似圖像進(jìn)行匹配。考古學(xué)家根據(jù)輪廓形狀對(duì)古代陶器進(jìn)行分類(lèi)，并認(rèn)為相似的形狀意味著年代和功能上的某些關(guān)聯(lián)。

古代容器以形狀分類(lèi)，而形狀以輪廓表示。相似的輪廓意味著某種關(guān)聯(lián)。圖片所有權(quán)：MACH。

但該系統(tǒng)效果不佳。參考陶器圖像整理得并不是很好。團(tuán)隊(duì)需要回過(guò)頭來(lái)自行整理。Launaro 說(shuō)，“這項(xiàng)工作涉及數(shù)以千計(jì)各不相同的陶器形狀，因此我們必須借助計(jì)算機(jī)的處理能力。” 為了充實(shí)和整理自己的陶器數(shù)據(jù)庫(kù)，該團(tuán)隊(duì)在其中添加了數(shù)以千計(jì)的粗陶器黑白輪廓圖像。到 2020 年底，累計(jì)添加約 6000 個(gè)陶器輪廓圖像。Parisotto 正在使用無(wú)監(jiān)督深度學(xué)習(xí)算法對(duì)存在關(guān)聯(lián)的陶器形狀進(jìn)行分組或聚類(lèi)。該程序創(chuàng)建分層的樹(shù)狀圖，將陶器碎片分組，以更好地向考古學(xué)家揭示不同器型之間的關(guān)系。Parisotto 說(shuō)，“其原理是從已有器物中提取相關(guān)特征，并找到不同特征之間的關(guān)聯(lián)。” 通過(guò)確定粗陶器型之間的關(guān)聯(lián)，考古學(xué)家可以更好地在空間和時(shí)間層面梳理粗陶器的發(fā)展和分布脈絡(luò)。這些關(guān)聯(lián)可能提供有關(guān)貿(mào)易、定居模式或飲食習(xí)慣等方面重大發(fā)展的線索。MACH 小組仍在開(kāi)發(fā)和測(cè)試該 App，Launaro 認(rèn)為，“最根本的理念是創(chuàng)建一個(gè)工具，幫助考古學(xué)家對(duì)其發(fā)掘和研究的遺址進(jìn)行更有效的解讀?！?

顏料色樣探源藝術(shù)創(chuàng)作

Kasia Targonska-Hadzibabic 是 MACH 團(tuán)隊(duì)的助理研究員，也是一位訓(xùn)練有序的物理學(xué)家，她正在從事“揭秘隱形”的一個(gè)子項(xiàng)目，其原理類(lèi)似古羅馬陶器數(shù)據(jù)庫(kù)。Targonska-Hadzibabic 正與 Parisotto 合作，為顏料色樣截面的數(shù)字圖像建立一個(gè)平臺(tái)，以對(duì)它們進(jìn)行分類(lèi)和比較。 在藝術(shù)保護(hù)中，研究一幅畫(huà)中的顏料色樣截面可以揭示藝術(shù)家的創(chuàng)作過(guò)程?！八梢愿嬖V我們藝術(shù)家使用的技法、繪畫(huà)的過(guò)程等信息?！盩argonska-Hadzibabic 說(shuō)。

MACH 團(tuán)隊(duì)還在創(chuàng)建一個(gè)系統(tǒng)，它可以識(shí)別來(lái)自不同的繪畫(huà)、藝術(shù)家或時(shí)代的顏料色樣截面之間的聯(lián)系，解讀相似之中所包含的信息。

依傳統(tǒng)做法，文物保護(hù)工作者會(huì)收集這些截面，保存在樹(shù)脂中，并在顯微鏡下仔細(xì)觀察各個(gè)顏料層。放大觀察，樹(shù)脂包裹的顏料色樣就像彩色多層三明治。Targonska-Hadzibabic 有一位負(fù)責(zé)藝術(shù)保護(hù)的同事，他一直在對(duì)自己收集的顏料色樣截面進(jìn)行數(shù)字化存檔，想了解這些顏料色樣除了能反映特定藝術(shù)家的創(chuàng)作技法，還能揭示哪些信息。

從早期大師畫(huà)作中提取的顏料截面。圖片所有權(quán)：MACH。

Targonska-Hadzibabic 與 Sch?nlieb 合作開(kāi)發(fā)了一個(gè)系統(tǒng)，可以識(shí)別來(lái)自不同繪畫(huà)、藝術(shù)家或時(shí)代的顏料色樣截面之間的聯(lián)系。截面中的各層不是均勻的，不僅顏色不同，紋理、混合方式和拍攝條件也不盡相同。 與古羅馬陶器項(xiàng)目一樣，該團(tuán)隊(duì)正在使用 MATLAB 中的機(jī)器學(xué)習(xí)方法，根據(jù)截面特征對(duì)一萬(wàn)多幅數(shù)字圖像進(jìn)行分組，嘗試從中歸納有用信息。 根據(jù) Targonska-Hadzibabic 的說(shuō)法，他們還不確定這些算法到底會(huì)揭示什么?！斑@是一個(gè)迭代過(guò)程，需要與文物保護(hù)工作者交流，找到那些從藝術(shù)史角度來(lái)說(shuō)具有重要意義的相似性。”她說(shuō)。 他們希望這款 App 能為文物保護(hù)工作者提供便利，幫助他們比較源截面的層與數(shù)據(jù)庫(kù)中其他截面的類(lèi)似色樣。Targonska-Hadzibabic 還在努力改進(jìn)，讓使用 App 的文物保護(hù)工作者不僅能看到結(jié)果，還能根據(jù)需要輕松修改結(jié)果。

實(shí)用進(jìn)展

考古、藝術(shù)保護(hù)和藝術(shù)史領(lǐng)域?qū)＜业姆答亴?duì)這些項(xiàng)目的進(jìn)展至關(guān)重要。Parisotto 說(shuō)，“只有專(zhuān)家才能引導(dǎo)數(shù)據(jù)科學(xué)工作者始終沿著正確的道路開(kāi)展工作。” MACH 項(xiàng)目在菲茨威廉博物館的合作者剛剛開(kāi)始測(cè)試這些 App；最終目標(biāo)是讓所有學(xué)者和文物保護(hù)工作者共享這些資源，擴(kuò)充其現(xiàn)有工具箱。對(duì) Launaro 來(lái)說(shuō)，在粗陶器參考目錄的幫助下，他們可以更為細(xì)致地研究這一考古工作中一度為人忽視的領(lǐng)域。 據(jù) Reynolds 稱(chēng)，MACH 的數(shù)字手抄本復(fù)原工具不僅可以幫助文物保護(hù)工作者，還為教學(xué)和公眾參與提供了新的資源。Reynolds 說(shuō)，“我們期望它能為教學(xué)提供便利，因?yàn)橛脩?hù)可以獲得最佳狀態(tài)的文物圖像?！痹摴ぞ哌€可以增加博物館的虛擬展品數(shù)量，向公眾同時(shí)展示真實(shí)文物及其數(shù)字“原件”。

在 MATLAB 中開(kāi)發(fā)的 INpainting ilLUminated MINiatures App (INLUMINA)。圖片來(lái)源： 劍橋費(fèi)茨威廉博物館。

Targonska-Hadzibabic 認(rèn)為，借助可識(shí)別色樣關(guān)聯(lián)的顏料截面數(shù)據(jù)庫(kù)，專(zhuān)家能夠發(fā)現(xiàn)新的繪畫(huà)技法，并揭示畫(huà)家和畫(huà)作之間尚不為人知的關(guān)聯(lián)。 然而，這些工具都無(wú)法取代人文領(lǐng)域?qū)＜业墓ぷ鳌aunaro 說(shuō)：“我們始終需要人來(lái)進(jìn)行某些解讀性質(zhì)的工作。不過(guò)，也有相當(dāng)一部分工作能由計(jì)算機(jī)完成，可以使我們的工作更為輕松、直接。”

標(biāo)題圖片來(lái)源： 劍橋費(fèi)茨威廉博物館。