MIT開發(fā)的GANpaint工具可以輕松修圖,允許用戶上傳任何照片進(jìn)行編輯,而不會(huì)破壞其原始細(xì)節(jié)。除了幫助藝術(shù)家和設(shè)計(jì)師快速調(diào)整視覺(jué)效果外,研究人員表示,這項(xiàng)工作可能有助于計(jì)算機(jī)科學(xué)家識(shí)別“虛假”圖像。
當(dāng)我們還沉浸在GauGAN憑借幾根線條,就讓草圖秒變風(fēng)景照的黑科技之時(shí),MIT也帶來(lái)了一項(xiàng)類似的黑科技。
自從GAN誕生以來(lái),一次一次創(chuàng)造著奇跡:填充紋理、變臉易容。但這一次,這款名叫GANpaint的神器,簡(jiǎn)單幾筆就能成畫。
麻省理工學(xué)院和IBM的團(tuán)隊(duì)推出“GANpaint Studio”,允許用戶上傳任何照片,然后對(duì)照片進(jìn)行創(chuàng)作,例如更改對(duì)象的大小或者添加全新的項(xiàng)目(如樹木和建筑物),接下來(lái)這個(gè)系統(tǒng)可以自動(dòng)生成逼真的攝影圖像。
除了幫助藝術(shù)家和設(shè)計(jì)師快速調(diào)整視覺(jué)效果外,研究人員表示,這項(xiàng)工作還可能有助于計(jì)算機(jī)科學(xué)家識(shí)別“虛假”圖像。
也難怪網(wǎng)友驚呼:“以后拆樓都不用費(fèi)勁了!”
那么這款神器如何操作呢?先奉上傳送門:
http://gandissect.res.ibm.com/ganpaint.html?project=churchoutdoor&layer=layer4
首先,在界面下方選擇底圖;其次,在左側(cè)選擇一個(gè)對(duì)象,如“草”、“門”、“天空”等等;然后選擇要進(jìn)行的操作,例如“繪畫”、“刪除”等;最后,只需要在圖片中想要更改的區(qū)域涂抹幾筆即可。
“現(xiàn)在的機(jī)器學(xué)習(xí)系統(tǒng)就是黑盒子,我們并不總是知道如何改進(jìn),有點(diǎn)像你小時(shí)候通過(guò)拍打舊電視機(jī)來(lái)修正圖像不能顯示的bug?!闭撐闹饕髡?、麻省理工學(xué)院計(jì)算機(jī)科學(xué)與人工科學(xué)博士生David Bau說(shuō)。他將該項(xiàng)目描述為計(jì)算機(jī)科學(xué)家首次能夠?qū)嶋H“用神經(jīng)元繪制神經(jīng)網(wǎng)絡(luò)”。
設(shè)計(jì)師的福報(bào)
項(xiàng)目領(lǐng)導(dǎo)人、麻省理工學(xué)院教授Antonio Torralba認(rèn)為該項(xiàng)目具有巨大的潛在應(yīng)用。設(shè)計(jì)師和藝術(shù)家可以使用它來(lái)更快地調(diào)整視覺(jué)效果。想象一下,一位導(dǎo)演拍完戲后發(fā)現(xiàn),背景中少一個(gè)對(duì)劇情很重要的道具!這個(gè)時(shí)候GANpaint Studio就可以來(lái)大顯身手了。
通過(guò)分析需要?jiǎng)h除的“人造”單元,GANpaint Studio還可用于改進(jìn)和調(diào)試正在開發(fā)的其他GAN。除此之外,它還可以幫助研究人員更好地理解神經(jīng)網(wǎng)絡(luò)及其底層結(jié)構(gòu)。
一個(gè)意外的發(fā)現(xiàn)是系統(tǒng)實(shí)際上似乎已經(jīng)學(xué)習(xí)了一些關(guān)于對(duì)象之間關(guān)系的簡(jiǎn)單規(guī)則。它自己會(huì)通過(guò)某種方式,知道什么東西應(yīng)該出現(xiàn)在什么地方,不應(yīng)該出現(xiàn)在不屬于它的地方(例如天空中不應(yīng)該出現(xiàn)窗戶)。
在不同的環(huán)境中,它可以創(chuàng)造出不同的視覺(jué)效果。例如,假設(shè)圖像中有兩個(gè)不同的建筑物,我們需要為這兩個(gè)建筑物添加兩個(gè)門,GANpaint Studio并不會(huì)粗暴的復(fù)制兩個(gè)相同的門上去,而是會(huì)添加兩扇不一樣的門。
“所有繪圖應(yīng)用程序都將遵循用戶指令,但如果用戶命令將對(duì)象放在不合理的位置,我們可能決定不繪制任何內(nèi)容”Torralba說(shuō)?!斑@是一個(gè)具有強(qiáng)烈個(gè)性的繪圖工具,它打開了一個(gè)窗口,讓我們了解GAN如何學(xué)會(huì)代表視覺(jué)世界?!?/p>
“這項(xiàng)工作確實(shí)簡(jiǎn)直令人興奮,讓我們直接看到GAN學(xué)習(xí)東西的方式,開始看起來(lái)有點(diǎn)像常識(shí)認(rèn)知?!狈姨m阿爾托大學(xué)副教授Jaakko Lehtinen說(shuō),“我認(rèn)為這種能力是擁有可以在人類世界中發(fā)揮作用的自主系統(tǒng)的關(guān)鍵基石,這種系統(tǒng)是無(wú)限的,復(fù)雜的,不斷變化的?!?/p>
找出“假”圖像
該團(tuán)隊(duì)的目標(biāo)是讓人們更好地控制 GAN 網(wǎng)絡(luò)。但是他們認(rèn)識(shí)到,隨著性能的增加,濫用的可能性非常可怕,試想一下將這些技術(shù)用在醫(yī)療照片上將會(huì)多么的可怕!論文共同作者朱俊彥表示,他相信更好地了解 GAN,包括 GAN 所犯的錯(cuò)誤,這將有助于研究人員更好地消除假冒的照片。
“你需要先了解你的對(duì)手才能防御它,”CSAIL的博士后朱俊彥說(shuō)。“這種理解可能有助于我們更輕松地檢測(cè)假圖像?!?/p>
為了開發(fā)該系統(tǒng),研究團(tuán)隊(duì)首先確定了GAN內(nèi)部與特定類型的對(duì)象(如樹木)相關(guān)的單元。然后,單獨(dú)測(cè)試這些單元,看看是否擺脫它們會(huì)導(dǎo)致某些物體消失或出現(xiàn)。重要的是,他們還確定了導(dǎo)致視覺(jué)錯(cuò)誤(工件)的單元,并努力將其移除以提高圖像的整體質(zhì)量。
IBM的研究科學(xué)家Hendrik Strobelt說(shuō):“每當(dāng)GAN產(chǎn)生非常不切實(shí)際的圖像時(shí),這些錯(cuò)誤的原因以前就是一個(gè)謎。但現(xiàn)在我們發(fā)現(xiàn)這些錯(cuò)誤是由特定的神經(jīng)元觸發(fā)的,那么就可以先停掉這個(gè)神經(jīng)元,以提高圖像的質(zhì)量?!?/p>
“這個(gè)系統(tǒng)為更好地理解GAN模型打開了一扇大門,這將有助于我們對(duì)GAN進(jìn)行任何類型的研究,”Lehtinen說(shuō)。
GANpaint憑什么如此神奇?
生成對(duì)抗網(wǎng)絡(luò)(GANs)最近在許多實(shí)際應(yīng)用中取得了令人印象深刻的結(jié)果,并且隨著樣本質(zhì)量和訓(xùn)練穩(wěn)定性的提高,出現(xiàn)了許多GAN的變體。然而,對(duì)GAN的可視化和理解在很大程度上是缺失的。
因此,來(lái)自MIT、香港中文大學(xué)、IBM等學(xué)校/機(jī)構(gòu)的David Bau、朱俊彥、Joshua B.Tenenbaum、周博磊等人發(fā)表論文,并在文中提出了GANpaint這款工具。他們將于下個(gè)月在洛杉磯舉行的SIGGRAPH會(huì)議上發(fā)表演講。
在這項(xiàng)工作中,研究人員提出了一個(gè)分析框架來(lái)在單元、對(duì)象和場(chǎng)景級(jí)別可視化和理解GAN:
首先,用基于分段的網(wǎng)絡(luò)剖分方法識(shí)別一組與對(duì)象概念密切相關(guān)的可解釋單元;
然后,通過(guò)測(cè)量“干預(yù)”的能力來(lái)量化可解釋單位的因果效應(yīng);
最后,通過(guò)將發(fā)現(xiàn)的對(duì)象概念插入到新圖像中,以此來(lái)檢查這些單元與其周圍環(huán)境之間的關(guān)系。
研究人員的主要目標(biāo)是分析如何通過(guò)GAN生成器的內(nèi)部表征,來(lái)對(duì)“樹”等對(duì)象進(jìn)行編碼:
通過(guò)剖析(dissection)來(lái)表征單元
使用干預(yù)(intervention)測(cè)量因果關(guān)系
實(shí)驗(yàn)結(jié)果
工作人員研究了在LSUN場(chǎng)景數(shù)據(jù)集上訓(xùn)練的三種Progressive GAN的變體。為了對(duì)生成的圖像進(jìn)行分割,我們使用一個(gè)最近的模型 (Xiao et al., 2018) 在ADE20K場(chǎng)景數(shù)據(jù)集上訓(xùn)練。
該模型可以將輸入圖像分割為336個(gè)物體類,29個(gè)大物體和25個(gè)材質(zhì)類。為了進(jìn)一步識(shí)別專門用于對(duì)象部件的單元,我們將每個(gè)對(duì)象類c擴(kuò)展為另外的對(duì)象部件類ct,cb,cl和cr,分別表示連接組件的邊界框的頂部,底部,左半部分或右半部分。。
診斷和改進(jìn)GANS
框架不僅可以揭示GAN是如何成功地生成真實(shí)圖像的,也可以分析結(jié)果失敗的原因。
如圖8所示,圖8a顯示了幾個(gè)注釋單元,負(fù)責(zé)GAN結(jié)果中的visual artifacts;圖8b顯示了artifacts被成功移除,并且自由像素保持不變的改進(jìn)的生成結(jié)果。
圖8: (a)兩個(gè)負(fù)責(zé)GAN結(jié)果中 visual artifacts的示例單元。總共有20個(gè)單元。通過(guò)消融這些單元,我們可以修復(fù)(b)中的artifacts,并顯著提高(c)中的視覺(jué)質(zhì)量。
通過(guò)消融定位因果單元
圖9:測(cè)量在會(huì)議室圖像訓(xùn)練的GAN中消融單元的效果
如圖10所示,雖然可以在會(huì)議室圖像中很好地移除窗戶,但是在其他場(chǎng)景中刪除窗戶則比較困難。
圖10:比較在五個(gè)場(chǎng)景類別訓(xùn)練的GAN中消融20個(gè)窗戶單位的效果。
通過(guò)插入表征上下文關(guān)系
也可以通過(guò)強(qiáng)制單元和插入這些功能到場(chǎng)景中的特定位置來(lái)學(xué)習(xí)GAN的操作。圖11顯示了在教堂場(chǎng)景中插入20層門單元的效果。
圖11:通過(guò)在表示中的一個(gè)像素處將20個(gè)causal units設(shè)置為固定的高值來(lái)插入 door units。
-
圖像
+關(guān)注
關(guān)注
2文章
1075瀏覽量
40267 -
MIT
+關(guān)注
關(guān)注
3文章
253瀏覽量
23312 -
計(jì)算機(jī)科學(xué)
+關(guān)注
關(guān)注
1文章
142瀏覽量
11317
原文標(biāo)題:暴力解剖GAN!MIT、港中文團(tuán)隊(duì)GANpaint,一筆成畫不是夢(mèng)
文章出處:【微信號(hào):AI_era,微信公眾號(hào):新智元】歡迎添加關(guān)注!文章轉(zhuǎn)載請(qǐng)注明出處。
發(fā)布評(píng)論請(qǐng)先 登錄
相關(guān)推薦
評(píng)論