像在word里一樣便捷地編輯圖像中的文字

你想像編輯word文本一樣便捷地編輯照片中的文字嗎？像這樣:

和這樣:

讓別人感覺不到任何人為編輯的跡象：

近日來自印度的研究人員們近日提出了一種基于自編碼模型的字符替換方法，通過字符生成、顏色調(diào)節(jié)和重置完成對圖像中目標(biāo)文字的修改，并且能生成十分自然的圖像，圖像中被編輯過的文字毫無違和感。圖片上的文字信息對于我們理解圖片十分重要。字符的缺失和改變有的時候會嚴(yán)重的影響我們對于圖像內(nèi)涵的理解。除了會造成忍俊不禁的錯別字，有時候還會讓人們誤解造成嚴(yán)重的損失！

另一方面，對于不同視角、環(huán)境下得到字符缺失的圖片，如何進行有效的編輯和修復(fù)也是視覺領(lǐng)域一個重要的問題,甚至對于古文獻修復(fù)和案件偵破都有著重要意義。

像編輯文本一樣編輯圖像中的文字

如果我們能夠像文本編輯器一樣編輯圖像中的文字就好了。先前的人員提出過基于字符幾何特征的合成方法，但卻缺乏泛化性。但隨著深度學(xué)習(xí)的發(fā)展，研究人員提出了利用GAN來進行字符生成，但基于GAN生成字符進行編輯的方法也需要面臨一系列問題。首先基于GAN的生成需要對目標(biāo)字符進行精確的識別，但字符識別本身就是一個復(fù)雜的問題，任何誤差都會在整個過程積累十分有可能造成字符編輯的錯誤；其次，字符在同一張圖像內(nèi)具有多種字體類型，GAN模型需要對字體進行多次觀察，并在生成前對字符進行較為嚴(yán)格的字體去失真過程，這對于不同情況下的字符編輯來說十分復(fù)雜。

所以研究人員聚焦字符級別的生成模型，來代替單詞級別的生成模型最大化模型的靈活性和適應(yīng)性。那么為了編輯圖像中的文字，怎樣才能又快又好呢？你需要四個步驟：定位到你要修改的字符、生成目標(biāo)字符、調(diào)整目標(biāo)字符的顏色、將字符融合回圖像中去。這一工作的核心在于解決如何生成具有相同字體的目標(biāo)字符，并為它賦予原字符相同的顏色風(fēng)格。為此，研究人員提出了下圖所示的FANet和ColorNet聯(lián)合完成。

首先選取需要修改的字符，并利用算法將原字符轉(zhuǎn)變?yōu)槎祱D像輸入網(wǎng)絡(luò)。FANet首先通過一個三層卷積和兩次全連接將輸入字符編碼到512長度的向量上，其中包含了字體的風(fēng)格信息。此外，目標(biāo)字符的編碼通過26個字符的獨熱編碼轉(zhuǎn)換到512維的編碼上與先前得到的輸入字符圖像編碼拼接得到1024維的隱空間編碼。隨后利用兩個全連接和三次上采樣最終得到與原字符相同風(fēng)格的目標(biāo)字符。但這時候的字符還沒有顏色。那么就把原字符的顏色信息拿過來，繼續(xù)進行處理。通過編碼器解碼器的結(jié)構(gòu)，將原字符上的顏色信息遷移到了新字符上。最后對原圖的對應(yīng)區(qū)域進行背景去除，區(qū)域連續(xù)性處理，將得到的新字符放到合適的位置就可以得到修改后的圖片了！來看看效果~~

這本jave書有點厲害！

看到這些圖，你可能會覺得這些路標(biāo)好像和上次看到的不一樣了！

為了訓(xùn)練這個網(wǎng)絡(luò)，研究人員們利用了谷歌字符庫中的1000中字體，其中訓(xùn)練集中包含了67.6萬個數(shù)據(jù)，驗證集則有20.2萬個數(shù)據(jù)。

最終的網(wǎng)絡(luò)不僅可以編輯字符，同時還能由輸入的單一字符生成出全部26個字母的新字體，下圖中的的字體都是由一個輸入字符生成出來的。

同樣顏色也可以遷移，下圖中的第二行表示輸入字符的顏色，第三行就是將第二行的顏色遷移到第一行字符的結(jié)果。

中文字符

那么按道理，我們也可以開心的編輯照片中的漢字了。華中科技大學(xué)和曠視去年就提出了一篇可以生成各種風(fēng)格漢字書法的工作，利用生成器和判別器實現(xiàn)了中文書法字符的合成。

這是文章中的網(wǎng)絡(luò)結(jié)構(gòu)：

和最后得到的結(jié)果：

我們可以基于同樣的思路將圖像中的中文字符也進行轉(zhuǎn)換，把照片中的漢字都變成優(yōu)秀的書法作品啦。