一款工具，借助深度學(xué)習(xí)模型可以一鍵摳去漫畫(huà)中的文字

漫畫(huà)摳圖是漢化組翻譯中必不可少而又工作量很大的一項(xiàng)工作，主要內(nèi)容是將漫畫(huà)中的文字摳去，以便替換成另一種語(yǔ)言?，F(xiàn)在，這項(xiàng)工作可以自動(dòng)化地完成了，一位韓國(guó)的開(kāi)發(fā)者開(kāi)源了一款工具，借助深度學(xué)習(xí)模型可以一鍵摳去漫畫(huà)中的文字，連背景圖中的文字都可以被摳去，效果十分驚人。

很多人都喜歡看日本漫畫(huà)，不少作品已經(jīng)成為很多人心中的童年回憶。但是對(duì)于漫畫(huà)的翻譯人員來(lái)說(shuō)，他們需要去除原有漫畫(huà)的對(duì)話框和背景文字，并將其替換為讀者使用的語(yǔ)言。由于一本漫畫(huà)可能有數(shù)萬(wàn)個(gè)對(duì)話框和對(duì)話，因此工作量是很大的。

現(xiàn)在，摳圖的工作人員可以基本上解放他們的雙手了。只要你有 TensorFlow，就可以快速實(shí)現(xiàn)一鍵摳圖，將漫畫(huà)圖像中的所有文字一鍵去除。

SickZil-Machine，一鍵摳圖

SickZil 是韓文中的作者提供了一個(gè)視頻，用于展示這一工具的效果。

作者同時(shí)提供了自動(dòng)工具摳圖的案例。

對(duì)話框中的文字可以被完全消除。

有時(shí)候會(huì)有些文字消除不干凈的情況，但基本不影響畫(huà)面（漫畫(huà)右上角標(biāo)題符號(hào)）。同時(shí)，背景中被去掉文字后，背景畫(huà)面可以被自動(dòng)補(bǔ)全，基本不改變畫(huà)面效果（畫(huà)面右上角背景文字）。

從視頻中可以看出，這一工具非常的方便。只需要選擇待處理的漫畫(huà)，然后運(yùn)行工具即可。如果有一些畫(huà)面被誤去除，或者有一些去除不干凈的情況下，用戶可以手動(dòng)修改需要被去除的文字。

那么，這一工具背后是什么技術(shù)呢？

技術(shù)

模型架構(gòu)

據(jù)項(xiàng)目作者介紹，這一工具背后使用了兩個(gè)模型，第一個(gè)是 Seg Net，用于檢測(cè)漫畫(huà)中的問(wèn)題。另一個(gè)則是 Compl Net，用于處理漫畫(huà)圖像，去除文字并補(bǔ)全缺失的圖像部分。

Seg Net 使用的是 U-NET。這是一種編碼器-解碼器架構(gòu)。編碼器逐漸減少池化層的空間維度，解碼器逐步修復(fù)物體的細(xì)節(jié)和空間維度。

U-Net 的架構(gòu)，將輸入圖像逐步池化后進(jìn)行上采樣，從而還原圖像細(xì)節(jié)。

而 Compl Net 使用的是 deepfill v2，這是一個(gè)用于對(duì)任意被 mask 的圖像進(jìn)行修復(fù)的模型，可以適應(yīng)各種 mask 的方式（塊狀遮蓋或線條遮蓋都可以）。deepfill 是 Adobe 等機(jī)構(gòu)提出一系列圖像修復(fù)工具，機(jī)器之心也曾用過(guò) deepfill v1，但是效果似乎沒(méi)有論文展示的那么好。

目前 deepfill v2 并沒(méi)有官方開(kāi)源，但 GitHub 上有其他開(kāi)發(fā)者復(fù)現(xiàn)。

deepfill v2 的模型架構(gòu)，可以進(jìn)行圖像修復(fù)。

有了這兩大神器，基本上可以實(shí)現(xiàn)漫畫(huà)文字的檢測(cè)識(shí)別和去除文本后的圖像補(bǔ)全。

數(shù)據(jù)集和訓(xùn)練

有了模型還不夠，很多讀者想知道，整個(gè)系統(tǒng)是怎樣訓(xùn)練的。

在 Seg Net 上，作者使用了原始的漫畫(huà)圖像和文本內(nèi)容遮蓋數(shù)據(jù)，用于覆蓋原始漫畫(huà)中所有的文字部分。在 Compl Net 上，模型的輸入為被移除了文字的漫畫(huà)圖像。模型使用了 285 個(gè)圖像-遮蓋對(duì)和 31500 張漫畫(huà)圖像，其中有將近 12000 張漫畫(huà)是有文字的，因此訓(xùn)練的數(shù)據(jù)比較平衡。

安裝和使用

作者沒(méi)有透露訓(xùn)練模型的相關(guān)參數(shù)，但是提供了開(kāi)發(fā)者需要準(zhǔn)備的硬件配置。 對(duì)于開(kāi)發(fā)者而言，運(yùn)行代碼需要準(zhǔn)備 NVIDIA 驅(qū)動(dòng) 410.x，CUDA 10.0，CUDNN >= 7.4.1，TensorFlow 需要大于 1.13 版本。

配置代碼步驟如下：

首先克隆相關(guān)代碼：git clone https://github.com/KUR-creative/SickZil-Machine.git; cd SickZil-Machine

下載 zip 文件，地址：https://github.com/KUR-creative/SickZil-Machine/releases。

解壓并復(fù)制文件：SickZil-Machine-0.1.1-pre0-win64-cpu-eng/resource/cnet 和 SickZil-Machine-0.1.1-pre0-win64-cpu-eng/resource/snet 到文件目錄：SickZil-Machine/resource.

進(jìn)入目錄并安裝：pip install -r requirements.txt

運(yùn)行主程序：cd src; python main.py