一種AI輔助的圖像編輯工具,可以自動(dòng)摳圖替換任何圖像的背景

MIT CSAIL的研究人員開發(fā)了一種基于深度學(xué)習(xí)的圖像編輯工具，能夠自動(dòng)摳圖，替換任何圖像的背景。他們稱之為“圖像軟分割”，這個(gè)系統(tǒng)能夠分析原始圖像的紋理和顏色，僅需3~4分鐘，生成非常自然、真實(shí)的圖像，其效果不輸專業(yè)人士用Photoshop的制作。

是時(shí)候卸載你的PS軟件了。

最近，MIT計(jì)算機(jī)科學(xué)與人工智能實(shí)驗(yàn)室（CSAIL）的研究人員開發(fā)了一種AI輔助的圖像編輯工具，它可以自動(dòng)摳圖，替換任何圖像的背景。

像這樣：

和這樣：

要使摳完的這些圖像看起來很逼真并不是一件容易的事，因?yàn)閳D像編輯必須要成功捕捉前景和背景之間微妙的審美轉(zhuǎn)換點(diǎn)，這對(duì)于人類頭發(fā)等復(fù)雜材質(zhì)來說尤其困難。

下圖除外。

“處理這些圖像的棘手之處在于，圖像中每個(gè)像素并不是全部只屬于一個(gè)物體。”麻省理工學(xué)院計(jì)算機(jī)科學(xué)與人工智能實(shí)驗(yàn)室（CSAIL）的訪問研究員Yagiz Aksoy說?！昂芏鄷r(shí)候，我們很難確定哪些像素是背景的一部分，哪些像素是特定的人的一部分?！?/p>

除了經(jīng)驗(yàn)最豐富的編輯人員之外，其他人都很難把控這些細(xì)節(jié)。但是在最近的一篇新論文中，Aksoy和他的同事展示了一種利用機(jī)器學(xué)習(xí)讓照片編輯過程自動(dòng)化的方法，而且表示這種方法也可用于視頻處理。

該團(tuán)隊(duì)提出的方法可以將拍攝的圖像自動(dòng)分解為一組不同的圖層，圖層之間通過一系列“軟過渡”（soft transitions）相分隔。

他們把這個(gè)系統(tǒng)命名為“語(yǔ)義軟分割”（semantic soft segmentation，SSS），它能夠分析原始圖像的紋理和顏色，并將其與神經(jīng)網(wǎng)絡(luò)收集的有關(guān)圖像中實(shí)際目標(biāo)的信息相結(jié)合。

3分鐘AI自動(dòng)摳圖，徹底拋棄PhotoShop

編輯器將圖像中的對(duì)象和背景分割成不同的部分，以便于選擇。但不像大多數(shù)圖片編輯軟件需要式樣磁性套索或魔術(shù)套索工具，MIT開發(fā)的AI工具并不依賴于用戶輸入的上下文，你不必跟蹤一個(gè)對(duì)象或放大并捕捉精細(xì)細(xì)節(jié)。AI可以自動(dòng)實(shí)現(xiàn)這一過程。

這個(gè)過程從神經(jīng)網(wǎng)絡(luò)估計(jì)圖像的區(qū)域和特征開始：

然后，神經(jīng)網(wǎng)絡(luò)檢測(cè)到“soft transitions”，例如狗狗的毛發(fā)和草。以前這個(gè)過程必須手動(dòng)去做。

然后通過顏色將圖像中的像素相互關(guān)聯(lián)：

這些信息與神經(jīng)網(wǎng)絡(luò)檢測(cè)到的特征相結(jié)合，對(duì)圖像的層進(jìn)行估計(jì)。

經(jīng)過這一系列處理，現(xiàn)在，可以實(shí)現(xiàn)AI自動(dòng)摳圖并更換背景了。

研究人員表示，這樣自動(dòng)處理一張640×480的圖像需要3~4分鐘。

“一旦計(jì)算出這些軟分割段，用戶就不必手動(dòng)套索，也不用對(duì)圖像的特定圖層的外觀進(jìn)行單獨(dú)修改，”Aksoy說道，他在上周與溫哥華舉辦的SIGGRAPH計(jì)算機(jī)圖形會(huì)議上發(fā)表了該技術(shù)的論文。“這樣一來，更換背景和調(diào)整顏色等手動(dòng)編輯任務(wù)將變得更加容易?！?/p>

當(dāng)然，這個(gè)魔術(shù)一般的工具背后涉及許多復(fù)雜的算法和計(jì)算，我們將在后文介紹。該團(tuán)隊(duì)使用神經(jīng)網(wǎng)絡(luò)來處理圖像特征和確定圖像的柔化邊緣。

技術(shù)細(xì)節(jié)：圖像“軟分割”技術(shù)煉成大法

該方法最重要的是自動(dòng)生成輸入圖像的軟分割，也就是說，將輸入圖像分解成表示場(chǎng)景中對(duì)象的層，包括透明度和軟過渡（soft transitions）。

圖2：SSS方法的概述

如上圖所示，對(duì)于輸入圖像，我們要生成每個(gè)像素的超維語(yǔ)義特征向量（hyperdimensional semantic feature vectors），并使用紋理和語(yǔ)義信息定義圖形。圖形構(gòu)造使得相應(yīng)的Laplacian矩陣及其特征向量揭示了語(yǔ)義對(duì)象和它們之間的軟過渡（soft transitions）。

我們使用特征向量來構(gòu)建一組初始的軟分割（soft segments），并將它們組合起來得到語(yǔ)義上有意義的分割。最后，我們對(duì)soft segments進(jìn)行細(xì)化，使其可用于目標(biāo)圖像編輯任務(wù)。

非局部顏色親和性（Nonlocal Color Affinity）

我們定義了一個(gè)額外的 low-level affinity，表示基于顏色的長(zhǎng)期交互。

這種親和性（affinity）基本上確保了具有非常相似的顏色的區(qū)域在復(fù)雜場(chǎng)景結(jié)構(gòu)中保持關(guān)聯(lián)，其效果如下圖所示。

高級(jí)語(yǔ)義親和性（High-Level Semantic Affinity）

雖然非局部顏色親和為分割過程增加了大范圍的交互，但它仍然屬于低級(jí)別特征。我們的實(shí)驗(yàn)表明，在沒有附加信息的情況下，在分割中仍然會(huì)經(jīng)常對(duì)不同對(duì)象的相似顏色的圖像區(qū)域進(jìn)行合并。

為了創(chuàng)建僅限于語(yǔ)義相似區(qū)域的分割片段，我們添加了一個(gè)語(yǔ)義關(guān)聯(lián)項(xiàng)，對(duì)屬于同一場(chǎng)景對(duì)象的像素進(jìn)行分組，并盡量防止來自不同對(duì)象的像素的混雜。我們?cè)谀繕?biāo)識(shí)別領(lǐng)域的先前成果的基礎(chǔ)上，在每個(gè)像素上計(jì)算與底層對(duì)象相關(guān)的特征向量。

我們還定義了超像素的語(yǔ)義親和。除了增加線性系統(tǒng)的稀疏性之外，超像素的使用還減少了過渡區(qū)域中不可靠特征向量的負(fù)面影響，如圖4所示。

圖4. 不同處理流程效果比較。（a）僅使用Laplacian matting（b）結(jié)合使用Laplacian matting和語(yǔ)義分割 （c）進(jìn)一步利用稀疏顏色連接方法。

由于特征向量不能表示人與背景之間的語(yǔ)義切割，因此僅使用Laplacian matting會(huì)導(dǎo)致包括背景的大部分的人物分割片段突出顯示。加入稀疏顏色連接可提供更清晰的前景遮景。

創(chuàng)建圖層

我們使用前面描述的語(yǔ)義親和來創(chuàng)建圖層，得到Laplacian matrix L。我們要從該矩陣中提取特征向量，并使用兩步稀疏化過程，利用這些特征向量創(chuàng)建圖層。

圖6.圖像（a）顯示了像素稀疏化之前（b）和之后（c）的結(jié)果。

如圖所示，因?yàn)槲覀兊慕Y(jié)果（c）保留了頭發(fā)周圍的柔和過渡，而常數(shù)參數(shù)（d）則會(huì)導(dǎo)致過度稀疏的結(jié)果。

語(yǔ)義特征向量

圖8.我們首先為給定圖像生成每像素128維特征向量（圖a）。圖b表示128維到3維的隨機(jī)投影。我們利用每個(gè)圖像的主成分分析（c）將特征的維數(shù)減少到3。在降維之前，使用引導(dǎo)過濾器對(duì)特征進(jìn)行邊緣對(duì)齊。

更多技術(shù)細(xì)節(jié)，請(qǐng)閱讀論文：

該論文由麻省理工學(xué)院副教授Wojciech Matusik、CSAIL博士后研究員Tae-Hyun Oh、Adobe Research的Sylvain Paris、以及蘇黎世聯(lián)邦理工學(xué)院和微軟的Marc Pollefeys共同撰寫。

論文地址：

http://cfg.mit.edu/sites/cfg.mit.edu/files/sss_3.pdf

未來可用于視頻處理

SSS目前主要是處理靜態(tài)圖像。不過研究團(tuán)隊(duì)表示，未來可以預(yù)見將該技術(shù)用于視頻處理，并將可能產(chǎn)生許多電影制作應(yīng)用程序。

研究人員表示，他們的目的并不是解決一般的自然摳圖問題。自然摳圖是一個(gè)成熟的領(lǐng)域，面臨許多特有的挑戰(zhàn)，例如在非常相似顏色的前景和背景區(qū)域中生成精確的摳圖結(jié)果。目前最先進(jìn)的方法取決于兩個(gè)區(qū)域的顏色分布。當(dāng)目標(biāo)顏色非常相似時(shí)，他們的方法可能在開始的約束稀疏化步驟中失敗，或者基于大面積過渡區(qū)域建立了不可靠的語(yǔ)義特征向量，可能導(dǎo)致軟分割的失敗。

兩個(gè)失敗的例子

“我們想讓摳圖的過程變得更簡(jiǎn)單、快捷，讓一般用戶也可以更方便地進(jìn)行圖像編輯?！癆ksoy說?！拔覀兊哪繕?biāo)是，只需點(diǎn)擊一下鼠標(biāo)，編輯就可以將圖像組合在一起，打造出成熟、逼真的夢(mèng)幻世界?！?/p>

Aksoy表示，目前SSS可供Instagram和Snapchat等社交平臺(tái)使用，讓圖像過濾器的效果更加逼真，尤其是在更改自拍背景或模擬特定類型的相機(jī)時(shí)。在未來，研究人員計(jì)劃進(jìn)一步將處理圖像所需的時(shí)間從幾分鐘降低到幾秒，并通過提高系統(tǒng)匹配顏色和處理光照和陰影目標(biāo)的能力，使圖像看上去更加逼真。