免費開源圖像修復(fù)工具lama-cleaner介紹

1. 關(guān)于 Lama Cleaner

Lama Cleaner 是由 SOTA AI 模型提供支持的免費開源圖像修復(fù)工具?？梢詮膱D片中移除任何不需要的物體、缺陷和人，或者擦除并替換（powered by stable diffusion）圖片上的任何東西。

特征：

完全免費開源，完全自托管，支持CPU & GPU & M1/2

Windows 一鍵安裝程序

本機 macOS 應(yīng)用程序

多種SOTA AI模型

擦除模型：LaMa/LDM/ZITS/MAT/FcF/Manga

擦除和替換模型：穩(wěn)定擴散/繪制示例

后期處理插件：

RemoveBG：刪除圖像背景

RealESRGAN：超分辨率

GFPGAN：面部恢復(fù)

RestoreFormer：面部修復(fù)

分割任何東西：準(zhǔn)確快速的交互式對象分割

文件管理器：方便地瀏覽您的圖片并將它們直接保存到輸出目錄。

插件

在圖像清洗的后處理中，除了擦除之外，還經(jīng)常使用面部修復(fù)或超分辨率等算法?，F(xiàn)在您可以直接在 Lama Cleaner 中使用它們。啟動Lama Cleaner服務(wù)時，您可以通過命令行參數(shù)啟用插件。啟用的插件將在左上角顯示。

2. 擦除模型

Lama Cleaner默認(rèn)擦除模型為LaMa，開源地址為：https://github.com/advimman/lama 。

LaMa 圖像修復(fù)，采用傅立葉卷積的分辨率魯棒大型掩模修復(fù)，WACV 2022

現(xiàn)代圖像修復(fù)系統(tǒng)盡管取得了顯著的進(jìn)步，但常常難以應(yīng)對大面積缺失區(qū)域、復(fù)雜的幾何結(jié)構(gòu)和高分辨率圖像。我們發(fā)現(xiàn)造成這種情況的主要原因之一是修復(fù)網(wǎng)絡(luò)和損失函數(shù)都缺乏有效的感受野。為了緩解這個問題，我們提出了一種稱為大掩模修復(fù)（LaMa）的新方法。LaMa 基于：

一種新的修復(fù)網(wǎng)絡(luò)架構(gòu)，使用快速傅立葉卷積，具有圖像范圍的感受野

高感受野感知損失；

大型訓(xùn)練掩碼（masks），釋放前兩個組件的潛力。

我們的修復(fù)網(wǎng)絡(luò)提高了一系列數(shù)據(jù)集的最新技術(shù)，即使在具有挑戰(zhàn)性的場景（例如完成周期性結(jié)構(gòu)）中也能實現(xiàn)出色的性能。我們的模型出人意料地很好地概括了比訓(xùn)練時所見的分辨率更高的分辨率，并且以比競爭基準(zhǔn)更低的參數(shù)和計算成本實現(xiàn)了這一點。

其中，模型中FFC結(jié)構(gòu)如下：

3. 安裝 Lama Cleaner

很遺憾，我的電腦沒有GPU，具體環(huán)境如下：

Windows 10專業(yè)版

處理器：Intel Core i5-9400 CPU @ 2.90GHz 2.90 GHz

內(nèi)存(RAM)：32.0 GB(31.8 GB可用)

顯卡：Intel UHD Graphics 630

安裝Lama Cleaner最簡單的方法是通過pip安裝（支持python 3.7 ~ 3.10）。

關(guān)于GPU安裝，官方說明如下：

安裝完成后，可以通過lama-cleaner命令啟動服務(wù)器，第一次使用時會下載模型文件（建議確保網(wǎng)絡(luò)暢通）。

GPU啟動命令如下：lama-cleaner --model=lama --device=cuda --port=8080

4. 啟動

啟動命令如下：

工具的使用是基于瀏覽器的，我安裝在本機，使用默認(rèn)端口8080，打開瀏覽器使用如下地址：http://127.0.0.1:8080。

5. 去水印摳圖操作

如下圖所示，從左到右操作，中間圖分兩塊涂抹需要清除的標(biāo)記，最后按下方的橡皮檫，形成最右邊的圖像。

其中，標(biāo)記多塊需要清除點時，需要使用手動修復(fù)模式。默認(rèn)情況下，Lama Cleaner 將在繪制筆劃后運行修復(fù)。您可以在設(shè)置中啟用手動修復(fù)模式。

6. 其他擦除模型對比舉例

LDM 與 LaMa 模型擦除效果對比：

可能得到比 LaMa 更好、更詳細(xì)的結(jié)果
通過調(diào)整步驟可以達(dá)到時間和質(zhì)量的平衡
比 LaMa 模型慢得多（3080 12it/s）
需要更多GPU內(nèi)存（512x512 5.8G）

7. 最后

如果要取得好的圖像效果，是需要GPU的。

來源：小白學(xué)視覺