一種具有語義區(qū)域風(fēng)格約束的圖像生成框架

　　生成對抗網(wǎng)絡(luò)近年來發(fā)展迅速，其中語義區(qū)域分割與生成模型的結(jié)合為圖像生成技術(shù)研究提供了新方向。在當前的研究中，語義信息作為指導(dǎo)生成的條件，可以通過編輯和控制輸入的語義分割掩碼來生成理想的特定風(fēng)格圖像。文中提出了種具有語義區(qū)域風(fēng)格約東的圖像生成框架，利用條件對抗生成網(wǎng)絡(luò)實現(xiàn)了圖像分區(qū)域的自適應(yīng)風(fēng)格控制。具體而言，首先獲得圖像的語義分割圖，并使用風(fēng)格編碼器提取岀圖像中不同語乂區(qū)域的風(fēng)格信息;然后，在生成端將風(fēng)格信息和語義掩碼對應(yīng)生成器中的每個殘差塊分別仿射變換為兩組調(diào)制參數(shù);最后，輸入到生成器中的語義特征圖根據(jù)毎個殘差塊的調(diào)制參數(shù)加權(quán)求和，并通過卷積與上采樣漸進式地生成目標風(fēng)格內(nèi)容，從而有效地將語義信息和風(fēng)格信息相結(jié)合，得到最終的目標風(fēng)格內(nèi)容針對現(xiàn)有模型難以精準控制各語義區(qū)堿風(fēng)格的問題，文中設(shè)計了新的風(fēng)格約朿損失，在語義層次上約束區(qū)域風(fēng)格變化，減小不同語義區(qū)域的風(fēng)格編碼之間的相亞影響;另外，在不影響性能的前提下，采取權(quán)重量化的方式，將生成器的參數(shù)存儲規(guī)模壓縮為原來的15.6%，有效降低了模型的存儲空間消耗。實驗結(jié)果表明，所提模型的生成質(zhì)量在主觀感受和客觀指標上較現(xiàn)有方法均有顯著提高，其中FⅠ分數(shù)比當前最優(yōu)模型提升了約3.8%。