使用 CNN 處理圖像問題已經(jīng)是常規(guī)操作,但此類方法會(huì)造成局部位置信息的損失。如何解決這個(gè)問題呢?來自中科院自動(dòng)化所和北京中醫(yī)藥大學(xué)的研究者另辟蹊徑,提出用圖卷積網(wǎng)絡(luò)解決語義分割問題。
論文鏈接:https://arxiv.org/pdf/2001.00335.pdf 使用深度學(xué)習(xí)執(zhí)行語義分割在圖像像素分類方面取得了巨大進(jìn)步。但是,深度學(xué)習(xí)提取高級(jí)特征時(shí)往往忽略了局部位置信息(local location information),而這對(duì)于圖像語義分割而言非常重要。 為了避免上述問題,來自中科院自動(dòng)化所、北京中醫(yī)藥大學(xué)的研究者們提出一個(gè)執(zhí)行圖像語義分割任務(wù)的圖模型 Graph-FCN,該模型由全卷積網(wǎng)絡(luò)(FCN)進(jìn)行初始化。 首先,通過卷積網(wǎng)絡(luò)將圖像網(wǎng)格數(shù)據(jù)擴(kuò)展至圖結(jié)構(gòu)數(shù)據(jù),這樣就把語義分割問題轉(zhuǎn)換成了圖節(jié)點(diǎn)分類問題;然后,使用圖卷積網(wǎng)絡(luò)解決圖節(jié)點(diǎn)分類問題。 研究者稱,這是首次將圖卷積網(wǎng)絡(luò)用于圖像語義分割的嘗試。該方法在 VOC 數(shù)據(jù)集上獲得了有競爭力的 mIOU 性能,相比原始 FCN 模型有 1.34% 的性能提升。
Graph-FCN 架構(gòu)圖。
語義分割問題的難點(diǎn) 語義分割是計(jì)算機(jī)視覺領(lǐng)域中的重要課題,其復(fù)雜程度超過分類和檢測任務(wù)。這項(xiàng)密集預(yù)測任務(wù)需要預(yù)測每個(gè)像素的類別,也就是說它需要從高級(jí)語義信息和局部位置信息中學(xué)習(xí)目標(biāo)輪廓、目標(biāo)位置和目標(biāo)類別。 基于深度學(xué)習(xí)的語義分割方法,具體而言即卷積神經(jīng)網(wǎng)絡(luò)(CNN),為該領(lǐng)域帶來了一系列巨大進(jìn)展。提取高級(jí)特征的強(qiáng)大泛化能力使得圖像分類和檢測任務(wù)取得了非常好的性能,但伴隨泛化而來的局部位置信息損失則為密集預(yù)測任務(wù)增加了難度。具備較大感受野的高級(jí)語義信息對(duì)應(yīng)卷積神經(jīng)網(wǎng)絡(luò)中的小型特征圖,這類圖會(huì)造成像素級(jí)局部位置信息的損失。 多種基于深度學(xué)習(xí)的方法對(duì)該問題帶來了改進(jìn),如全卷積網(wǎng)絡(luò) [16]、Segent [1]、Deeplab 方法 [2,3,4]。這些工作使用全連接層、空洞卷積和金字塔結(jié)構(gòu),來減少提取高級(jí)特征過程中的位置信息損失。 中科院等提出語義分割難題新解法 首先,研究者為圖像語義分割問題構(gòu)建圖節(jié)點(diǎn)模型。圖模型方法廣泛應(yīng)用于分割問題,這類方法將像素視作節(jié)點(diǎn),將節(jié)點(diǎn)之間的差異度(dissimilarity)視作邊(edge)。最優(yōu)的分割即對(duì)圖執(zhí)行最大割(maximum cut)。 結(jié)合了概率論和圖論的概率圖模型方法(如馬爾可夫隨機(jī)場和條件隨機(jī)場)被用于細(xì)化語義分割結(jié)果。這些方法將檢測到的目標(biāo)建模為圖節(jié)點(diǎn),通過提取目標(biāo)之間的關(guān)系來改進(jìn)檢測準(zhǔn)確率。相比于深度卷積模型把輸入數(shù)據(jù)表示為網(wǎng)格結(jié)構(gòu),圖模型具備更靈活的跳躍連接(skip connection),因此它可以探索圖中節(jié)點(diǎn)之間的關(guān)系。 受限于計(jì)算量,研究者使用 FCN 初始化該圖模型。該圖模型基于小尺寸圖像構(gòu)建,其節(jié)點(diǎn)標(biāo)注由 FCN 進(jìn)行初始化,邊的權(quán)重則由高斯核函數(shù)進(jìn)行初始化。
圖 1:FCN 結(jié)構(gòu)示意圖。本研究使用 FCN-16s 作為基礎(chǔ)模型對(duì)節(jié)點(diǎn)標(biāo)注進(jìn)行初始化。 然后使用圖卷積網(wǎng)絡(luò)(GCN)解決這個(gè)圖模型。GCN 是處理圖結(jié)構(gòu)數(shù)據(jù)的當(dāng)前最優(yōu)模型之一?;诠?jié)點(diǎn)的 GCN 利用消息傳播(message propagation)來交換相鄰節(jié)點(diǎn)之間的信息。這一過程可以在圖的較大相鄰范圍內(nèi)提取特征,其作用類似于卷積網(wǎng)絡(luò)中的卷積層和池化層。由于該過程中不會(huì)有節(jié)點(diǎn)消失,因此基于節(jié)點(diǎn)的 GCN 擴(kuò)展了感受野,并避免了局部位置信息出現(xiàn)損失。 這篇論文提出了新型模型 Graph-FCN 來解決語義分割問題。研究者使用深度卷積網(wǎng)絡(luò)建模圖,并首次用 GCN 方法解決圖像語義分割任務(wù)。Graph-FCN 可以擴(kuò)大感受野,同時(shí)避免局部位置信息出現(xiàn)損失。實(shí)驗(yàn)表明,Graph-FCN 的性能優(yōu)于 FCN。 Graph-FCN 方法詳解 GCN 旨在解決圖結(jié)構(gòu)數(shù)據(jù)集上的學(xué)習(xí)問題。圖結(jié)構(gòu)數(shù)據(jù)可看作是三元組 G(N, E, U),其中 N 表示圖的節(jié)點(diǎn)集合,即 |N| ? S 矩陣(|N| 表示圖節(jié)點(diǎn)數(shù)量,S 表示節(jié)點(diǎn)標(biāo)注向量的維度)。E 是圖的邊集合。U 對(duì)應(yīng)圖特征,由于本研究涉及任務(wù)與 U 無關(guān),因此本研究不討論 U。 與歐幾里德空間中的數(shù)據(jù)表示不同,矩陣 N 和邊 E 并非獨(dú)特表示。矩陣 N 與 E 對(duì)應(yīng),它們都按照節(jié)點(diǎn)的順序排列。研究者使用監(jiān)督學(xué)習(xí)方式訓(xùn)練模型。節(jié)點(diǎn) n_j 表示圖 j 中的節(jié)點(diǎn)集,t_j 表示節(jié)點(diǎn)集 n_j 的標(biāo)注集。因此用于語義分割任務(wù)的圖模型可公式化為:
研究者將交叉熵函數(shù)作為該模型的損失函數(shù)。T_r 表示訓(xùn)練集。 節(jié)點(diǎn) 在本研究提出的新模型中,節(jié)點(diǎn)標(biāo)注由 FCN-16s 進(jìn)行初始化。通過端到端訓(xùn)練后,F(xiàn)CN-16s 得到步幅為 16 和 32 的特征圖,如下圖 2 所示。對(duì)步幅為 16 的特征圖執(zhí)行因子為 2 的上采樣可以獲得與步幅為 32 的特征圖一樣的大小。(節(jié)點(diǎn) j 的)標(biāo)注 x_j 由這兩個(gè)特征向量以及特征圖中每個(gè)節(jié)點(diǎn)位置的級(jí)聯(lián)進(jìn)行初始化。該標(biāo)注包含在局部感受野上提取到的特征。在訓(xùn)練過程中,研究者通過對(duì)原始標(biāo)注圖像執(zhí)行池化操作來得到節(jié)點(diǎn)標(biāo)簽。
圖 2:節(jié)點(diǎn)標(biāo)注初始化過程。節(jié)點(diǎn)標(biāo)注由 FCN-16s 中兩個(gè)層的級(jí)聯(lián)進(jìn)行初始化。 邊 在圖模型中,邊和鄰接矩陣相關(guān)。假設(shè)每個(gè)節(jié)點(diǎn)和其最鄰近的 l 個(gè)節(jié)點(diǎn)相連,這意味著節(jié)點(diǎn)標(biāo)注可以通過圖神經(jīng)網(wǎng)絡(luò)中的邊進(jìn)行遷移。下圖 3 中的示例描述了圖神經(jīng)網(wǎng)絡(luò)中的感受野。假設(shè) l 為 4,那么從相關(guān)距離的影響來看,我們需要用高斯核函數(shù)獲得權(quán)重鄰接矩陣 A。
圖 3:當(dāng) l 為 4 時(shí),雙層 GCN 的感受野。這與卷積層不同。 使用 Graph-FCN 進(jìn)行訓(xùn)練 在 Graph-FCN 中,F(xiàn)CN-16s 實(shí)現(xiàn)節(jié)點(diǎn)分類和圖模型在小型特征圖中的初始化。同時(shí),雙層 GCN 獲取圖中節(jié)點(diǎn)的分類結(jié)果。研究者分別計(jì)算這兩部分輸出的交叉熵?fù)p失。和 FCN-16s 模型一樣,Graph-FCN 也以端到端模式進(jìn)行訓(xùn)練。Graph-FCN 網(wǎng)絡(luò)結(jié)構(gòu)如下圖 4 所示:
圖 4:Graph-FCN 的結(jié)構(gòu)示意圖。該模型有兩個(gè)輸出和兩個(gè)損失 L1 和 L2。它們共享卷積層提取特征的權(quán)重。L1 通過 output1 計(jì)算得到,L2 通過 output2 計(jì)算得到。通過最小化 L1 和 L2,F(xiàn)CN-16s 的性能得到了提升。 實(shí)驗(yàn) 研究者在 VOC2012 數(shù)據(jù)集上對(duì)模型進(jìn)行測試,實(shí)驗(yàn)結(jié)果表明 Graph-FCN 的性能優(yōu)于原始 FCN 模型。
表 1:Graph-FCN 和 FCN-16s 的性能對(duì)比情況。
圖 5:圖像語義分割結(jié)果。第二列是 Graph-FCN 的結(jié)果,第三列是 FCN-16s 的結(jié)果,第四列是 ground truth。
-
數(shù)據(jù)集
+關(guān)注
關(guān)注
4文章
1197瀏覽量
24535 -
深度學(xué)習(xí)
+關(guān)注
關(guān)注
73文章
5422瀏覽量
120587 -
圖卷積網(wǎng)絡(luò)
+關(guān)注
關(guān)注
0文章
7瀏覽量
1498
原文標(biāo)題:另辟蹊徑,中科院自動(dòng)化所等首次用圖卷積網(wǎng)絡(luò)解決語義分割難題
文章出處:【微信號(hào):tyutcsplab,微信公眾號(hào):智能感知與物聯(lián)網(wǎng)技術(shù)研究所】歡迎添加關(guān)注!文章轉(zhuǎn)載請(qǐng)注明出處。
發(fā)布評(píng)論請(qǐng)先 登錄
相關(guān)推薦
評(píng)論