如何實現(xiàn)遙感圖像等超大尺寸圖像快速識別

一般情況下，遙感目標檢測中，遙感圖像的圖片尺寸都會很大，且圖像中元素極為復(fù)雜，近期開賽的亞馬遜云科技【AI For Good - 2022 遙感光學(xué)影像目標檢測挑戰(zhàn)賽】也不例外，動輒超過10000 x 10000的衛(wèi)星遙感圖像讓許多選手感到頭疼。同時遙感影像中目標尺寸差別大、小而密集、角度各異也導(dǎo)致常見的CV框架難以實現(xiàn)快速精準的目標識別。所以，如何實現(xiàn)遙感圖像等超大尺寸圖像快速識別？

目前比較成熟的衛(wèi)星圖像識別算法并不少，但大多依托于強大的計算資源，為了用有限的計算資源實現(xiàn)大尺寸圖像識別，我們找到了一個可行的開源框架，給大尺寸圖像識別提供了不錯的思路。

YOLT 是一個基于YOLO v2的衛(wèi)星圖像識別開源算法，核心思路是：

1. 通過圖片裁切和圖像網(wǎng)絡(luò)重構(gòu)解決圖像尺寸問題；

2. 通過“上采樣”提升小而聚集的目標的檢測精度；

3. 通過將不同尺寸模型融合，提升整體檢測精度。

YOLT項目地址：GitHub - avanetten/yolt： You Only Look Twice： Rapid Multi-Scale Object Detection In Satellite Imagery

YOLO是經(jīng)典的圖像識別算法，YOLT在YOLO的基礎(chǔ)上針對衛(wèi)星圖像特有的問題提出了特定的解決思路。詳細思路參見論文「You Only Look Twice： Rapid Multi-Scale Object Detection In Satellite Imagery」（GitHub項目中附有論文鏈接）。

▲左側(cè)為常見問題，右側(cè)為解決辦法

1. 針對物體尺寸不規(guī)則、方向多樣的問題，YOLT對衛(wèi)星圖像數(shù)據(jù)進行尺寸變換與旋轉(zhuǎn)等數(shù)據(jù)增強的處理。

2. 針對目標尺寸過小并聚集的問題，YOLT框架主要采用3種方式進行處理：

（1） 修改圖像網(wǎng)絡(luò)結(jié)構(gòu)，將YOLO v2框架中的stride由32改為16，有利于檢測出大小在32 x 32以下的目標

（2） 對圖像進行上采樣，完成圖片的“解壓縮”操作，即把原先的圖片放大，以便檢測小而密集的物體

（3） 將不同尺寸的檢測模型進行融合，即Ensemble操作，由于不同目標的尺寸差異可能較大，如海港與船只、機場與飛機，Ensemble操作能夠提升大尺寸差異下的識別精度。

針對衛(wèi)星圖像尺寸過大的問題，YOLT采用切塊的方式，將原始圖像切割成小塊后輸入模型進行訓(xùn)練，并結(jié)合2-（3）進行模型融合。

▲ YOLT的網(wǎng)絡(luò)結(jié)構(gòu)，輸出特征尺寸多為26 x 26，可以提升檢測精度

應(yīng)用實例

從下面的檢測實例中，我們可以看到Y(jié)OLT是如何工作的：

首先，開發(fā)團隊將一張衛(wèi)星圖片調(diào)整至416 x 416大小（如上左），發(fā)現(xiàn)無法檢測出車輛目標；而從原圖中切割出416 x 416的區(qū)域（稱其為Chips）則可以實現(xiàn)部分車輛目標的檢測。

順著這個思路，開發(fā)團隊采用劃窗方式將原始圖像切割為許多chips，并使相鄰chips之間有一定重合（如上圖），以確保圖像檢測的完整性。再利用NMS算法將重復(fù)檢測過濾，最后將各塊的檢測結(jié)果進行融合，即可得出最后的結(jié)果。

▲ 檢測實例：采用YOLT v4識別機場中的飛機

YOLT的思路不止可以應(yīng)用于衛(wèi)星圖像識別，同樣可以在目標尺寸小且密集的其他類圖像識別問題中發(fā)揮作用。

對本次亞馬遜【AI For Good - 2022 遙感光學(xué)影像目標檢測挑戰(zhàn)賽】的選手而言，YOLT的解決思路能夠幫助大家越過圖片尺寸過大的第一道坎。

原文標題：如何實現(xiàn)超大尺寸圖像快速識別

文章出處：【微信公眾號：OpenCV學(xué)堂】歡迎添加關(guān)注！文章轉(zhuǎn)載請注明出處。