數(shù)據(jù)對于深度學(xué)習(xí)來說至關(guān)重要,而數(shù)據(jù)增強策略對于提升訓(xùn)練樣本數(shù)據(jù)量、改善模型穩(wěn)定性和魯棒性,提高對于真實世界的適應(yīng)性和泛化性具有重要的作用。
雖然在圖像分類中數(shù)據(jù)增強有著廣泛的使用,但將數(shù)據(jù)增強用于目標(biāo)檢測的系統(tǒng)性研究還較少。此外由于目標(biāo)檢測數(shù)據(jù)的標(biāo)記成本比圖像分類更高,數(shù)據(jù)增強策略在有限數(shù)據(jù)的情況下除了能提高模型表現(xiàn)同時還能節(jié)省數(shù)據(jù)成本。
來自谷歌的研究人員針對目標(biāo)檢測任務(wù)提出了一種基于學(xué)習(xí)的數(shù)據(jù)增強策略,通過在訓(xùn)練數(shù)據(jù)上進行增強策略搜索和驗證集的性能測試來尋找最優(yōu)的數(shù)據(jù)增強方法,有效地提升了模型的表現(xiàn),同時學(xué)習(xí)到的數(shù)據(jù)增強策略對于不同數(shù)據(jù)、基礎(chǔ)網(wǎng)絡(luò)和模型架構(gòu)都具有效的泛化性和適應(yīng)性。值得一提的是,文章的作者來自提出著名的神經(jīng)架構(gòu)搜索及其相關(guān)方法的研究團隊。
通用高效的目標(biāo)檢測數(shù)據(jù)增強策略
數(shù)據(jù)增強廣泛是機器學(xué)習(xí)中常用的數(shù)據(jù)處理手段,不同的數(shù)據(jù)集通常會利用針對性的數(shù)據(jù)處理手段來處理。例如MNIST大多使用尺度、旋轉(zhuǎn)和平移的操作,也有加入顏色、噪聲等變換,而針對自然圖像,更多采用進行和隨機裁剪的方法來進行。還包括以對象為中心的裁剪、針對圖像片的增減和變換等,但這些方法大都針對特定的數(shù)據(jù)來處理并集中于圖像分類問題。
但由于數(shù)據(jù)標(biāo)記的成本很高,數(shù)據(jù)增強對于目標(biāo)檢測有著更為重要的實際意義。由于目標(biāo)檢測的復(fù)雜性使得有效的數(shù)據(jù)增強策略難以獲取。為了得到有效的數(shù)據(jù)增強策略并應(yīng)用于目標(biāo)檢測任務(wù)中,研究人員希望利用算法搜索到一套新穎的檢測數(shù)據(jù)增強策略,并能夠有效地應(yīng)用于不同的數(shù)據(jù)集、數(shù)據(jù)尺寸、基礎(chǔ)網(wǎng)絡(luò)和檢測架構(gòu)上,有效提升算法的性能。
基于離散優(yōu)化增強策略搜索
對于目標(biāo)檢測來說通常需要考慮目標(biāo)框(bounding box, bbox)與變換后圖像連續(xù)性,研究人員針對bbox內(nèi)部的圖像提出了一系列變換,同時探索了圖像整體變化時如何調(diào)整bbox的策略。通過定義一系列子策略集和多個圖像操作變換,最終將這一問題歸結(jié)為離散空間中的優(yōu)化問題來進行求解。首先研究人員將圖像增強策略定義為K個子策略的無序集合,在訓(xùn)練時從中隨機選取策略對圖像進行數(shù)據(jù)增強。而其中每一個策略則包含了N個圖先變換,這些圖像變換將依次作用于被增強的數(shù)據(jù),研究的目的在于從中搜索出最有效的策略。這些變量共同定義了一個離散優(yōu)化問題的搜索空間,針對目標(biāo)檢測任務(wù)的數(shù)據(jù)增強,研究人員將設(shè)置K=5,N=2。其中搜索空間總共包含了五個子策略,每個子策略包含了2種圖像操作,而每個操作同時包含了這個操作對應(yīng)的概率p和操作的具體數(shù)值m兩個參數(shù)。這里的概率定義的增強策略在數(shù)據(jù)樣本上進行的隨機性,而m則定義了增強的幅度。
具體來說,研究人員從實驗中總結(jié)了22中有利于檢測的數(shù)據(jù)增強算法,分別是顏色操作、幾何變換和bbox操作。
顏色操作:針對圖像的顏色通道進行操作,包括直方圖均衡、對比圖調(diào)整和亮度調(diào)整等;
幾何操作:對于圖像進行幾何變換,包括位置變換,bbox的大小和位置、旋轉(zhuǎn)、剪切變換等,需要指出的是在進行幾何變換時需要對bbox進行調(diào)整;
bbox操作:僅針對bbox內(nèi)部的內(nèi)容進行操作,而不改變外部的背景,可以綜合使用前面的顏色和幾何變換。
在使用過程中,研究人員將每種操作的幅度都?xì)w一化到[0,10],對應(yīng)L=6等間距的空間,對應(yīng)概率也是一個M=6的等間距空間,這一取值平衡了強化學(xué)習(xí)算法計算的可追溯性和學(xué)習(xí)能力。
針對這樣的數(shù)值定義可以計算出每個策略需要搜索的空間包含(22LM)^2,而五個策略對應(yīng)的空間為(22*6*6)^10~9.6*10^18如此大的搜索空間一定需要高效的方法才能進行有效的處理。在這篇文章中研究人員采用了基于RNN輸出空間表示離散值,同時利用RL算法來更新模型權(quán)重。其中PPO(proximal policy optimization)被用于搜索策略。RNN每次需要進行30步來預(yù)測輸出,這來自于5個子策略,每個子策略兩個操作,每個操作包含概率、幅度和操作本身三個參數(shù),其乘積即為30。在訓(xùn)練過程中,研究人員為了減小整體計算量從COCO數(shù)據(jù)集中選取了5K圖像來訓(xùn)練增強算法。算法利用了ResNet-50作為主干網(wǎng)絡(luò)、RetinaNet檢測器來從零開始構(gòu)建目標(biāo)檢測器,并利用在7392張COCO子驗證集上的mAP作為獎勵信號來更新控制器迭代搜索空間參數(shù)。
這一算法需要消耗巨大的算力,在400個TPUs上訓(xùn)練了48個小時完成了20K增強策略的訓(xùn)練,最終得到的數(shù)據(jù)增強策略使得目標(biāo)檢測得到了較大的提升,其中最好的幾個策略能夠廣泛應(yīng)用到不同的數(shù)據(jù)集、大小和架構(gòu)上去。
結(jié)果
訓(xùn)練后的結(jié)果顯示,算法通過驗證集的測試得到最多的圖像增強操作是旋轉(zhuǎn)操作,同時圖像均衡和bbox在Y方向上的平移操作也是排名較為靠前的操作。研究人員首先將學(xué)習(xí)到的策略進行了整體評測,在Res-Net和RetinaNet檢測器上都實現(xiàn)了較大幅度的提升:
為了探索哪些操作對于目標(biāo)檢測算法帶來的優(yōu)勢較大,研究人員將增強操作拆解成了顏色、幾何與bbox相關(guān)操作,并分別測試了對于基準(zhǔn)網(wǎng)絡(luò)的提升,下表顯示了不同操作疊加下對于目標(biāo)檢測性能的影響。
此外研究人員還探索了不同模型下數(shù)據(jù)增強策略的有效性,并通過增加圖像分辨率和錨的數(shù)量實現(xiàn)了50.7mAP!
同時也在不同的數(shù)據(jù)上驗證了這一算法的有效性。研究人員還探索了用于訓(xùn)練數(shù)據(jù)增強策略數(shù)據(jù)集的大小對于目標(biāo)檢測算法提升的效果,雖然隨著訓(xùn)練數(shù)據(jù)的增加,數(shù)據(jù)增強的效果逐漸減弱。
但這種方法針對小數(shù)據(jù)集和小物體的檢測卻具有明顯的效果。同時對于較為困難的AP75任務(wù)也有較好的表現(xiàn),這意味著數(shù)據(jù)增強策略幫助算法學(xué)習(xí)到了bbox位置出更細(xì)粒度的空間細(xì)節(jié)特征,這也同時改善了小物體的檢測性能。下表中mAPs顯示了小物體檢測提升的情況。
在改進模型正則化方面,研究人員發(fā)現(xiàn)了訓(xùn)練數(shù)據(jù)大的情況下?lián)p失會提升,同時隨著數(shù)據(jù)量的增加L2會變小,數(shù)據(jù)增強策略進一步減少了權(quán)重的衰減。研究人員發(fā)現(xiàn)在使用有效數(shù)據(jù)增強策略的同時,就不需要正則化技術(shù)來幫助網(wǎng)絡(luò)更好的訓(xùn)練了。
-
算法
+關(guān)注
關(guān)注
23文章
4552瀏覽量
92020 -
機器學(xué)習(xí)
+關(guān)注
關(guān)注
66文章
8306瀏覽量
131841 -
數(shù)據(jù)集
+關(guān)注
關(guān)注
4文章
1197瀏覽量
24537
原文標(biāo)題:目標(biāo)檢測數(shù)據(jù)不夠用?快來試試數(shù)據(jù)增強新方法!
文章出處:【微信號:thejiangmen,微信公眾號:將門創(chuàng)投】歡迎添加關(guān)注!文章轉(zhuǎn)載請注明出處。
發(fā)布評論請先 登錄
相關(guān)推薦
評論