SciSmart圖像定位-ROI校正算法

感興趣區(qū)域(ROI，region of interest)，在機(jī)器視覺(jué)、圖像處理中，在被處理的圖像上以方框、圓、橢圓、不規(guī)則多邊形等方式勾勒出需要處理的區(qū)域，稱(chēng)為感興趣區(qū)域，簡(jiǎn)稱(chēng)ROI。在圖像處理領(lǐng)域，感興趣區(qū)域是從圖像中選擇的一個(gè)圖像區(qū)域，這個(gè)區(qū)域是圖像分析所關(guān)注的重點(diǎn)。圈定該區(qū)域以便進(jìn)行進(jìn)一步處理，或使用ROI圈定你想處理的目標(biāo)，可以減少處理時(shí)間，提高精度。

在具體的視覺(jué)應(yīng)用中，當(dāng)工件來(lái)料位置固定不變時(shí)，常量ROI可以覆蓋工件來(lái)料。但是當(dāng)來(lái)料位置存在較大波動(dòng)時(shí)，就無(wú)法通過(guò)固定的ROI來(lái)實(shí)現(xiàn)視覺(jué)應(yīng)用。這時(shí)候我們可以通過(guò)粗定位對(duì)產(chǎn)品進(jìn)行定位，根據(jù)定位位置、長(zhǎng)寬，角度等數(shù)據(jù)使用生成ROI，通過(guò)生成ROI工具來(lái)滿(mǎn)足視覺(jué)應(yīng)用的要求；或者通過(guò)粗定位數(shù)據(jù)使用ROI校正工具對(duì)固定的ROI進(jìn)行仿射變換，跟隨產(chǎn)品位置來(lái)滿(mǎn)足視覺(jué)應(yīng)用的要求。

什么是ROI生成？

ROI生成，通過(guò)在圖像上繪制一個(gè)ROI或者用前面模塊的輸出結(jié)果，或用戶(hù)定義的指定數(shù)據(jù)生成特定ROI。可以創(chuàng)建的ROI類(lèi)型有：點(diǎn)、直線(xiàn)、旋轉(zhuǎn)矩形、橢圓、環(huán)形、不規(guī)則。

在后面的算子中調(diào)用所生成的ROI，將不進(jìn)行全圖搜索檢測(cè)，只在ROI區(qū)域內(nèi)進(jìn)行搜索，這樣可以屏蔽不感興趣區(qū)域，令檢測(cè)時(shí)間縮短。

一、ROI生成的應(yīng)用場(chǎng)合

1、目標(biāo)物體周邊存在干擾點(diǎn)時(shí)，可以通過(guò)限定感興趣區(qū)域來(lái)規(guī)避；

2、圖片數(shù)據(jù)量大，感興趣區(qū)域小，可以通過(guò)劃定感興趣區(qū)域，令檢測(cè)時(shí)間縮短；

二、ROI生成算法界面

如圖1中藍(lán)色矩形框即為劃定的旋轉(zhuǎn)矩形ROI：

圖1 ?ROI生成功能界面

三、ROI生成參數(shù)設(shè)置

ROI類(lèi)型：支持自定義的ROI類(lèi)型。

1、點(diǎn)

2、直線(xiàn)

3、旋轉(zhuǎn)矩形

4、橢圓

5、環(huán)形

6、不規(guī)則

7、多邊形

ROI的生成可手動(dòng)自定義參數(shù)，也可以從外部引用變量參數(shù)，如圖2所示：?

圖2 ?ROI類(lèi)型示例

四、應(yīng)用場(chǎng)合案例

圖3中矩形框即為劃定的矩形ROI，ROI設(shè)置選定ROI生成后，找直線(xiàn)功能只在該ROI區(qū)域進(jìn)行搜索邊緣點(diǎn)。

圖3 ?ROI生成案例

什么是ROI校正？

在實(shí)際應(yīng)用中，每一個(gè)待檢測(cè)工件在圖像中的位置都發(fā)生偏移，從而ROI也需要移動(dòng)，否則會(huì)導(dǎo)致檢測(cè)不到所需要的特征。此時(shí)就可以創(chuàng)建定位基準(zhǔn)，使ROI跟隨基準(zhǔn)移動(dòng)，能夠很好的解決這個(gè)問(wèn)題。?

圖4 ?使用ROI校正前后效果對(duì)比示例

一、ROI校正應(yīng)用場(chǎng)合

1、定位產(chǎn)品抓取類(lèi)項(xiàng)目應(yīng)用

2、定位產(chǎn)品放料類(lèi)項(xiàng)目應(yīng)用

3、激光打標(biāo)、切割類(lèi)項(xiàng)目應(yīng)用

4、點(diǎn)膠、焊點(diǎn)定位類(lèi)項(xiàng)目應(yīng)用

二、ROI進(jìn)行校正的步驟

第一步：確定基準(zhǔn)源。通過(guò)匹配或Blob分析等功能對(duì)此圖像部分進(jìn)行分析，獲得基準(zhǔn)點(diǎn)和基準(zhǔn)角度。

第二步：選擇生成仿射矩陣的參數(shù)。根據(jù)校正模式、參考點(diǎn)、參考角度生成仿射變換矩陣。

第三步：引用基準(zhǔn)對(duì)ROI進(jìn)行校正。選擇支持的ROI校正方式的算子(例如定位、測(cè)量、檢測(cè)、識(shí)別等算子工具)，在算子中引用ROI基準(zhǔn)對(duì)應(yīng)的仿射變換矩陣，使ROI跟隨基準(zhǔn)進(jìn)行移動(dòng)，保證ROI能夠準(zhǔn)確框住測(cè)量區(qū)域。

三、算法原理

其工作原理是找到校正前后的基準(zhǔn)點(diǎn)及基準(zhǔn)角度，通過(guò)兩點(diǎn)和兩角度之間的關(guān)系計(jì)算出仿射變換矩陣，原ROI的位置信息通過(guò)仿射變換求得校正后的位置信息，根據(jù)校正后的位置信息重新生成ROI。

校正模式：補(bǔ)正可選方法有水平方向補(bǔ)正，垂直方向補(bǔ)正，水平和垂直方向上進(jìn)行補(bǔ)正，水平、垂直以及角度進(jìn)行補(bǔ)正，水平方向加角度補(bǔ)正，垂直方向加角度補(bǔ)正。

參考點(diǎn)：依據(jù)參考點(diǎn)計(jì)算出仿射矩陣中平移分量，可以由Blob分析結(jié)果、匹配結(jié)果、幾何關(guān)系或用戶(hù)自定義變量等點(diǎn)變量構(gòu)成。

參考角度：依據(jù)參考角度計(jì)算出仿射矩陣中旋轉(zhuǎn)分量，可以由Blob分析結(jié)果、匹配結(jié)果、幾何關(guān)系或用戶(hù)自定義變量等數(shù)值變量構(gòu)成。

圖5 ?ROI校正原理

圖6 ?ROI校正示例

四、應(yīng)用場(chǎng)合案例

以灰度匹配的匹配結(jié)果中心點(diǎn)作為參考點(diǎn)，選擇水平和垂直方向上進(jìn)行補(bǔ)正，生成帶有平移分量的仿射變換。當(dāng)工件的位置發(fā)生偏移時(shí)，ROI校正能保證ROI相對(duì)于工件測(cè)量的位置是不變的，從而能夠精確地進(jìn)行找圓操作。

圖7 ?ROI校正案例示意