利用手持?jǐn)z像機(jī)圖像通過卷積神經(jīng)網(wǎng)絡(luò)實(shí)時(shí)進(jìn)行水稻檢測

PART/1

摘要

在本研究中，研究者提出了一種有效的深度卷積神經(jīng)網(wǎng)絡(luò)(DCNN)結(jié)構(gòu)，利用手持照相機(jī)拍攝的照片來檢測水稻的生長階段(DVS)。用不同的策略對DCNN模型進(jìn)行了訓(xùn)練，并與傳統(tǒng)的時(shí)間序列Green chromatic coordinate (time-series Gcc)方法和手工提取的特征組合支持向量機(jī)(MF-SVM)方法進(jìn)行了比較。此外，還研究了不同角度的圖像、模型訓(xùn)練策略和對DCNN模型預(yù)測的解釋。利用所提出的兩步微調(diào)策略訓(xùn)練的DCNN模型得到了最優(yōu)結(jié)果，整體精度為0.913，低平均絕對誤差為0.090。

結(jié)果表明，以大角度拍攝的圖像包含更有價(jià)值的信息，使用多角度拍攝的圖像可以進(jìn)一步提高模型的性能。兩步微調(diào)策略極大地提高了模型對視角隨機(jī)性的魯棒性。解釋結(jié)果表明，從圖像中提取生物氣候?qū)W相關(guān)特征是可能的。本研究提供了一種生物氣候?qū)W檢測方法來實(shí)時(shí)利用手持照相機(jī)圖像，并對在現(xiàn)實(shí)場景中使用深度學(xué)習(xí)有了一些重要的見解。

PART/2

相關(guān)背景

本研究的假設(shè)是，作物表型的特征可以通過分析圖像被機(jī)器學(xué)習(xí)捕捉到，而傳統(tǒng)上可以通過觀察被農(nóng)業(yè)專家識別。然而，對作物生物氣候?qū)W檢測的深度學(xué)習(xí)研究仍然非常有限。Yalcin（Plant phenology recognition using deep learning: Deep-pheno. In 2017 The sixth international conference on agro-geoinformatics (pp. 1–5). https://doi.org/10.1109/Agro-Geoin formatics.2017.8046996）應(yīng)用DCNN，使用固定角圖像對生長階段進(jìn)行分類。Bai等人（Rice heading stage automatic observation by multi-classifier cascade based rice spike detection method. Agricultural and Forest Meteorology, 259, 21360–270. https://doi.org/10.1016/j.agrformet.2018.05.001）使用支持向量機(jī)和DCNN來區(qū)分水稻穗的圖像斑塊。檢測到的穗狀斑塊的數(shù)量決定了水稻的走向階段。

以上兩項(xiàng)研究集中在固定的角度和位置的圖像上，而小農(nóng)戶可以以隨機(jī)的角度和位置拍攝圖像。為了方便處理這些隨機(jī)圖像，有必要開發(fā)一種通用的方法。從多個(gè)角度拍攝的圖像中提取最大的生物氣候?qū)W信息將是很吸引人的。還需要一種通過降低圖像視角不確定性的影響的訓(xùn)練策略來提高深度學(xué)習(xí)方法的性能。

PART/3

研究地域

實(shí)驗(yàn)地域（23° 5′ 52″–23° 7′ 23″ N, 108° 57′ 7″–108° 58′ 34″ E）位于中國廣西賓陽縣。該地區(qū)的160公頃土地被劃分為800多個(gè)地塊，由當(dāng)?shù)剞r(nóng)民管理。該地區(qū)的年平均降水量約為1600毫米，平均氣溫為21°C。隨機(jī)選取70塊地塊，利用管理的12塊地塊進(jìn)行分析。

PART/4

研究框架

Data collection and processing

為了利用在不同視角度拍攝的圖像進(jìn)行現(xiàn)象學(xué)識別，選擇了攝影方向和重力方向之間的四個(gè)垂直方向：0°(A)、20°(B)、40°(C)和60°(D)，如下圖a。

在研究區(qū)域，大部分地塊通過鉆機(jī)移植。當(dāng)在播種方向拍攝圖像時(shí)，兩排水稻之間的土壤會被很好地捕捉到，而在其他方向，圖像捕捉到的土壤會較少。攝影方向和播種方向之間的三個(gè)水平方向（分別為0°(a)、45°(b)和90°(c)，以避免鉆孔的影響（如圖b)）。每次觀察都拍攝了12張照片，并在距地面1.5米處大致手工控制視角。當(dāng)?shù)剞r(nóng)民對70塊地的圖像采集被部署了7次。構(gòu)建了一個(gè)具有622個(gè)觀測結(jié)果的數(shù)據(jù)集，其中包含7464個(gè)圖像，并使用其中7320個(gè)進(jìn)行分析。其他的圖像的質(zhì)量很差，無法使用。根據(jù)DVS將610項(xiàng)觀察結(jié)果分為10組，每組進(jìn)一步分為訓(xùn)練（60%）、驗(yàn)證（20%）和測試（20%）組。

Data augmentation

數(shù)據(jù)增廣的策略

The cropping scheme of three datasets

上圖顯示從原始圖像裁剪的圖像塊。裁剪后，數(shù)據(jù)集的結(jié)果分布比原始分布更均勻。

Deep convolutional neural network approach

PART/5

實(shí)驗(yàn)結(jié)果

上表是time-series-Gcc方法的ACC/MAE。

(a) Confusion matrix yielded by the Bb set; (b) confusion matrix yielded by the Dc set.

MF-SVM方法的ACC/MAE。

a–d are resultsyielded by18 features from one channel, 54 features from 3 channels, 108 features from 6 channels, and 270features from 15 channels, respectively.

上圖中的A, B, C, D分別表示0°, 20°, 40°和60°。

不同拍攝角度的照片比較

最終結(jié)果：

審核編輯：劉清