基于高光譜圖像與光譜特征融合技術(shù)的雞蛋新鮮度無(wú)損判別模型的建立

引言

雞蛋新鮮度等級(jí)評(píng)價(jià)是雞蛋品質(zhì)檢測(cè)研究中一項(xiàng)重要的工作。近年來(lái)，國(guó)內(nèi)外學(xué)者運(yùn)用介電特性、電子鼻、機(jī)器視覺(jué)、近紅外光譜分析等技術(shù)在雞蛋新鮮度無(wú)損檢測(cè)領(lǐng)域進(jìn)行了相關(guān)理論研究。研究表明，可以通過(guò)介電特征建立雞蛋的電磁特性與其內(nèi)部成分含量的關(guān)系，建立雞蛋新鮮度無(wú)損判別模型。在雞蛋腐化過(guò)程中，營(yíng)養(yǎng)物質(zhì)會(huì)被微生物分解而產(chǎn)生NH3、H2S、CH4等特殊氣體，然后通過(guò)蛋殼上的氣孔排出，可通過(guò)電子鼻氣敏傳感器對(duì)揮發(fā)性氣體的組成及濃度進(jìn)行分析，實(shí)現(xiàn)雞蛋內(nèi)部品質(zhì)的檢測(cè)，但電子鼻分析技術(shù)對(duì)傳感器靈敏度要求較高。用機(jī)器視覺(jué)對(duì)雞蛋檢測(cè)無(wú)須對(duì)樣品進(jìn)行特 殊處理，但在應(yīng)用過(guò)程中，雞蛋擺放位置、表面亮斑、雞蛋表面雜質(zhì)以及雞蛋的蛋殼形狀等因素都會(huì)對(duì)機(jī)器判別準(zhǔn)確率產(chǎn)生較大影響。近紅外光譜分析法通過(guò)采集雞蛋樣本的透射或者反射光譜圖， 建立待測(cè)目標(biāo)與吸光度之間校正模型來(lái)實(shí)現(xiàn)對(duì)未知樣本的預(yù)測(cè)，但近紅外光譜不能體現(xiàn)雞蛋的外在圖像特征。蛋殼是雞蛋的重要組成部分，盡管其本身很少用于食用，但是對(duì)雞蛋的運(yùn)輸、保存，乃至內(nèi)部品質(zhì)的影響至關(guān)重要。雞蛋新鮮度無(wú)損檢測(cè)的現(xiàn)有方法，各自都有局限和不足，且檢測(cè)效率較低。

近年來(lái)，高光譜成像技術(shù)在農(nóng)畜產(chǎn)品品質(zhì)檢測(cè)方面得到了廣泛應(yīng)用。高光譜成像技術(shù)獲取的樣本信息具有更廣的維度，集光譜分析和圖像分析于一體。光譜信息可用于表征檢測(cè)物質(zhì)內(nèi)部屬性，圖像信息可用來(lái)代表檢測(cè)物質(zhì)的外觀特征。通過(guò)用可見(jiàn) /近紅外高光譜成像技術(shù)建立雞蛋新鮮度無(wú)損檢測(cè)判別模型，表明基于高光譜成像技術(shù)的雞蛋新鮮度無(wú)損檢測(cè)是可行的。王巧華等采用近紅外高光譜技術(shù)對(duì)白殼蛋新鮮和不新鮮兩個(gè)等級(jí)進(jìn)行成功判別。目前高光譜應(yīng)用于雞蛋新鮮度的研究主要應(yīng)用其光譜信息，忽略了高光譜成像獨(dú)有的圖像信息，進(jìn)而丟失了樣本的外在圖像特征。

應(yīng)用高光譜成像技術(shù)評(píng)價(jià)雞蛋新鮮度具有良好的理論基礎(chǔ)和可行性，滿足快速、無(wú)損、準(zhǔn)確檢測(cè)雞蛋新鮮度的需求。本研究擬采用高光譜透射成像技術(shù)，以雞蛋為研究對(duì)象，采用哈夫單位為雞蛋新鮮度評(píng)價(jià)標(biāo)準(zhǔn)，采集不同新鮮度等級(jí)雞蛋的500 ～1 000nm波比的高光譜信息，利用連續(xù)投影法篩選出特征波長(zhǎng)，對(duì)特征波長(zhǎng)對(duì)應(yīng)的高光譜圖像進(jìn)行圖像主成分提取，并提取前三維主成分圖像的灰度共生矩陣紋理參數(shù)，建立基于并行式特征融合的粒子群算法尋優(yōu)支持向量機(jī)的新鮮度判別模型。在并行式特征融合模型的基礎(chǔ)上，提出遞進(jìn)式特征融合方法，采用方向梯度直方圖算法提取特征波長(zhǎng)對(duì)應(yīng)高光譜圖像的圖像特征，分別建立基于方向梯度直方圖特征的多模型共識(shí)策略和深度殘差網(wǎng)絡(luò)( ＲesNet) 50 模型的雞蛋新鮮度判別模型。通過(guò)比較不同的特征融合方法和建模方法對(duì)雞蛋新鮮度等級(jí)的判別效果，選出最優(yōu)模型，以期為雞蛋新鮮度等級(jí)快速、高效無(wú)損判別提供理論支撐與應(yīng)用實(shí)例。

實(shí)驗(yàn)方案

2.1 雞蛋新鮮度等級(jí)判定方法

根據(jù)我國(guó)農(nóng)業(yè)行業(yè)標(biāo)準(zhǔn)文件，雞蛋的哈夫單位值是衡量雞蛋新鮮度的關(guān)鍵性指標(biāo)。哈夫單位值的國(guó)標(biāo)測(cè)定方法: 通過(guò)高精度天平稱量雞蛋質(zhì)量，打破雞蛋殼倒出雞蛋液于干凈的玻璃平面上，游標(biāo)卡尺測(cè)量蛋黃周圍濃蛋白的厚度。哈夫單位計(jì)算公式見(jiàn)式。

HU=100 × lg(H+7.57－1.7G0. 37)

HU為哈夫單位; H為蛋白高度，mm; G 為雞蛋質(zhì)量，g。共測(cè)得90枚樣本的哈夫單位值，根據(jù)測(cè)得的哈夫單位值范圍不同，依據(jù)國(guó)標(biāo)定義4種雞蛋等級(jí)，分別為特級(jí)、一級(jí)、二級(jí)、三級(jí)。“特級(jí)雞蛋”和“一級(jí) 雞蛋”合并為可食用類別，“二級(jí)雞蛋”為不建議食用類別，“三級(jí)雞蛋”為不可食用類別。具體分類見(jiàn)表 2。

2.2 高光譜數(shù)據(jù)采集

2.2 1 高光譜系統(tǒng)校正

高光譜成像系統(tǒng)在數(shù)據(jù)采集過(guò)程中，受到光源在各波段強(qiáng)度分布不均勻以及存在暗電流噪聲的影響，會(huì)造成采集的高光譜圖像質(zhì)量降低。為了降噪及修正圖像，可對(duì)原始高光譜系統(tǒng)進(jìn)行黑白板校正。高光譜照相機(jī)掃描到的雞蛋高光譜原始圖像，經(jīng)黑白板校正轉(zhuǎn)換為相對(duì)透射圖像，校 正公式見(jiàn)式。

Ｒ' = S － D W － D

Ｒ'為校正后的光譜圖像，S為采集到的暗場(chǎng)原始光譜圖像，W 為拍攝光源得到的白板圖像，D為關(guān)閉鏡頭后的全黑圖像。

2.2 2 數(shù)據(jù)采集

分別采集90枚不同新鮮度雞蛋樣品的高光譜圖像，為保證實(shí)驗(yàn)數(shù)據(jù)不受非系統(tǒng)光線干擾，所有實(shí)驗(yàn)均在常溫暗室中進(jìn)行。

1) 光譜采集前預(yù)熱 20 min，待照明系統(tǒng)穩(wěn)定開(kāi)始檢測(cè)工作。

2) 檢查軟件與儀器的連接狀況，連接成功進(jìn)行下一步操作。

3) 放置樣品于載物臺(tái)，粗調(diào)成像光譜儀的掃描速度和曝光時(shí)間。

4) 黑板校正: 遮蓋鏡頭，采集多個(gè)暗電流噪聲。

5) 白板校正: 將光源移至鏡頭下，采集光源信 號(hào)譜圖作為白板信號(hào)。

6) 經(jīng)反復(fù) 調(diào) 整，確定儀器設(shè)置參數(shù): 幀 頻 為 30 Hz，積分時(shí) 間 為 31.886ms，掃 描 速 度 為 4.09mm /s。

2.2 3 雞蛋原始高光譜信息采集

采集到的雞蛋透射高光譜偽彩色圖像如圖1。提取90個(gè)不同新鮮度雞蛋的感興趣區(qū)域的平均光譜見(jiàn)圖2。

光譜與圖像特征提取方法

3.1 光譜特征提取

由于高光譜數(shù)據(jù)維度較大，存在信息重疊、共線性度高等問(wèn)題，故采用連續(xù)投影算法進(jìn)行光譜特 征提取。SPA是一種前向循環(huán)選擇特征方法，是將某一個(gè)單波長(zhǎng)作為起始波長(zhǎng)，進(jìn)行多次循環(huán)選取計(jì) 算，在每次循環(huán)中計(jì)算選中波長(zhǎng)在未選中波長(zhǎng)上的投影，將最大投影向量對(duì)應(yīng)的波長(zhǎng)自動(dòng)選入特征波長(zhǎng)組合。經(jīng)SPA算法選出的特征波長(zhǎng)組合中的每一個(gè)波長(zhǎng)的共線性關(guān)系最小。

3.2 圖像特征提取

圖像信息是高光譜成像技術(shù)的特有特征，采用灰度共生矩陣算法和方向梯度直方圖算法提取其圖像特征信息。GLCM以圖像像素的灰度值和位置信息作為參考量，通過(guò)分析圖像空間中相鄰區(qū)域間像素點(diǎn)的灰度值組合情況來(lái)描述圖像的紋理特征。HOG算法應(yīng)用在計(jì)算機(jī)視覺(jué)和圖像處理領(lǐng)域中，是通過(guò)計(jì)算局部圖像梯度方向信息的統(tǒng)計(jì)值，來(lái)實(shí)現(xiàn)物體檢測(cè)的。

結(jié)果與分析

4.1 不同新鮮度等級(jí)雞蛋的光譜信息分析

任意提取3個(gè)不同新鮮度等級(jí)雞蛋的光譜信息，見(jiàn)3。

從圖3可知，3種不同新鮮等級(jí)度的雞蛋分別在 620、700、800 nm 波長(zhǎng)附近的波峰呈現(xiàn)明顯差異。620nm 附近波峰變化為橙色可見(jiàn)光的透射信息，主要是由于蛋殼顏色和蛋黃顏色的不同引起 的。700nm 附近處的波峰變化表征紅色可見(jiàn)光的透射信息，3類新鮮度雞蛋的透射率差別較大且可食用雞蛋的透射率最高，不建議食用的雞蛋次之，不可食用的雞蛋透射率最低。產(chǎn)生這種現(xiàn)象的主 要原因是3種新鮮度雞蛋的濃厚蛋白稀化程度依次增大，蛋清的黏度和透明度依次減小，蛋清的酸堿度依次變大，且蛋黃的形態(tài)逐漸變成液態(tài)，內(nèi)部變得渾濁，導(dǎo)致雞蛋的透射率依次降低。800 nm 附近的波峰變化為近紅外光的透射信息，主要是由于N—H鍵振動(dòng)和能級(jí)的躍遷引起的變化。雞蛋內(nèi)部的蛋白質(zhì)部分發(fā)生裂解和變質(zhì)現(xiàn)象，N—H鍵的穩(wěn)定性被破壞，N—H鍵的含量下降導(dǎo)致此波段內(nèi)透射率升高。該處透射率差異主要是3種 鮮度等級(jí)的雞蛋內(nèi)部蛋白質(zhì)等營(yíng)養(yǎng)物質(zhì)的含量不同所引起的。

4.2 SPA特征波長(zhǎng)提取結(jié)果

從圖3可知，3種新鮮度等級(jí)雞蛋在3個(gè)波峰附近有較大差異，采用 SPA算法提取表征差異的特征波長(zhǎng)( 見(jiàn)圖 4) 。SPA 篩選的特征波長(zhǎng)數(shù)量與均方根誤差( ＲMSE) 變化見(jiàn)圖 4( a) 。經(jīng) SPA算法 提取的特征波長(zhǎng)有6個(gè)，分別為606.83、676.27、740.62、807.91、880.88、905.27 nm，特征波長(zhǎng)位置見(jiàn)圖 4( b)

從圖4(a)可知，當(dāng)篩選的特征波長(zhǎng)數(shù)為6個(gè)時(shí)，SPA 的均方根誤差最小，為 0.3843，表明這6個(gè)波長(zhǎng)對(duì)雞蛋等級(jí)判別的效果最 佳。圖4(b) 中， 606.83 nm 處的波長(zhǎng)是橙色可見(jiàn)光有效波段，該波段處的差異主要是由雞蛋殼顏色和蛋黃顏色的不同引起的; 676.27、740.62 nm處的波長(zhǎng)是紅色可見(jiàn)光的有效波段，該波段的差異主要是由雞蛋殼的顏色不同造成的差異; 807.91 nm處的波長(zhǎng)為N—H鍵伸縮振動(dòng)敏感波段，該處透射率的差異主要由雞蛋內(nèi)部的蛋白質(zhì)等營(yíng)養(yǎng)物質(zhì)的含量不同所引起的; 880.88 nm附近波段為C—H鍵 4 倍頻伸縮振動(dòng)活躍波段范圍，該處表征雞蛋內(nèi)部的脂肪等含量的差異; 905.27 nm 附近波段處于O—H鍵伸縮振動(dòng)波段范圍，該波段的差異受雞蛋內(nèi)部水分含量不同的影響。

4.3 主成分圖像提取結(jié)果

特征波長(zhǎng)對(duì)應(yīng)的高光譜圖像見(jiàn)圖5。利用ENVI 軟件對(duì)圖像進(jìn)行主成分分析，根據(jù)主成分分量重構(gòu)前三維圖像見(jiàn)圖 6。前三維圖像的累計(jì)貢獻(xiàn)率為95.75% 。

4.4 并行式高光譜圖像與光譜特征數(shù)據(jù)融合建模結(jié)果

提取的主成分分析( PCA) 前三維圖像的 GLCM 紋理特征參數(shù)，取其平均值作為該樣本的高光譜圖像特征，將光譜特征波段下的透射率與圖像特征首尾相連，得到 90 個(gè)樣本組成的并行式融合數(shù)據(jù)矩陣。

4.5 遞進(jìn)式高光譜圖像與光譜特征融合建模結(jié)果

4.5.1 基于HOG-SVM的多模型共識(shí)策略方法建模結(jié)果與分析

針對(duì)SPA提取出的6個(gè)特征波長(zhǎng)下的雞蛋圖像，應(yīng)用HOG算法對(duì)雞蛋圖像進(jìn)行特征提取，提取后的結(jié)果見(jiàn)圖7。

首先分別建立基于HOG圖像特征的6個(gè)單波長(zhǎng)模型，隨機(jī)2∶1劃分樣本集，訓(xùn)練集樣本60個(gè)，預(yù)測(cè)集樣本30個(gè)，則單波長(zhǎng)模型對(duì)應(yīng)的訓(xùn)練集圖像60張，預(yù)測(cè)集圖像30張。單波長(zhǎng)模型的HOG-SVM建模結(jié)果見(jiàn)表4，單波長(zhǎng)模型訓(xùn)練集的 圖像誤識(shí)別數(shù)見(jiàn)圖 8，單波長(zhǎng)模型預(yù)測(cè)集的圖像誤 識(shí)別數(shù)見(jiàn)圖9。

從表4可知，單波長(zhǎng)模型的預(yù)測(cè)集最高準(zhǔn)確率為80.00% ，其他單波長(zhǎng)模型的預(yù)測(cè)集準(zhǔn)確率等于或低于70.00% 。從圖8和圖9可知，單波長(zhǎng)模型對(duì)可食用雞蛋類別的判別效果較好，對(duì)不可食用雞蛋和不建議食用雞蛋類別的判別效果不佳。

為了保證不同單波長(zhǎng)模型對(duì)同一個(gè)樣本判別為真和假的概率不相同，采用子模型聯(lián)合建模策略，設(shè)定子模型聯(lián)合個(gè)數(shù)為4和5。根據(jù)表4中單波長(zhǎng)模型的識(shí)別率從高到低進(jìn)行排序，固定判別準(zhǔn)確率最 高的前3個(gè)波長(zhǎng)，即807.91、606.83、740.62nm; 依次聯(lián)合第4個(gè)單波長(zhǎng)模型和第5個(gè)單波長(zhǎng)模型進(jìn)行建模判別。

聯(lián)合第4個(gè)單波長(zhǎng)模型進(jìn)行判別，隨機(jī)以2：1的比例劃分樣本集，預(yù)測(cè)集30個(gè)，則4個(gè)單波長(zhǎng)對(duì)應(yīng)的訓(xùn)練集60個(gè)，訓(xùn)練集樣本圖像240張、預(yù)測(cè)集樣本圖像120張。4個(gè)單波長(zhǎng)聯(lián)合的HOG-SVM 建模結(jié)果見(jiàn)表5。

4個(gè)單波長(zhǎng)聯(lián)合模型的訓(xùn)練集圖像誤識(shí)別數(shù) 見(jiàn)圖 10，4個(gè)單波長(zhǎng)聯(lián)合模型的預(yù)測(cè)集圖像誤識(shí)別數(shù)見(jiàn)圖 11。

從表 5 可知，4 個(gè)單波長(zhǎng)聯(lián)合模型的預(yù)測(cè)集最高準(zhǔn)確率達(dá)82. 50% ，相對(duì)于單特征波長(zhǎng)模型有小幅提升。從圖10和圖11可知，4個(gè)單波長(zhǎng)聯(lián)合模型的誤識(shí)別比例有明顯下降，表明聯(lián)合模型比單波長(zhǎng)模型整體識(shí)別效果更好。

固定判別準(zhǔn)確率最高的前4個(gè)單波長(zhǎng)，即807.91、606.83、740. 62、880.88nm。聯(lián)合第5個(gè)單波長(zhǎng)模型進(jìn)行判別，隨機(jī)2∶1的比例劃分樣本集，訓(xùn)練集60個(gè)，預(yù)測(cè)集30個(gè)，則5個(gè)單波長(zhǎng)對(duì)應(yīng) 的訓(xùn)練集樣本圖像300張、預(yù)測(cè)集樣本圖像150張。5個(gè)單波長(zhǎng)聯(lián)合的HOG-SVM 建模結(jié)果見(jiàn)表6，5個(gè)單波長(zhǎng)聯(lián)合模型的訓(xùn)練集圖像誤識(shí)別數(shù)見(jiàn)圖12，5個(gè)單波長(zhǎng)聯(lián)合模型的預(yù)測(cè)集圖像誤識(shí)別數(shù)見(jiàn)圖13。

從表6可知，5個(gè)單波長(zhǎng)聯(lián)合模型的預(yù)測(cè)集最高準(zhǔn)確率達(dá)88.00% ，較單波長(zhǎng)模型和4個(gè)單波長(zhǎng)聯(lián)合模型的判別準(zhǔn)確率提高了8%左右，判別準(zhǔn)確率有了明顯提升，且誤識(shí)別比例有了大幅降低。對(duì) 比表4、5和6可 得，當(dāng)5個(gè)單波長(zhǎng)聯(lián)合時(shí)，即807.91、606. 83、740.62、880.88、676.27nm 建模判別效果最好，訓(xùn)練集判別準(zhǔn)確率達(dá)89.00% ，預(yù)測(cè)集判別準(zhǔn)確率達(dá)88.00%。

4.5.2 基于深度殘差建模結(jié)果與分析

將SPA提取的特征波長(zhǎng)下的高光譜圖像作為輸入，以3∶1的比例劃分?jǐn)?shù)據(jù)集，將90個(gè)樣本的540張圖像作為輸入，隨機(jī)選取180 張圖像作為預(yù)測(cè)集。建立ＲesNet 50雞蛋新鮮度判別模型，設(shè)置Epoch為50，設(shè)置batch size為10，學(xué)習(xí)率( lr) 設(shè)置為e－ 4，分類數(shù)設(shè)置為3。模型在訓(xùn)練過(guò)程中，有兩項(xiàng)模型性能評(píng)價(jià)指標(biāo)，分別是loss值和模型分析準(zhǔn)確率。迭代50次訓(xùn)練時(shí)間為258 s，訓(xùn)練集判別準(zhǔn)確率在89%附近波動(dòng)，損失值收斂于0.30; 預(yù)測(cè)集判別準(zhǔn)確率可達(dá)86. 67%，損失值收斂于0. 54。ＲesNet 50 的建模結(jié)果見(jiàn)表 7。

ＲesNet 50模型的判別準(zhǔn)確率變化見(jiàn)圖14，ＲesNet 50模型的損失值變化見(jiàn)圖15。

對(duì)比并行式特征融合方法，基于遞進(jìn)式融合方法的模型判別性能有了明顯提升。改善原因: 一方面，遞進(jìn)式特征融合是在模型學(xué)習(xí)了光譜特征后又對(duì)其相應(yīng)圖像進(jìn)行數(shù)據(jù)挖掘，獲取的信息更能夠表征樣本的屬性; 另一方面，對(duì)判別方法進(jìn)行改進(jìn)，引入多模型共識(shí)策略可以更好地解決單模型出現(xiàn)的偶然性誤判問(wèn)題，多模型共識(shí)的結(jié)果更具有代表性;

深度殘差網(wǎng)絡(luò)增加了數(shù)據(jù)特征提取的層數(shù)，使得參 與建模的數(shù)據(jù)特征更顯著，同時(shí) ＲesNet 50 中引入 殘差的概念提升了模型的性能。

討論與結(jié)論

通過(guò)采用高光譜透射成像儀無(wú)損采集不同新鮮度等級(jí)雞蛋的高光譜信息，提取其光譜特征和圖像特征，分別采用并行式圖譜特征融合和遞進(jìn)式圖譜特征融合方法進(jìn)行數(shù)據(jù)分析和建模，得出適用于雞 蛋新鮮度的判別模型。

1) 在并行式特征融合方法中，建立基于SPA-GLCM特征融合的 SVM 等級(jí)判別模型，采用PSO優(yōu)化模型，結(jié)果為訓(xùn)練集準(zhǔn)確率為 85.00%，預(yù)測(cè)集準(zhǔn)確率為76.67% 。

2) 在遞進(jìn)式特征融合方法中，建立基于SPA-HOG特征提取方法的多模型共識(shí)策略模型和深度ＲesNet 50模型，其中兩種模型的訓(xùn)練集準(zhǔn)確率都能達(dá)到89.00% ; 多模型共識(shí)策略模型的預(yù)測(cè)集準(zhǔn)確率為88.00% ，深度ＲesNet 50模型的預(yù)測(cè)集準(zhǔn)確率為86. 67% 。對(duì)比并行式融合方法，基于遞進(jìn)式融合方法的模型精度和性能有了明顯提升。圖像與光譜融合方法能實(shí)現(xiàn)對(duì)不同新鮮度等級(jí)的雞蛋較為準(zhǔn)確的判別，其中遞進(jìn)式融合方法的模型性能更好，且遞進(jìn)式融合方法中的多模型共識(shí)策略對(duì)不同新鮮度等級(jí)的雞蛋判別準(zhǔn)確率最高。由于雞蛋種類和數(shù)量會(huì)對(duì)其準(zhǔn)確度造成一定的影響，后期可以通過(guò)擴(kuò)大實(shí)驗(yàn)樣本的種類和數(shù)量，進(jìn)而提高模型的判別精度和泛化性。

歡迎關(guān)注公眾號(hào)：萊森光學(xué)，了解更多光譜知識(shí)。

萊森光學(xué)（深圳）有限公司是一家提供光機(jī)電一體化集成解決方案的高科技公司，我們專注于光譜傳感和光電應(yīng)用系統(tǒng)的研發(fā)、生產(chǎn)和銷售。

審核編輯hhy