機器視覺檢測技術及其在中藥智能制藥中的應用展望

導讀：機器視覺檢測技術基于圖像自動識別產品質量與生產過程狀態(tài)，收集產品質量數據，并進一步實時反饋改進生產工藝，對于促進傳統(tǒng)制造行業(yè)的智能化升級具有重要作用。中藥制造業(yè)作為傳統(tǒng)制造行業(yè)之一，亟需融合現代信息技術，如利用機器視覺檢測技術，實現對于藥材、飲片、成品的質量檢測，生產過程的狀態(tài)識別，以及生產車間現場管理，從而驅動中藥生產的高質量發(fā)展。文章通過總結機器視覺檢測技術在各領域中的應用情況及關鍵技術，從人、物料、生產狀態(tài)和整體環(huán)境4個角度對機器視覺自動檢測技術在中藥智能制藥中的應用作出展望。

歡迎引用本文：

繆培琪, 王鐾璇, 司夢蘭, 于洋, 所同川, 李正. 機器視覺檢測技術及其在中藥智能制藥中的應用展望[J]. 天津中醫(yī)藥大學學報, 2020, 39(4): 365-373.

MIAO Peiqi, WANG Beixuan, SI Menglan, YU Yang, SUO Tongchuan, LI Zheng. Machine vision technology and its potential application in intelligent pharmaceutical manufacturing of traditional Chinese medicine[J]. Journal of Tianjin University of Traditional Chinese Medicine, 2020, 39(4): 365-373.

機器視覺檢測技術及其在中藥智能制藥中的應用展望

繆培琪, 王鐾璇, 司夢蘭, 于洋, 所同川, 李正

（天津中醫(yī)藥大學中藥制藥工程學院, 天津 301617）

傳統(tǒng)中藥質量控制以成品質量檢驗為核心，存在制藥過程內在規(guī)律模糊不清，生產過程監(jiān)管困難等問題，造成質控成本較高，且不能持續(xù)有效的提高中藥質量的困局?；凇百|量是生產出來的，而不是檢驗出來的”現代質量控制理念，需要探索先進的在線質量檢測技術并建立快速、高效、無損的過程質量檢測方法，在生產過程中密切關注關鍵質量屬性，解決怎么測、測什么的問題。中藥產業(yè)鏈跨度大，從藥材種植、藥廠制劑到臨床使用，存在著大量隱性知識的使用和以人為主的生產物料轉移，分段式工藝布局形成割裂式控制導致大量數據分散累積為“信息孤島”，且生產過程動態(tài)變化、高度復雜又缺乏有效的檢測技術裝備，導致各流程關鍵節(jié)點的過程參數存在盲區(qū)。

結合機器視覺檢測技術可部分解決上述問題，應用機器視覺對從原料藥到成品的生產過程進行監(jiān)測，并從大量圖像數據中提取其蘊藏的豐富質量信息，是中藥質量控制技術創(chuàng)新發(fā)展的有效途徑。通過云端或者本地的“智能大腦”對視覺數據進行建模分析生成控制策略，優(yōu)化工藝參數，可解決中藥生產中的質量持續(xù)提升問題。利用這種思路不僅可以節(jié)省勞動力，提高檢測速度和精度，實現產品的全檢，還將賦予制藥裝備新的智能決策能力。

機器視覺起初主要應用于半導體制造、汽車裝配等行業(yè)。中國機器視覺起步較晚，一直到2006年，工業(yè)機器視覺開始逐漸應用到印刷、食品生產等領域。雖然機器視覺并非新技術，但深度學習的快速發(fā)展使機器視覺能夠更精確、更高效地處理各種圖像問題。

目前，機器視覺技術以其精確性好、可靠性高、可適應環(huán)境多、持續(xù)工作時間長、生產效率高的特點，已在智慧城市、智慧礦山、智慧電網、智慧農業(yè)等多個智能化領域中發(fā)揮了巨大作用，根據機器視覺所應用感知對象的不同，對機器視覺在這些領域中的成功應用案例和最新研究成果進行如表 1所示的總結，可以看出在不同的應用領域，機器視覺應用的感知對象主要集中于人、物料、生產狀態(tài)和整體環(huán)境，以下簡稱為人、物、態(tài)、環(huán)。本文將綜述基于機器視覺的生產監(jiān)測技術，并對其在中藥智能制藥中的應用前景作出展望。

1 基于機器視覺的中藥生產數據感知關鍵技術

圖像傳感器是機器視覺技術應用于中藥制造過程的眼睛，是中藥工業(yè)大數據的核心。待檢測物體經光源照射后，由光學成像系統(tǒng)采集圖像信息，再利用圖像采集卡將光學圖像轉換生成可分析的數字圖像，這是機器視覺數據感知的過程。根據圖像傳感器獲取信息的方式不同，可分為電荷耦合器件（CCD）和互補金屬氧化物半導體（CMOS）兩種圖像傳感器類型。

CCD傳感器相比于CMOS傳感器靈敏度和可拍攝分辨率都要更高，但成本也相對較高，且在極端環(huán)境下，由于CMOS傳感器制作時焊點與接頭較少，故其在工業(yè)復雜環(huán)境應用的可靠性優(yōu)于CCD傳感器。通過圖像傳感器接口芯片，將所需發(fā)送的數據根據網絡通信協議轉換成標準通信格式的數字信號，再由通信網絡，發(fā)送至服務器進行存儲或與其他系統(tǒng)進行通信。

隨著機器視覺技術在各智能領域的應用普及，各種形式的圖像數據獲取技術也在快發(fā)展，如偏振成像對于傳統(tǒng)技術無法檢測的隱形材料具有很好地特征提取效果，可在高光下對產品缺陷進行檢測；嵌入式視覺在尺寸和功耗方面較低，在很多特殊的環(huán)境下都有較高的應用價值；3D相機成像技術，不僅采集平面圖像信息，而且可以獲取目標深度信息；還有多光譜成像技術，如現在在中藥質量控制領域研究較多的高光譜成像技術，可提取目標物在白光下可能無法檢測到的信息。

中藥制造過程需要關注不同種類的物料，如藥材、飲片，中間體（提取液、濃縮液、離心液等）、成品（片劑、丸劑、顆粒劑、注射劑等），要求圖像傳感器具備快速、靈敏、穩(wěn)定的特點。在選擇圖像傳感器時，需考慮到客觀環(huán)境因素，而且剛應該關注采集到圖像數據所應該包含的主要信息。采集哪些圖像，選擇哪種圖像傳感器，如何布置傳感器在中藥生產過程中的位置，決定了圖像數據質量的好壞。

2 基于機器視覺的中藥生產數據分析關鍵技術

基于機器視覺的中藥工業(yè)圖像大數據中包含了大量信息，其中部分無關信息會大大影響數據的處理效率及有效特征的提取。需要借助開源計算機視覺庫（OpenCV）、HALCON（德國MVtec公司開發(fā)的機器視覺算法包）等圖像處理工具，將碎片化的圖像信息轉變?yōu)槌筛哔|量、高密度的特征信息，然后利用模式識別、深度學習等方法，并結合中藥制藥專業(yè)理論知識和生產經驗，建立可靠地視覺檢測模型，將過程數據可視化，為解決中藥生產難題提供決策力。

一般在進行圖像分析前需要進行圖像數據清洗，即將無關信息較多、不具有目標特征代表性的圖像進行修剪、刪除，也可通高斯變換、傅里葉變換、小波降噪等方法減小圖片噪音。如果采集到的圖片量綱不同，可通過標準化統(tǒng)一圖片尺寸，當采用3D成像或多光譜成像技術采集圖像時，圖片維度較高，應采取降維的方法對圖像進行處理，一般圖像分析需要將圖片處理為2維的灰度圖片。

之后將進行圖像特征提取，一般特征提取需要用到輪廓提取、Canny算子檢測（由John F. Canny開發(fā)的多級邊緣檢測算法）、形態(tài)學變換等技術手段，這是中藥生產大數據分析中最重要的部分。中藥生產大數據多具有時序性、工序性、相關性等特點。從圖片中提取特征變量，不僅反映了中藥生產過程的關鍵屬性，而且有助于模型的建立和解釋，增強模型的預測性能，為中藥企業(yè)在機器視覺的應用中創(chuàng)造核心競爭力。

3 機器視覺在中藥智能制藥領域中的應用及展望

與其他領域相似，中藥生產同樣包括人、物、態(tài)、環(huán)4個感知對象。針對不同的感知對象，課題組提出如圖 1所示的基于機器視覺的中藥生產管理技術路線圖。

3.1 機器視覺+中藥生產中的“人”

人是中藥生產中過程中最大的不確定因素，人員的安全保障和規(guī)范化管理是中藥企業(yè)發(fā)展中的重要一環(huán)，利用現代信息技術技術對中藥生產中的“人”進行檢測是中藥企業(yè)智能化發(fā)展的關鍵一步。中藥生產中的“人”主要指生產線上的工作人員，將機器視覺應用在“人”的檢測主要包括安全保障和規(guī)范管理兩個方面。

在安全保障方面，普遍存在于中藥生產線中的大量高溫高壓高轉速設備對員工的安全產生了潛在威脅，所以亟需建立一套人員安全預警系統(tǒng)來保障員工的生命安全。針對這個問題，可以通過機器視覺技術建立危險區(qū)域電子圍欄，當工人靠近危險區(qū)域便及時提醒。類似的，在智慧城市領域有相關應用，主要用到了方向梯度直方圖（HOG）特征提取及背景減除等技術手段。也可建立基于機器視覺手勢控制系統(tǒng)，在一定距離通過手勢控制完成設備操作，不僅實現了“人機合一”的真正物聯網，而且保障了工人的操作安全。比如在家電智能控制領域，趙樹言研究了7種常用手勢的人機交互，識別率達到79%，且交互工作效率達75%。除此之外，還應該建立工人體態(tài)識別系統(tǒng)，如人體關鍵點的識別，對其不慎摔倒等狀況進行識別，在短時間內對其進行救助。

在人員規(guī)范管理方面，工作人員的不規(guī)范操作是影響潔凈區(qū)衛(wèi)生狀態(tài)的最大因素之一，可根據目標檢測的思維建立規(guī)范化操作視頻圖像庫，對不規(guī)范佩戴口罩，進入潔凈區(qū)不洗手等違規(guī)行為進行檢測識別，也可利用OpenPose（卡內基梅隆大學開源項目）等人體關鍵點檢測技術及時發(fā)現違規(guī)行為并及時糾正，并且可以基于機器視覺對作業(yè)人員工作準則（SOP）進行量化，一方面規(guī)范行為操作，另一方面也將高質量的操作流程記錄保存，解決隱性知識無法傳承的問題，為崗位人員更替提供依據和保障。

總的來說，將機器視覺技術應用到中藥生產中的“人”，就是解決生產過程中的人流合規(guī)化問題，即通過視覺識別的方式將工作人員的基本信息和其崗職能信息相聯系，預判可能發(fā)生的危險并防止無關工作人員進入危險區(qū)域，工況發(fā)生時，快速通知相關職能人員到現場實施設備復位。通過視覺信息匹配工作人員權限，進而控制規(guī)定工作人員可以到指定崗位完成其任務，以使工人在安全高效無接觸式的生產環(huán)境下完成其職能。

3.2 機器視覺+中藥生產中的“物”

中藥生產中的“物”包括藥材飲片、成品以及每個工序產生的中間體。在中藥飲片檢測方面，已有學者做出相關研究，其主流的思路一般分為“辨形”和“辨色”。侯青等通過簡單的閾值分割對葉片中氣孔數進行統(tǒng)計，為葉類中藥視覺檢測提供了支持；梁麗金等從防風藥材的顯微圖像中提取木栓層、韌皮部、油管等主要形態(tài)結構的特征，并對4個產地的防風藥材進行了劃分；賈偉等通過Tamura方法比較研究了12種中藥飲片切面的6個特征參數，為基于機器視覺的中藥飲片檢測提供理論依據。

研究表明，中藥的色澤與其藥性及有效成分的含量息息相關，另外，根據采收期、產地和炮制方法的不同，藥材的色澤也會表現出差異性。對于中藥材的質量評價，由于顏色的波動往往要比形狀紋理的波動要小，故在傳統(tǒng)的藥材鑒定中，顏色往往是作為藥材質量評價的最根本依據。

周明運用斑點、輪廓、最小矩形面積和凸包檢測等算法先對異常飲片進行排除，再運用分水嶺、顏色直方圖等算法分析飲片表面顏色特征，進而對其進行等級判定，最終完成對大黃飲片的計算機視覺分析。錢丹丹等[66]對采集到的大棗飲片圖像進行面積、顏色H分量值和缺陷面積百分比的特征值提取，并以這3個特征值作為大棗品質分級的特征參數輸入到樸素貝葉斯分類器進行優(yōu)、中、劣等級區(qū)分，識別率分別達到96%、92%、94%，高效、精確地完成分類工作，適應大規(guī)模中藥飲片生產檢測，彌補了人工質檢的不足。

在成品質量的檢測方面，胡安翔[67]通過VIBE（一種視頻序列背景檢測與減影技術）和基于像素的自適應分割器（PBAS）兩種背景減除算法聯合支持基向量機、反向傳播（BP）神經網絡兩種分類器，并利用Faster-R-CNN及VGG16神經網絡對中藥片劑進行缺陷檢測；劉君動等依托CIELab顏色空間實現了丹參多酚酸溶液的顏色檢測，提出了中藥注射劑的圖像檢測方法；姚冠宇等通過邊緣匹配定位口服液瓶，并采用兩幀差分法對輪廓中的異物進行檢測，可對中藥口服液中異物進行很好地識別。通過這些檢測方法填補了中藥制劑成品檢測應用中的一些空白，提高了中藥制劑成品質檢的自動化程度，進而提升了中藥制劑安全性。

然而，中藥生產工序的復雜性決定了只在源頭和終點對其質量進行控制是遠遠不夠的，對提取、濃縮等工序產生的中間體的質量數據監(jiān)測同樣具有重要意義。目前常用的中間體質量檢測方法大多是基于微觀有效成分的含量測定，檢測耗時費力且不具時效性，不能滿足在線檢測的需求。

中藥制藥過程工藝繁多，通過機器視覺檢測技術，從宏觀角度檢測全過程物料變化規(guī)律，及時檢出物料異常狀態(tài)并對工藝參數進行修正，對中藥產品的一致性評價具有重要意義。而且通過視覺特征匹配，可以使生產物料、中間體及產品信息相關聯，解決物流自動合規(guī)運轉問題，再結合之前提到的“人”的機器視覺化，進而控制“物”由指定的“人”運往相對應的位置。通過圖像視頻數據作為基礎，使物料加工信息化，實現物料生產質量等多環(huán)節(jié)的統(tǒng)一管理以及生產過程質量的可追溯。

3.3 機器視覺+中藥生產中的“態(tài)”

中藥生產中的“態(tài)”指狀態(tài)，包括設備的工作狀態(tài)和物料在生產過程中所處的狀態(tài)。由于中藥制藥行業(yè)智能化進程緩慢，我國大部分制藥企業(yè)仍處在工業(yè)2.0的水平，設備儀表為簡單的電子儀表或者指針式儀表，這類儀表不能直接輸出數字信號到數據收集系統(tǒng)，需要人工巡檢，手動記錄數據，不但耗時費力且存在主觀性問題。中國的電力系統(tǒng)同樣存在這些問題，不過再近些年的電網智能升級改造中，機器視覺技術大量被使用，在傳統(tǒng)指針式儀表檢測中，徐冬生采用Canny邊緣檢測，并進行Hough（1962年由Hough提出）直線檢測確定儀表指針位置已獲得讀數。

劉楊等將機器人采集的儀表圖像通過Lucy-Richardson方法復原，運用同心圓環(huán)搜索法識別指針角度，比傳統(tǒng)的Hough變換算法計算量小且運行速度快，讀數效果好，在大幅降低人力成本的同時，避免了人工讀數帶來的誤差。這對指導中藥生產裝備智能升級具有很高的指導價值。

履帶的工作狀態(tài)也是值得關注的點，中藥生產裝備中存在大量履帶，如提取罐進料傳送帶、帶式干燥機干燥履帶等，履帶承載物重量過大、維護不及、轉速過高等都會導致安全問題。在智慧礦山領域存在同樣的問題，一些學者研究了基于機器視覺的傳送履帶智能控制方案，通過視頻數據，在對輸送帶進行工況監(jiān)測的同時對輸送量進行計算，并對傳輸速度進行智能調節(jié)，通過機器視覺監(jiān)測傳送履帶的各項視覺參數，可實時監(jiān)測設備的工作狀況并對其進行智能控制，節(jié)約企業(yè)能源的同時避免了意外發(fā)生。

此外，中藥生產過程包含大量物理化學反應，需要掌握關鍵過程參數以控制產品質量。但是由于一些生產設備具有高溫高壓高真空等特殊性質使得過程參數無法準確測量只能通過工人的經驗進行參數設置，這大大影響了產品質量的一致性，也使企業(yè)擔負了更高的風險。其實這些生產過程中的物化反應大多都存在起泡、變色等現象，這些現象包含了大量的過程物料參數信息，通過機器視覺的方法將這些圖像數據收集起來，與溫度、濃度等物料參數進行比對分析，建立合理的控制模型，可對物料的狀態(tài)提前進行預測，以獲得設備最佳控制參數。相關檢測建模方法在智慧礦山、核工業(yè)等領域都已成熟應用。

通過機器視覺的方式將原本不可見的設備狀態(tài)可視化，彌補了生產過程關鍵工藝參數不可測的短板，而且以工位為單位實現了人、機、物的一體化，在保障生產質量的同時，使企業(yè)獲得生產過程的關鍵工藝參數，這是中藥生產過程智能升級的根本，也是質量數字化的關鍵。質量數字不僅保證了藥品質量的穩(wěn)定性和均一性，也將形成藥品企業(yè)的核心競爭力。

3.4 機器視覺+中藥生產中的“環(huán)”

中藥生產中的智能化最終要體現在“環(huán)”的檢測上，如車間人數統(tǒng)計、物料擺放位置、工具挪用情況等，這些信息的掌握對于企業(yè)生產資源的合理調度具有很大幫助。在智慧城市中，王敬仁等[15]通過樹莓派平臺搭建人臉識別系統(tǒng)實現地鐵人流量統(tǒng)計并進行分流預警，有效解決了擁堵問題。這對于中藥企業(yè)具有很好的借鑒意義。

在中藥智能倉庫的建設方面，要求通過機器視覺技術對藥材位置等信息準確統(tǒng)計，這屬于機器視覺測距定位及三維建模的范疇。如在智慧電網中的審計工作，肖琴等基于雙目視覺法的GRBD深度相機的研究了距離檢測方法和基于活動目標追蹤的塔桿數量統(tǒng)計法。

在中藥智能倉庫中，同樣存在測距和統(tǒng)計等任務，結合機器視覺技術可輕松獲取貨架的位置、貨架之間的距離以及貨物所在的貨位等信息，這對建立倉庫的立體三維模型具有很大幫助，通過機器視覺技術建立精確的中藥智能倉庫三維模型，再結合“物”的視覺系信息化，進而可實現飲片的數字化入庫與出庫，在滿足給定優(yōu)化目標組合的前提下，可實現不同等級的飲片調配組合，同時減少倉庫囤積時間，優(yōu)化物料自動化轉運路徑的同時解決了保證物料存放質量的難題。

智能制造也是綠色制造，節(jié)能減排也是中藥產業(yè)智能化升級重要任務。中藥生產車間存在大量耗電耗能系統(tǒng)，不必要且過度的空調、照明系統(tǒng)的使用都會造成能源浪費。在智能家居領域，周浩通過機器視覺識別室內人員情況以實現房間光線強弱和分布的智能調節(jié)，節(jié)約并有效利用能源同時提升了生活環(huán)境的舒適度。這種基于機器視覺的能源配置系統(tǒng)可用于精益生產物耗與能耗管理及優(yōu)化。公用系統(tǒng)如空調系統(tǒng)的監(jiān)測，濾網更換，依據車間內的人員數量、設備數量，對空調循環(huán)、回風次數等參數進行優(yōu)化，進而在保證生產車間舒適性與安全性的同時使能耗最低。

4 結語

中藥生產過程質量智能優(yōu)化控制依賴于生產過程中各生產要素的數字化狀態(tài)采集與過程建模。機器視覺自動檢測技術具有快速、無損的優(yōu)勢，認為機器視覺有助于實現制藥過程中涉及的人、物料、儀器設備、環(huán)境的數字化客觀表征，理解他們與藥品質量的相互關系，解決中藥生產問題中的復雜性和非線性，并更好地制定規(guī)范和規(guī)劃更安全的生產環(huán)境。但是目前還存在著很多局限性，亟需開展相關研究，以達到中藥制藥過程質量的動態(tài)優(yōu)化調控。深度學習、人工神經網絡等的快速發(fā)展使得機器視覺檢測技術精度更高，使用更廣，加上圖形處理器（GPU）等計算設備的快速發(fā)展，使其在未來食品、藥品等質量檢測中應用前景廣闊。

因此，研究準確、輕量、快速、高效的機器視覺檢檢測模型仍是未來機器視覺檢測領域的重點。此外，由于中藥種類繁多，成分復雜，批次間又存在差異，實現一種通用中藥檢測模式仍是一大挑戰(zhàn)，這不僅要控制中藥原藥材的質量，還需要在中藥生產的每個環(huán)節(jié)關注物料的關鍵信息。隨著機器視覺技術的不斷發(fā)展，基于機器視覺的中藥質量檢測、生產過程的狀態(tài)識別、以及生產車間自動化現場管理的應用前景會更加廣闊。

基金項目:重大新藥創(chuàng)制科技重大專項（2018ZX09201011）；中國工程科技中長期發(fā)展戰(zhàn)略研究項目（2019-ZCQ-10）。

責任編輯：xj

原文標題：機器視覺檢測技術及其在中藥智能制藥中的應用展望

文章出處：【微信公眾號：新機器視覺】歡迎添加關注！文章轉載請注明出處。