點亮深度學習技能？讓嵌入式平臺來點升級吧

隨著機器視覺在深度學習 (DL) 方法的推動下持續(xù)發(fā)展，我們在自動化和缺陷檢測領域打開了通向無數(shù)可能性的大門。在嵌入式系統(tǒng)中集成深度學習有望實現(xiàn)變革，特別是在涉及機器人、自動駕駛汽車和工業(yè)流程的場景中。從智能門鈴之類的自主活動到諸如使用無人機進行缺陷檢測的復雜任務，結(jié)合更高端的機器視覺方法可提高這些智能設備的智能程度，讓以前無法實現(xiàn)的功能成為現(xiàn)實。不過，這種融合本身也存在一系列挑戰(zhàn)，包括延遲、能效、安全性和隱私性。要滿足這些需求，就要仔細選擇合適的算法、嵌入式系統(tǒng)的適應和部署策略，為創(chuàng)造更加智能、響應更敏捷的世界鋪平道路。

Machine Vision

深度學習在嵌入式機器視覺中的應用

隨著機器視覺的改進和基于深度學習的方法在自動化和缺陷檢測工藝中取得長足進步，許多應用從集成深度學習技術中受益匪淺。工業(yè)自動化和家居自動化流程（特別是那些涉及武器、車輛或其他機器人元素的流程）從觀察、理解和響應其環(huán)境以完成一系列動作的能力中受益頗多。

由于這些智能設備和嵌入式系統(tǒng)的工作環(huán)境復雜多變，因此越來越有必要在機器視覺中使用深度學習方法。這種增強的智能化水平可用于完成自主活動，如送貨、地面維護、智能門鈴和樓宇門禁、吸塵、制造和倉庫打包。這些應用的其中一部分也涉及監(jiān)控和缺陷檢測。

對于使用無人機或其他小型自動駕駛車輛檢測管道、電線、信號塔和其他資產(chǎn)是否存在缺陷等應用，添加基于深度學習的機器視覺也可以提高效率。有了足夠的數(shù)據(jù)，這些模型就不那么脆弱，在不同條件下比傳統(tǒng)的機器視覺模型表現(xiàn)得更加穩(wěn)健。

然而，將深度學習引入機器視覺不僅成本高昂，還要考慮幾個能夠決定成功與否的計算和硬件要求。由于這些應用需要實時檢測、分類和響應自動化流程中的缺陷或其他感興趣的對象，通過網(wǎng)絡發(fā)送數(shù)據(jù)以獲得結(jié)果的時間就常常很有限。

因此，一旦將模型部署到設備上，所選擇的硬件就需要具有較低的深度學習推理延遲。而且，根據(jù)具體應用，電源效率也可能是一個考慮因素，特別是對于像無人機或探測器這種使用內(nèi)置電源執(zhí)行檢測工作的自動駕駛車輛。它們在充滿電后的持續(xù)工作時間越長，工作效率就越高。由于深度學習需要大量的計算功能，因此確保其高效運行并對所使用硬件進行低功耗優(yōu)化就十分關鍵。

嵌入式系統(tǒng)，如NXP Semiconductors i.MX 8M Plus評估套件，專門針對以上要求而設計，可以在不影響電源效率的前提下，將強大的人工智能加速功能納入設計當中。這些應用的其他重要需求還包括安全性和隱私性。例如，在家居自動化應用或資產(chǎn)缺陷檢測中，通常需要將數(shù)據(jù)保存在設備上（而不是共享到云端），或者需要確保流經(jīng)網(wǎng)絡的數(shù)據(jù)和通信完全加密。

當期望在自主機器人或車輛上實時運行這些算法時，直接集成高質(zhì)量、低延遲、穩(wěn)健的傳感器數(shù)據(jù)用于機器視覺也至關重要，這一點應反映在硬件的選擇上。

Machine Vision

嵌入式系統(tǒng)的算法選擇

這些機器視覺應用的深度學習算法選擇在很大程度上要受上述要求的影響。設計人員需要特別注意磁盤上的模型大小、內(nèi)存和推理延遲。對于任何涉及從相機數(shù)據(jù)流中檢測物體（例如缺陷、人、汽車、動物）的情況，都可能存在一個對大多數(shù)視覺輸入有著廣泛理解的預先訓練或“基礎”模型。這些開源模型會接觸大量的數(shù)據(jù)，并且可以擴展到更細微的應用。

但是，當需要執(zhí)行的任務與用于訓練模型的任務顯著不同時，性能測試就變得十分重要。例如，與識別人或汽車的任務相比，識別電線缺陷或管道內(nèi)部缺陷的任務就涉及不同的對象和數(shù)據(jù)。

設計人員還應確保預先訓練的模型架構針對嵌入式設備進行了優(yōu)化。具體而言，應該選擇一個足以在設備上運行的超小模型架構——目標為一個兆字節(jié)（而不是千兆字節(jié)）大小的模型。此外，模型的加載和使用不應過于緩慢，通常較大的模型才會出現(xiàn)這種情況。一般來說，已經(jīng)采用了特定的技術來優(yōu)化這些架構和模型權重，例如，權重剪枝或量化有助于在保持性能的同時縮小尺寸和降低復雜性。

選擇嵌入式深度學習視覺模型還需要確保格式相對標準（如TensorFlow Lite），以便可能直接將其轉(zhuǎn)換為設備的需求。幸運的是，開源視覺模型的可用廣度意味著從頭開始設計和訓練深度學習模型在很大程度上已成為過去。

Machine Vision

使模型適應既定應用

在評估嵌入式模型用于機器視覺的適用性時，某些特定應用的性能可能并不理想。這可能緣于原始訓練數(shù)據(jù)分布（例如獲取設備和條件）與應用期望的實際數(shù)據(jù)之間存在差異。此外，應用可能存在基礎模型，但是它們可以檢測到的對象類型并不完全符合要求。

例如，執(zhí)行對象檢測的標準模型可能不包含缺陷或不常見興趣對象所屬的特定類別。在這兩種情況下，設計人員都應該通過微調(diào)或重新訓練來調(diào)整模型，以提高性能或適應目標任務所需的類別。這樣做需要根據(jù)應用的識別和分類需求標記新的數(shù)據(jù)。這些數(shù)據(jù)采用開源數(shù)據(jù)集的形式，與從實際資產(chǎn)中獲得的領域預期數(shù)據(jù)或自定義數(shù)據(jù)相似或一致，并根據(jù)需要進行標記。

找到合適的數(shù)據(jù)標記平臺簡化這一過程，如Labelbox或Label Studio，并將標注保持為深度學習的標準格式。一旦更新的模型執(zhí)行到所需的級別，就可以開始部署。

Machine Vision

部署嵌入式模型

由于嵌入式系統(tǒng)有大量可用的模型格式，因此選擇具有集成軟件的硬件非常重要，這樣可以簡化模型移植。移植模型的第一步是編寫數(shù)據(jù)預處理所需的代碼，或者讓圖像處理應用利用已經(jīng)包含這些代碼的嵌入式系統(tǒng)。

例如，NXP i.MX 8M Plus評估套件與NXP eIQ機器學習軟件配合使用，其中包括機器視覺預處理管道，作為深度學習軟件的一部分部署到板上。這些預處理步驟通常包括將原始像素流轉(zhuǎn)換為RGB以及調(diào)整幀大小或裁剪幀。同樣，在模型推斷之后，可能需要一些后處理，例如將邊界框覆蓋在觀看設備（如LCD屏幕）的相機輸入上。

下一步是將模型轉(zhuǎn)換為所需的格式，以便在嵌入式設備上運行，提供實時推理。這通常涉及將模型轉(zhuǎn)換為標準格式，如開放神經(jīng)網(wǎng)絡交換 (ONNX) 格式，這樣更便于優(yōu)化硬件。接下來，模型和相鄰的代碼將打包到目標設備的機器可執(zhí)行二進制文件中，生成一個捆綁包。有好幾個開源編譯器都可以完成這項任務，比如Facebook的Glow。此步驟的輸出可以部署到用于給定應用的嵌入式系統(tǒng)中。由于移植模型的過程很復雜，涉及到上述部分的諸多子步驟，因此通常建議選擇一個包含軟件的嵌入式平臺，以便更快捷、更簡便地進行移植。

例如，NXP i.MX 8M Plus評估套件就是一款包含eIQ軟件包的可編程套件，簡單的點擊操作就可以完成所有這些步驟。一旦設備運行了模型推理引擎，其輸出就可用于目標應用——缺陷檢測、工業(yè)自動化等。

Machine Vision

結(jié)語

在嵌入式系統(tǒng)的計算機視覺中集成深度學習功能可以比傳統(tǒng)方法實現(xiàn)更復雜、更具創(chuàng)新性的應用。潛在的受益范圍包括家居和工業(yè)自動化以及各個領域的缺陷檢測。不過，這項工作需要仔細考慮延遲、能效、安全性和隱私等挑戰(zhàn)，特別是在選擇硬件時。算法的選擇和改造也是確保目標應用性能優(yōu)化的重要步驟。甚至嵌入式模型的部署也是一個精細的過程，需要合適的硬件和軟件才能實現(xiàn)流暢的轉(zhuǎn)換。

最終，這種融合將為需要計算機視覺的嵌入式應用造就一個效率與創(chuàng)新齊飛的新時代。