相機(jī)和AI：工業(yè)機(jī)器視覺(jué)技術(shù)加速發(fā)展的雙引擎

圖源：rawpixel-com/freepik.com

機(jī)

器

視

覺(jué)

機(jī)器視覺(jué)（MV）是一種使機(jī)器人和自動(dòng)駕駛汽車等其他機(jī)器能夠看到和識(shí)別周圍環(huán)境中物體的技術(shù)。在過(guò)去幾年里，機(jī)器視覺(jué)的進(jìn)步使得許多機(jī)器人和自動(dòng)駕駛汽車擁有了幾乎與人類相似的感知水平。這個(gè)過(guò)程主要是通過(guò)將光學(xué)傳感器與人工智能和可以分析和處理圖像數(shù)據(jù)的機(jī)器學(xué)習(xí)工具進(jìn)行配對(duì)，此時(shí)搭載了機(jī)器視覺(jué)系統(tǒng)的機(jī)器人和自動(dòng)駕駛汽車就能夠執(zhí)行非常復(fù)雜的任務(wù)了。

眼睛和大腦：

機(jī)器視覺(jué)和計(jì)算機(jī)視覺(jué)的主要區(qū)別

很多時(shí)候，機(jī)器視覺(jué)會(huì)與計(jì)算機(jī)視覺(jué)一詞混為一談。然而，事實(shí)上二者還是有區(qū)別的。對(duì)機(jī)器視覺(jué)而言，它通常與具備計(jì)算機(jī)視覺(jué)能力的工業(yè)應(yīng)用聯(lián)系在一起，需要攝像頭來(lái)捕捉和提供圖像數(shù)據(jù)。計(jì)算機(jī)視覺(jué)的任務(wù)則是將已有的圖像數(shù)字化，處理其中包含的數(shù)據(jù)并采取某種行動(dòng)。

一般來(lái)講，機(jī)器視覺(jué)系統(tǒng)的處理能力相對(duì)較小，主要用于精益制造環(huán)境，通過(guò)高速執(zhí)行實(shí)際任務(wù)以獲取完成指定作業(yè)所需的數(shù)據(jù)。計(jì)算機(jī)視覺(jué)系統(tǒng)是處理視覺(jué)數(shù)據(jù)的人工智能（AI）和機(jī)器學(xué)習(xí)（ML）算法的所在，它需要收集盡可能多的關(guān)于物體或場(chǎng)景的數(shù)據(jù)并充分理解它們。因此，計(jì)算機(jī)視覺(jué)既要能夠分析來(lái)自運(yùn)動(dòng)檢測(cè)器、紅外傳感器等來(lái)源的圖像，又可以在沒(méi)有相機(jī)的情況下執(zhí)行任務(wù)，掃描數(shù)字網(wǎng)絡(luò)照片或視頻，處理來(lái)自任何來(lái)源（包括互聯(lián)網(wǎng)）的圖像。從本質(zhì)上講，機(jī)器視覺(jué)就是系統(tǒng)的眼睛，而計(jì)算機(jī)視覺(jué)則相當(dāng)于系統(tǒng)的大腦。

相機(jī)：

機(jī)器視覺(jué)系統(tǒng)中的重要組件

機(jī)器視覺(jué)是一項(xiàng)看似簡(jiǎn)單但實(shí)際上相當(dāng)復(fù)雜的技術(shù)。首先，它需要使用專門的光學(xué)器件來(lái)捕捉周圍環(huán)境中的視覺(jué)信息。然后，再借助硬件和軟件的組合對(duì)圖像的某些特征進(jìn)行處理、分析和測(cè)量。例如，作為制造系統(tǒng)的一部分的機(jī)器視覺(jué)應(yīng)用程序可以用于分析在裝配線上制造的零件的特定特性，確定零件是否符合質(zhì)量標(biāo)準(zhǔn)。

在實(shí)際應(yīng)用中，機(jī)器視覺(jué)常常被看作是計(jì)算機(jī)的一種視覺(jué)能力，其系統(tǒng)由一個(gè)或多個(gè)光學(xué)傳感器（如高分辨率相機(jī)）、模數(shù)轉(zhuǎn)換（ADC）和數(shù)字信號(hào)處理（DSP）等器件組成。相機(jī)和傳感器用于收集感光形式的圖像，并將其轉(zhuǎn)化為電信號(hào)，所產(chǎn)生的電信號(hào)經(jīng)數(shù)字化處理后被傳輸?shù)接?jì)算機(jī)進(jìn)行分析并提供所需的輸出。在技術(shù)復(fù)雜性上，機(jī)器視覺(jué)與語(yǔ)音識(shí)別相似。

目前，用于制造業(yè)的機(jī)器視覺(jué)主要采用兩種類型的相機(jī)，即：面陣掃描相機(jī)和線陣掃描相機(jī)。

面陣掃描相機(jī)使用矩形傳感器在單個(gè)幀中拍攝照片，傳感器中的像素?cái)?shù)量對(duì)應(yīng)于圖像的寬度和高度。線陣掃描相機(jī)是逐個(gè)像素地構(gòu)建圖像，它們適用于拍攝運(yùn)動(dòng)中或尺寸不規(guī)則的物品的圖像。在拍攝照片時(shí)，傳感器在物體上以線性運(yùn)動(dòng)通過(guò)，因此，線陣掃描相機(jī)不像面陣掃描相機(jī)那樣局限于特定的分辨率。

相機(jī)的靈敏度和分辨率是機(jī)器視覺(jué)系統(tǒng)的兩個(gè)重要參數(shù)，其中，分辨率負(fù)責(zé)區(qū)分物體，而靈敏度是機(jī)器在光線昏暗或波長(zhǎng)不可見(jiàn)的情況下檢測(cè)物體或微弱脈沖的能力。一般來(lái)說(shuō)，分辨率越大，視野就越有限。靈敏度和分辨率是相互依存的，如果其他因素不變，增加靈敏度就會(huì)降低分辨率，而增加分辨率則會(huì)降低靈敏度。面陣相機(jī)的分辨率和掃描頻率一般均低于線陣相機(jī)。

許多機(jī)器視覺(jué)相機(jī)的分辨率超過(guò)4,500萬(wàn)像素，這些相機(jī)能以極高的速度拍攝物體而不會(huì)失真。推動(dòng)機(jī)器視覺(jué)功能的另一個(gè)進(jìn)步是基于事件的視覺(jué)傳感器。這些傳感器處理圖像的方式與人眼的視神經(jīng)處理信息的方式類似。更具體地說(shuō)，這些基于事件的視覺(jué)傳感器檢測(cè)每個(gè)像素的亮度變化。這種能力使機(jī)器視覺(jué)能夠在比傳統(tǒng)的基于幀的視覺(jué)傳感器暗得多的環(huán)境中使用。

Sony Spresense的ISX012是一款有效像素達(dá)到511萬(wàn)像素的圖像傳感器，相機(jī)板在Spreseense的主板上使用了這款結(jié)構(gòu)緊湊、高分辨率的傳感器來(lái)擴(kuò)展主板的功能。板載編碼器可以采集JPEG、RAW、Y/C或RGB格式的圖片。相機(jī)板通過(guò)專用的并行接口直接連接到主板，當(dāng)與主板上CXD5602微控制器的AI功能相結(jié)合時(shí)，可為物聯(lián)網(wǎng)設(shè)備提供先進(jìn)的視覺(jué)功能。

圖1：可提供先進(jìn)的視覺(jué)功能的

Sony Spresense相機(jī)板（圖源：Mouser）

當(dāng)然，出于應(yīng)用成本的考慮，機(jī)器視覺(jué)系統(tǒng)不是越復(fù)雜越好，而應(yīng)選擇適合的。一維（1D）視覺(jué)、二維（2D）視覺(jué)以及三維（3D）視覺(jué)這三種類型是常用的、面向不同任務(wù)的機(jī)器視覺(jué)系統(tǒng)。

01

1D視覺(jué)

1D視覺(jué)不會(huì)一次性完成整個(gè)物體圖像的分析，而是一次讀取一行，通常采用線陣掃描相機(jī)，這種類型的機(jī)器視覺(jué)常常用在制造過(guò)程中的產(chǎn)品檢測(cè)，比如用來(lái)發(fā)現(xiàn)傳送帶上產(chǎn)品中的缺陷；

02

2D視覺(jué)

2D視覺(jué)主要使用數(shù)碼相機(jī)收集圖像數(shù)據(jù)，通過(guò)比較一幅圖像與下一幅圖像的變化來(lái)確定下一步應(yīng)采取的處理措施，這種類型的機(jī)器視覺(jué)通常用于物體跟蹤以及產(chǎn)品的類型驗(yàn)證等；

03

3D視覺(jué)

3D視覺(jué)通常在不同位置使用多個(gè)數(shù)碼相機(jī)和其他傳感器來(lái)捕捉物體的數(shù)字模型或圖像，從而對(duì)其位置、大小和特征進(jìn)行準(zhǔn)確的評(píng)估，因此，3D機(jī)器視覺(jué)非常適合幫助機(jī)器人導(dǎo)航周圍環(huán)境并執(zhí)行與訂單相關(guān)的任務(wù)。

隨著不同垂直行業(yè)對(duì)質(zhì)量檢測(cè)和自動(dòng)化的需求不斷增加，3D機(jī)器視覺(jué)市場(chǎng)將以高于行業(yè)平均水平的速度實(shí)現(xiàn)快速增長(zhǎng)。Grand View Research的分析數(shù)據(jù)表明，2022年，全球3D機(jī)器視覺(jué)市場(chǎng)規(guī)模為58.1億美元，預(yù)計(jì)2023年至2030年的復(fù)合年增長(zhǎng)率（CAGR）將達(dá)到13.5%。

ams OSRAM公司的Mira220全局快門圖像傳感器是一款體積小巧、專為工業(yè)機(jī)器視覺(jué)應(yīng)用而設(shè)計(jì)的2D和3D解決方案，有效分辨率為1,600（H）x 1,400（V），幀速率可高達(dá)90fps，深度為12位。Mira220采用的先進(jìn)背面照明（BSI）技術(shù)將傳感器層堆疊在數(shù)字/讀出層的頂部，這種設(shè)計(jì)產(chǎn)生了占位面積僅為5.3毫米×5.3毫米的芯片級(jí)封裝，特別適合空間受限產(chǎn)品的設(shè)計(jì)。

Mira220的功耗非常低，在睡眠模式下僅需4mW，在空閑模式下功耗40mW，而在90fps的全分辨率下也僅僅需要350mW。此外，Mira220傳感器還可以利用MIPI CSI-2接口方便地與處理器和FPGA進(jìn)行交互。

圖2：專為工業(yè)機(jī)器視覺(jué)應(yīng)用而設(shè)計(jì)的ams OSRAM的Mira220全局快門圖像傳感器（圖源：ams OSRAM）

工業(yè)：

機(jī)器視覺(jué)應(yīng)用的主戰(zhàn)場(chǎng)

機(jī)器人之所以能與人類做同樣的工作，主要?dú)w功于機(jī)器視覺(jué)。機(jī)器人手臂用它來(lái)檢查從裝配線上下來(lái)的零件和產(chǎn)品，確定哪些符合質(zhì)量標(biāo)準(zhǔn)。此外，機(jī)器視覺(jué)還使機(jī)器人和人類之間的協(xié)作更加高效和安全?，F(xiàn)在，機(jī)器視覺(jué)已經(jīng)成為工業(yè)4.0過(guò)程自動(dòng)化的關(guān)鍵技術(shù)，其中汽車、制藥、包裝、食品和飲料等垂直行業(yè)是使用機(jī)器人系統(tǒng)比較突出的領(lǐng)域。

據(jù)Grand View Research的分析，2022年，全球機(jī)器視覺(jué)市場(chǎng)規(guī)模為168.9億美元，預(yù)計(jì)2023年至2030年將以12.3%的復(fù)合年增長(zhǎng)率（CAGR）增長(zhǎng)，到2030年，市場(chǎng)規(guī)模將達(dá)到416億美元。按照產(chǎn)品劃分，機(jī)器視覺(jué)產(chǎn)品可細(xì)分為基于PC的和基于智能攝像頭的系統(tǒng)。2022年，基于PC的細(xì)分市場(chǎng)在全球的市場(chǎng)份額超過(guò)54.92%，接下來(lái)的幾年里預(yù)計(jì)這一趨勢(shì)仍將得到延續(xù)。

與機(jī)構(gòu)或教育應(yīng)用中使用的機(jī)器視覺(jué)系統(tǒng)相比，工業(yè)機(jī)器視覺(jué)系統(tǒng)通常更耐用，并要求較高的可靠性、穩(wěn)定性和準(zhǔn)確性，而它們的成本則比在軍事、航空航天、國(guó)防和政府應(yīng)用中使用的系統(tǒng)要低很多。這也是近些年機(jī)器視覺(jué)在工業(yè)領(lǐng)域日益普及的重要原因。

在工業(yè)應(yīng)用中，機(jī)器視覺(jué)常常被用于執(zhí)行各種任務(wù)，下面我們就列舉一些：

01

電子元件的識(shí)別和分析。對(duì)元器件的準(zhǔn)確識(shí)別及跟蹤是整個(gè)制造或物流過(guò)程控制的重要環(huán)節(jié)。例如，將機(jī)器視覺(jué)用于電路板的焊接過(guò)程監(jiān)控，除了完成焊接質(zhì)量檢查，還能同步檢查元器件的放置是否正確。

02

印刷缺陷識(shí)別。印刷缺陷識(shí)別的目的是定位印刷異常，如不正確的色調(diào)或印刷品的缺失或有缺陷的部分，機(jī)器視覺(jué)的應(yīng)用大幅降低了人為因素可能出現(xiàn)的錯(cuò)誤。

03

材料檢查。材料檢測(cè)系統(tǒng)中的機(jī)器視覺(jué)功能確保了產(chǎn)品的質(zhì)量控制，它能準(zhǔn)確識(shí)別產(chǎn)品中的缺陷甚至污染物。例如，可將機(jī)器視覺(jué)系統(tǒng)用于藥丸和片劑的過(guò)程監(jiān)控。

04

物體定位。在機(jī)器人制導(dǎo)等應(yīng)用中，機(jī)器視覺(jué)通常被用來(lái)尋找東西，其目的是確定目標(biāo)物體的坐標(biāo)和位置。這也是機(jī)器視覺(jué)普遍的應(yīng)用之一。

05

模式識(shí)別。機(jī)器視覺(jué)在當(dāng)今的醫(yī)學(xué)診斷方面發(fā)揮了重要作用。醫(yī)學(xué)成像分析使用基于機(jī)器視覺(jué)的模式識(shí)別、磁共振成像、血液掃描和大腦掃描等技術(shù)可對(duì)疾病進(jìn)行準(zhǔn)確的診斷。

06

物體識(shí)別。在汽車行業(yè)，自動(dòng)駕駛汽車使用機(jī)器視覺(jué)系統(tǒng)中的攝像頭拍攝的圖像進(jìn)行物體識(shí)別，得以準(zhǔn)確地分析出道路上的障礙物類型。隨著自動(dòng)駕駛技術(shù)的不斷演進(jìn)，這一領(lǐng)域?qū)⒊蔀闄C(jī)器視覺(jué)極具發(fā)展前景的應(yīng)用之一。

人工智能：

工業(yè)機(jī)器視覺(jué)技術(shù)發(fā)展的加速器

現(xiàn)代機(jī)器視覺(jué)系統(tǒng)開(kāi)始越來(lái)越多地使用人工智能（AI）方法與技術(shù)，如機(jī)器學(xué)習(xí)或深度學(xué)習(xí)，以及人工神經(jīng)網(wǎng)絡(luò)。AI能夠處理大量以前難以收集的圖像和數(shù)據(jù)信息，加快了決策過(guò)程。例如，簽名和字符識(shí)別，有了人工智能的加持，機(jī)器視覺(jué)系統(tǒng)可以快速甄別其中的細(xì)微差別。

在制造業(yè)中，AI有助于物體識(shí)別和材料檢查，使機(jī)器視覺(jué)系統(tǒng)能夠理解物體或材料形狀和紋理的變化。在質(zhì)量保證方面，AI系統(tǒng)可以分析出現(xiàn)的異?，F(xiàn)象，而不是單純地檢出和拒絕不符合規(guī)范的產(chǎn)品。機(jī)器視覺(jué)與AI和深度學(xué)習(xí)相結(jié)合，擴(kuò)大了機(jī)器人在執(zhí)行生產(chǎn)線任務(wù)中的作用，如挑選、分揀、放置和執(zhí)行生產(chǎn)線掃描。這種技術(shù)組合還使機(jī)器人能夠在其他環(huán)境中運(yùn)行，如超市、醫(yī)院和餐館等?；贏I的機(jī)器視覺(jué)還可以在更廣泛的背景和照明設(shè)置中識(shí)別缺陷，并靈活應(yīng)對(duì)產(chǎn)品外觀和缺陷類型的變化，例如凹痕或變色。

深度學(xué)習(xí)是人工智能中一個(gè)更復(fù)雜、更強(qiáng)大的子集，在機(jī)器視覺(jué)應(yīng)用中也越來(lái)越多地被采用。在人工智能的支持下，機(jī)器視覺(jué)系統(tǒng)常常被用來(lái)執(zhí)行復(fù)雜的任務(wù)，比如質(zhì)量控制、裝配控制、過(guò)程控制和機(jī)器人操控等。在過(guò)去幾年里，將人工智能融入機(jī)器視覺(jué)應(yīng)用是工業(yè)機(jī)器視覺(jué)技術(shù)發(fā)展的主要加速器。在“未來(lái)的工廠”中，機(jī)器視覺(jué)和AI技術(shù)將是過(guò)程自動(dòng)化和提高效率的關(guān)鍵組成部分。

機(jī)器視覺(jué)與AI的技術(shù)進(jìn)步離不開(kāi)芯片組的支持。新一代嵌入式芯片的功能更強(qiáng)大，成本合理，適用于處理圖像和運(yùn)行基于AI的機(jī)器視覺(jué)算法，可將深度學(xué)習(xí)訓(xùn)練時(shí)間從數(shù)周減少到數(shù)小時(shí)。

NXP的i.MX 95系列應(yīng)用處理器將eIQ Neutron神經(jīng)處理單元（NPU）、Arm Mali沉浸式3D圖形處理、異構(gòu)安全分區(qū)和網(wǎng)絡(luò)功能組合在一起，可實(shí)現(xiàn)機(jī)器學(xué)習(xí)和先進(jìn)的邊緣應(yīng)用。此外，i.MX95還集成了NXP的圖像信號(hào)處理器（ISP），支持多種不同的圖像傳感器，從而實(shí)現(xiàn)工業(yè)、機(jī)器人、醫(yī)療和汽車等領(lǐng)域廣泛的視覺(jué)應(yīng)用。為此，NXP專門針對(duì)機(jī)器視覺(jué)應(yīng)用對(duì)這個(gè)ISP進(jìn)行了優(yōu)化，能支持兩個(gè)目標(biāo)區(qū)域、兩個(gè)曝光的HDR合成、先進(jìn)降噪和邊緣增強(qiáng)，支持彩色、單色和RGB-IR攝像頭傳感器。

在i.MX95 SoC中，主要通過(guò)集成的eIQ Neutron NPU實(shí)現(xiàn)機(jī)器視覺(jué)，在這里，NPU作為視覺(jué)處理通路的一部分，連通多個(gè)攝像頭傳感器和網(wǎng)絡(luò)連接的智能攝像頭。

圖3：NXP i.MX95系統(tǒng)框圖

（圖源：NXP）

本文小結(jié)

工業(yè)機(jī)器視覺(jué)是使用相機(jī)、鏡頭和照明設(shè)備對(duì)制成品進(jìn)行自動(dòng)視覺(jué)檢查。這是一種實(shí)時(shí)檢測(cè)部件的方法，既快速又準(zhǔn)確，它可以對(duì)高速生產(chǎn)線上的每一件產(chǎn)品進(jìn)行拍攝和分析，通過(guò)復(fù)雜的算法來(lái)檢查和評(píng)估在工業(yè)環(huán)境中獲取的圖像，確保100%的質(zhì)量控制。它還可以自動(dòng)化許多工業(yè)檢查，包括缺陷和問(wèn)題的目視檢查、產(chǎn)品存在與否檢查、產(chǎn)品類型驗(yàn)證、測(cè)量和產(chǎn)品代碼讀取等。今天，工業(yè)自動(dòng)化正在以驚人的速度發(fā)展，機(jī)器視覺(jué)技術(shù)在其發(fā)展和擴(kuò)張中發(fā)揮著至關(guān)重要的作用。

在剛剛過(guò)去幾年里，融入了人工智能的機(jī)器視覺(jué)技術(shù)幫助許多機(jī)器人和自動(dòng)駕駛汽車實(shí)現(xiàn)了幾乎與人類相似的感知水平。通過(guò)使用大量先進(jìn)的光學(xué)傳感器，如高分辨率相機(jī)，這些機(jī)器人和汽車最終能夠以自己的方式擁有“看”的能力。多種技術(shù)的融合和飛速發(fā)展使得新應(yīng)用的潛力顯著增加，這意味著未來(lái)的機(jī)器視覺(jué)技術(shù)將與更多的行業(yè)相關(guān)，所創(chuàng)建的解決方案也將更加通用和智能。

該發(fā)布文章為獨(dú)家原創(chuàng)文章，轉(zhuǎn)載請(qǐng)注明來(lái)源。對(duì)于未經(jīng)許可的復(fù)制和不符合要求的轉(zhuǎn)載我們將保留依法追究法律責(zé)任的權(quán)利。

關(guān)于貿(mào)澤電子

貿(mào)澤電子（Mouser Electronics）是一家全球知名的半導(dǎo)體和電子元器件授權(quán)代理商，分銷超過(guò)1200家品牌制造商的680多萬(wàn)種產(chǎn)品，為客戶提供一站式采購(gòu)平臺(tái)。我們專注于快速引入新產(chǎn)品和新技術(shù)，為設(shè)計(jì)工程師和采購(gòu)人員提供潮流選擇。歡迎關(guān)注我們！

更多精彩