視頻解碼器在監(jiān)督檢查中的基礎(chǔ)知識(shí)

視頻檢測(cè)系統(tǒng)用于許多商業(yè)和工業(yè)過(guò)程。攝像機(jī)（從廉價(jià)的低清晰度黑白閉路電視 （CCTV） 系統(tǒng)到最先進(jìn)的高清數(shù)字視頻系統(tǒng)中的攝像機(jī)，用于從產(chǎn)品檢測(cè)到交通監(jiān)控再到實(shí)時(shí)人臉識(shí)別的各種應(yīng)用。

視頻固有地?cái)y帶大量數(shù)據(jù)，這可能會(huì)使信號(hào)處理和數(shù)據(jù)存儲(chǔ)任務(wù)復(fù)雜化。視頻檢測(cè)通?？梢酝ㄟ^(guò)裁剪無(wú)用的信息并僅傳遞圖片的基本部分來(lái)簡(jiǎn)化，從而節(jié)省內(nèi)存和計(jì)算周期。圖1顯示了典型系統(tǒng)的元件。

圖1.簡(jiǎn)化的視頻檢測(cè)數(shù)據(jù)流。

本文展示了幾個(gè)示例，說(shuō)明提取有用數(shù)據(jù)如何最大限度地減少處理、存儲(chǔ)器大小和DSP使用，并說(shuō)明ADI公司視頻解碼器的特殊功能如何簡(jiǎn)化視頻算法并加快視頻檢測(cè)系統(tǒng)的開(kāi)發(fā)。

例 1.計(jì)數(shù)和檢查對(duì)象

想象一下，一條寬闊的傳送帶包含許多快速移動(dòng)的產(chǎn)品。大量的產(chǎn)品使手動(dòng)盤(pán)點(diǎn)變得困難。除了自動(dòng)執(zhí)行計(jì)數(shù)任務(wù)外，還可以使用相機(jī)來(lái)監(jiān)控產(chǎn)品質(zhì)量。這可以通過(guò)修改簡(jiǎn)單計(jì)數(shù)算法以專(zhuān)注于特定細(xì)節(jié)和工件來(lái)實(shí)現(xiàn)。

存儲(chǔ)所有視頻數(shù)據(jù)需要大量的內(nèi)存，處理大量數(shù)據(jù)在硬件和功率方面會(huì)花費(fèi)很多。該系統(tǒng)不是在內(nèi)存中收集整個(gè)圖片，而是可以在一堆數(shù)據(jù)中找到有趣的細(xì)節(jié)，并在檢查傳送帶上的產(chǎn)品時(shí)盡可能多地丟棄無(wú)用的數(shù)據(jù)。

在大多數(shù)情況下，灰度圖片可以攜帶足夠的信息。因此，可以通過(guò)將RGB信號(hào)轉(zhuǎn)換為Y（僅亮度）來(lái)刪除色度信息。然后，可以使用邊緣檢測(cè)來(lái)檢查生成的單色圖片的內(nèi)容，以查找傳送帶上的產(chǎn)品，并將其形狀與模板進(jìn)行比較，以確定產(chǎn)品是否畸形。

邊緣檢測(cè)算法只需要幾行活動(dòng)視頻和少量?jī)?nèi)存，通過(guò)計(jì)算活動(dòng)圖像的第一和二階導(dǎo)數(shù)來(lái)發(fā)現(xiàn)相鄰像素亮度的不連續(xù)性，如Bernd J?hne的數(shù)字圖像處理中所述。在實(shí)踐中，邊緣檢測(cè)可以通過(guò)使用矩陣計(jì)算（例如 Sobel 矩陣運(yùn)算符）提取信息來(lái)實(shí)現(xiàn)。在FPGA（現(xiàn)場(chǎng)可編程門(mén)陣列）實(shí)現(xiàn)中，以像素為基礎(chǔ)執(zhí)行此操作可提供令人滿意的結(jié)果。一個(gè)簡(jiǎn)單的FPGA實(shí)現(xiàn)在Tanvir A. Abbasi和Mohm的“Sobel邊緣檢測(cè)操作員的基于FPGA的架構(gòu)”中進(jìn)行了展示。美國(guó)賽義德·阿巴西。噪聲可以通過(guò)添加高斯2D濾波器來(lái)消除，如Mathukumar Venkatesan和Daggu Venkateshwar Rao的“FPGA邊緣檢測(cè)算法的硬件加速”中所述，它描述了類(lèi)似于Canny邊緣檢測(cè)器的探測(cè)器的成功實(shí)現(xiàn)。

其他幾種優(yōu)化算法可以提高圖像質(zhì)量，但都在FPGA設(shè)計(jì)中占據(jù)了相當(dāng)大的空間。但是，一些集成電路（IC）視頻解碼器已經(jīng)配備了有用的預(yù)處理算法或?yàn)V波器;因此，選擇其中之一將節(jié)省FPGA中的空間。例如，ADV7802視頻解碼器包括亮度瞬態(tài)改善（LTI）和色度瞬態(tài)改善（CTI）模塊。這些模塊通過(guò)改善亮度和色度轉(zhuǎn)換的陡度來(lái)增強(qiáng)生成的圖像，使用自適應(yīng)峰值和非線性方法，而不會(huì)增加噪聲或引入偽影，并且在邊緣檢測(cè)過(guò)程中非常有用。此外，亮度整形和其他內(nèi)置輸入濾波器可以消除源頭的高頻噪聲，專(zhuān)注于信號(hào)，忽略偶然噪聲。

圖2.LTI/CTI 操作圖。

邊緣檢測(cè)提供有關(guān)對(duì)象邊緣過(guò)渡的信息，而不是對(duì)象的全貌。這種從每像素 3 位 × 8 位 （bpp） 到 1 bpp 的減少節(jié)省了大量?jī)?nèi)存：

640 像素 × 480 像素 = 307，200 位（1 bpp）

800 像素 × 600 像素 = 480，000 位（1 bpp）

1024 像素 × 768 像素 = 786，432 位（1 bpp）

1280 像素 × 720 像素 = 921，600 位（1 bpp）

通過(guò)將RGB轉(zhuǎn)換為Y，在內(nèi)存中僅存儲(chǔ)幾行活動(dòng)視頻，并使用FPGA算法，我們可以檢測(cè)物體并查看其形狀。一旦知道它們?cè)谝苿?dòng)傳送帶上的位置，我們就可以估計(jì)它們的運(yùn)動(dòng)并從下一幀中收集顏色或其他信息，同時(shí)確保使用最少量的內(nèi)存。該過(guò)程涉及

邊緣檢測(cè)

存儲(chǔ)信息

預(yù)測(cè)下一個(gè)位置 xN+1

在產(chǎn)品應(yīng)該存在的區(qū)域提取信息。

例 2.檢測(cè)運(yùn)動(dòng)和質(zhì)量

機(jī)器人正在特定距離和有限范圍內(nèi)尋找物品。超聲波可用于某些應(yīng)用;但是，如果表面吸收超聲波或物品在玻璃后面，則可以使用視頻。相機(jī)設(shè)置為對(duì)焦于附近的物體。窄范圍內(nèi)的項(xiàng)目將具有銳利的邊緣，但超出該范圍的背景項(xiàng)目具有模糊的邊緣（圖 3）。

圖3.對(duì)焦 - 景深較窄。

邊緣檢測(cè)可用于區(qū)分目標(biāo)范圍內(nèi)的物品，因?yàn)檫@些是唯一具有鋒利邊緣的物品。背景中的項(xiàng)目將足夠模糊，無(wú)法通過(guò)邊緣檢測(cè)測(cè)試。處理將生成二進(jìn)制位圖，其中 1 表示檢測(cè)到邊緣，0 表示未檢測(cè)到邊緣。每個(gè)檢測(cè)到的邊緣像素的位置（x，y）可用于使用公式1近似隔離物體的中間：

哪里xn是邊緣像素的 x 位置，n; yn是邊緣像素 n 的 y 位置;N 是檢測(cè)到的邊緣像素?cái)?shù)。

一旦知道物體及其邊緣的位置，我們就可以嘗試追蹤它。關(guān)鍵是從圖片中精確提取一個(gè)對(duì)象，將其邊緣轉(zhuǎn)換為輪廓，該輪廓可用于通過(guò)檢查像素與對(duì)象中間的平均距離來(lái)確定項(xiàng)目是否正在向相機(jī)移動(dòng)，以查看對(duì)象的大小是否在變化，如公式2所示：

N 是 FRAME 中的邊緣像素?cái)?shù);M 是 FRAME–1 中的邊緣像素?cái)?shù)。

關(guān)注水平軸可得出公式3：

(3)

當(dāng)對(duì)象向相機(jī)移動(dòng)（像素從對(duì)象中間擴(kuò)散）時(shí)，此等式的值將為正數(shù)。負(fù)值表示物體正在遠(yuǎn)離相機(jī)，如圖4所示。

圖4.移動(dòng)物體的幀更改。

請(qǐng)注意，物體必須在相機(jī)的對(duì)焦范圍內(nèi)。通過(guò)修改算法，我們可以主動(dòng)改變焦點(diǎn)以掃描更廣泛的區(qū)域。一旦檢測(cè)到對(duì)象，就可以對(duì)其進(jìn)行分割、處理和跟蹤。

隨著視頻復(fù)雜性的增加，跟蹤對(duì)象變得更加困難，尤其是對(duì)于帶紋理的對(duì)象和因快速移動(dòng)而失去清晰度的對(duì)象。一些跟蹤算法在施建波的“好的跟蹤功能”中展示。當(dāng)物體失去清晰度時(shí)，邊緣檢測(cè)會(huì)失敗。跟蹤仍然可以通過(guò)使用復(fù)雜的相關(guān)技術(shù)來(lái)完成，例如塊匹配（用于估計(jì)運(yùn)動(dòng)）或 Yao Wang、J?rn Ostermann 和 Ya-Qin Zhang（在“視頻處理和通信”中詳述的其他方法）。

由于來(lái)自相機(jī)的連續(xù)數(shù)據(jù)流，可以跟蹤物體以確定其加速度和其他參數(shù)。但是，必須使用高質(zhì)量的視頻序列才能獲得良好的視頻分析結(jié)果。通過(guò)分析相鄰像素檢測(cè)邊緣時(shí)，如果使用逐行掃描視頻而不是低質(zhì)量的隔行掃描PAL或NTSC信號(hào)，分辨率會(huì)更好。ADV7401和ADV7403視頻解碼器接受各種視頻標(biāo)準(zhǔn)，包括逐行模式。它們能夠數(shù)字化高達(dá) 140 MHz 的視頻信號(hào)，可以處理標(biāo)清、ED和高清分量信號(hào)、CVBS 和圖形。此外，它們支持非標(biāo)準(zhǔn)視頻模式，允許使用不太流行的標(biāo)準(zhǔn)，例如 STANAG。靈活的像素輸出總線允許以 4：2：2、4：4：4 YCbCr 或 4：4：4 RGB 格式進(jìn)行數(shù)據(jù)處理。非標(biāo)準(zhǔn)視頻格式可以過(guò)采樣或欠采樣以獲得給定的水平寬度，如 AN-0978 “組件處理器非標(biāo)準(zhǔn)視頻格式”中所述。

內(nèi)置色彩空間轉(zhuǎn)換器（CSC），如圖5所示，可轉(zhuǎn)換色彩空間以滿足用戶要求（公式4，其中A1...答4， B1...B4， C1...C4 是可調(diào)的 CSC 參數(shù)）。YPrPb 或 RGB 輸入信號(hào)可以使用可配置的矩陣轉(zhuǎn)換轉(zhuǎn)換為其他格式。例如，將RGB轉(zhuǎn)換為YCbCr可以丟棄色度信息（Cb，Cr），從而簡(jiǎn)化單色圖片的邊緣檢測(cè)。

圖5.單CSC通道（ADV7403）。

CSC 非常有用。通過(guò)RGB或YCbCr輸入，可以使用顏色空間矩陣簡(jiǎn)單地轉(zhuǎn)換顏色信息。圖 6 顯示了類(lèi)似于 YCbCr 的 YUV 顏色空間。

圖6.產(chǎn)品質(zhì)量評(píng)估中的 YUV 色彩空間可用于檢測(cè)（例如）產(chǎn)品何時(shí)燃燒或發(fā)霉。Y（亮度）是恒定的。

如圖6所示，顏色（或YPrPb值）可以幫助檢測(cè)產(chǎn)品的質(zhì)量，例如，是燒焦還是發(fā)霉。色彩空間轉(zhuǎn)換在視頻處理和與使用其他標(biāo)準(zhǔn)的IC接口時(shí)是必要的。ADV7401/ADV7403內(nèi)置一個(gè)輸入多路復(fù)用器，可輕松切換視頻源，這是從停止傳送帶切換到工作傳送帶時(shí)非常有用的功能。

例 3.調(diào)整視頻檢測(cè)的白平衡和色彩平衡

開(kāi)發(fā)從圖片中提取物體的視頻系統(tǒng)需要付出巨大的努力，因?yàn)楣饩€角度或強(qiáng)度的簡(jiǎn)單變化會(huì)影響檢測(cè)結(jié)果。視頻工程師可以使用ADV7401/ADV7403增益和失調(diào)調(diào)整，通過(guò)在傳送帶上添加兩條小參考條紋（一條深色，一條亮）來(lái)調(diào)整亮度和對(duì)比度。調(diào)整ADV7401/ADV7403的失調(diào)和增益以獲得相當(dāng)?shù)闹?，從而使系統(tǒng)能夠補(bǔ)償光色、角度和強(qiáng)度的變化。

圖7.將小的參考條紋添加到可見(jiàn)區(qū)域

調(diào)整適當(dāng)白平衡的算法可以非常簡(jiǎn)單。首先，獲取條紋的參考 RGB（或 YCbCr）值。然后，要補(bǔ)償光線，只需更改偏移和增益即可獲得與基準(zhǔn)相同的值。此算法可用于：

獲取深色條紋的 RGB（或 YCbCr）值。

調(diào)整偏移量以匹配深色條紋的所需 RGB（或 YCbCr）值。

獲取光條的 RGB（或 YCbCr）值

調(diào)整增益以匹配所需的光條RGB（或YCbCr）值。

要提高準(zhǔn)確性，請(qǐng)重復(fù)步驟 2 和 4。

此過(guò)程在系統(tǒng)開(kāi)發(fā)期間特別有用，因?yàn)樗峁┝苏_的偏移（亮度）和增益（對(duì)比度），即使光線太強(qiáng)或太弱，如圖8所示。失調(diào)和增益寄存器可通過(guò) I2C 總線獲得，允許快速調(diào)整。

圖8.調(diào)整失調(diào)和增益以補(bǔ)償環(huán)境照明的變化。

顏色也可用于參考條紋。這種補(bǔ)償類(lèi)似于廣泛使用的白平衡，但白平衡與人類(lèi)的感知相匹配，而色彩校正是為了補(bǔ)償由于不同照明引起的變化。盡管算法類(lèi)似，但額外的偏移會(huì)導(dǎo)致深色看起來(lái)不自然。ADV7401/ADV7403色彩空間轉(zhuǎn)換、靈活的輸出像素端口以及失調(diào)和增益調(diào)整寄存器使工程師能夠使用已準(zhǔn)備好處理的數(shù)據(jù)快速開(kāi)發(fā)算法。如前所述，如果簡(jiǎn)單視頻不需要高級(jí)算法，請(qǐng)務(wù)必減少視頻處理所需的數(shù)據(jù)量并避免使用高級(jí)算法。ADV7401/ADV7403的評(píng)估板具有易于訪問(wèn)的像素端口，可加快新設(shè)計(jì)的啟動(dòng)速度。只需將視頻捕獲板插入評(píng)估板的像素端口并捕獲視頻數(shù)據(jù)即可（圖 9）。

圖9.ADV7401/ADV7403評(píng)估板上的像素總線。

視頻編碼器、視頻DAC和AD9889B HDMI發(fā)射器連接到同一像素總線，允許在第二路輸出上查看當(dāng)前圖像。ADI公司視頻解碼器包括處理視頻所需的模塊，可提供可靠的性能和穩(wěn)定的圖像。

結(jié)論

攝像機(jī)在工業(yè)應(yīng)用中具有許多優(yōu)勢(shì)。當(dāng)必須對(duì)移動(dòng)項(xiàng)目進(jìn)行排序、跟蹤或記錄時(shí)，這一點(diǎn)尤其重要。視頻技術(shù)和具有高度集成的視頻解碼器的實(shí)時(shí)處理可用于在移動(dòng)傳送帶上高效分析物品或?qū)旌袭a(chǎn)品進(jìn)行分類(lèi)。

審核編輯：郭婷