基于PIC32MZ EF MCU的驅(qū)動(dòng)視頻監(jiān)控系統(tǒng)

　　在視頻監(jiān)控方面，設(shè)計(jì)師和他們的客戶長(zhǎng)期以來(lái)一直被迫滿足于效率極低的系統(tǒng)，這些系統(tǒng)依賴于“愚蠢”的批量圖像捕獲和存檔，絕大多數(shù)記錄的內(nèi)容是不感興趣的，而感興趣的內(nèi)容假設(shè)它已經(jīng)存檔，它本身就很難在存檔中查明。然而，現(xiàn)在，功能強(qiáng)大、節(jié)能且具有成本效益的處理器、圖像傳感器和存儲(chǔ)設(shè)備與日益復(fù)雜的軟件相結(jié)合，為系統(tǒng)開(kāi)發(fā)人員提供了將寶貴的計(jì)算機(jī)視覺(jué)處理能力整合到從消費(fèi)者監(jiān)控系統(tǒng)到應(yīng)用程序的機(jī)會(huì)。可穿戴的“生活博客”相機(jī)。

　　智能的、事件驅(qū)動(dòng)的視頻監(jiān)控僅在例如人或其他感興趣的對(duì)象進(jìn)入畫(huà)面時(shí)記錄圖像，并且僅在對(duì)象留在畫(huà)面中時(shí)才記錄圖像。這種自主智能在歷史上可能僅在政府、軍隊(duì)和其他高端客戶使用的昂貴、笨重、耗電的設(shè)備中提供，現(xiàn)在它可以以消費(fèi)者友好的價(jià)格提供，電池壽命長(zhǎng)，并且以一種形式因素小而輕，足以美觀地坐在架子上。

　　您可以利用當(dāng)今視覺(jué)處理硬件和軟件提供的潛力做些什么？以下是基于消費(fèi)者監(jiān)控系統(tǒng)案例研究的一些想法：

　　一個(gè)基本設(shè)計(jì)可能會(huì)在它感應(yīng)到幀中的運(yùn)動(dòng)時(shí)開(kāi)始記錄，并持續(xù)一段固定的時(shí)間。稍微復(fù)雜一點(diǎn)的方法是可變長(zhǎng)度記錄，直到發(fā)現(xiàn)物體運(yùn)動(dòng)停止和/或物體從幀中消失。

　　然而，這種方法可能會(huì)產(chǎn)生大量由吹樹(shù)葉、經(jīng)過(guò)的車輛等引起的“誤報(bào)”。因此，如果溫血?jiǎng)游锸俏ㄒ桓信d趣的對(duì)象，您可能需要在可見(jiàn)光相機(jī)上添加紅外探測(cè)器或其他熱傳感器。更一般地說(shuō)，可用算法可以讓您微調(diào)對(duì)象“觸發(fā)器”的大小、顏色、距離、移動(dòng)速率和其他閾值參數(shù)。

　　如果你只關(guān)心有洞察力的人怎么辦？面部檢測(cè)功能可以在這方面提供幫助。您甚至可能有興趣在有人進(jìn)入畫(huà)面時(shí)觸發(fā)相機(jī)……除非那個(gè)人是您自己、您的配偶、您的孩子、郵遞員等。為此，您將需要更強(qiáng)大的面部識(shí)別設(shè)施。

　　OpenCV 計(jì)算機(jī)視覺(jué)庫(kù)

　　與典型的一樣，該項(xiàng)目從其軟件定義和開(kāi)發(fā)計(jì)劃開(kāi)始（并且從根本上受其約束）。在過(guò)去的幾十年里，計(jì)算機(jī)視覺(jué)主要是一個(gè)學(xué)術(shù)研究領(lǐng)域；因此，在這個(gè)特定領(lǐng)域還沒(méi)有一個(gè)大型、成熟的行業(yè)專業(yè)知識(shí)庫(kù)。此外，學(xué)術(shù)實(shí)驗(yàn)往往不能廣泛適用于現(xiàn)實(shí)世界的實(shí)施，例如，環(huán)境照明和天氣條件可能因一種使用情況而異，以及偏離研究實(shí)驗(yàn)室中發(fā)現(xiàn)的更受控制的條件。

　　幸運(yùn)的是，像往常一樣，開(kāi)源社區(qū)提供了資源幫助。OpenCV（開(kāi)源計(jì)算機(jī)視覺(jué)）庫(kù)起源于英特爾的研究部門；公司在 2000 年的 CVPR（IEEE Computer Vision and Pattern Recognition，著名的計(jì)算機(jī)視覺(jué)會(huì)議）上正式向公眾公開(kāi)。在前五年的 beta 測(cè)試中，OpenCV 在 2006 年獲得了 v1.0“黃金”地位，三年后是 v2.0，2015 年年中是 v3.0（截至去年 12 月，v3.1 是最新版本）。

　　OpenCV 在 BSD 許可下發(fā)布，可免費(fèi)用于學(xué)術(shù)和商業(yè)用途。它采用優(yōu)化的 C/C++ 編寫(xiě)，具有 C++、C、Python 和 Java 接口，支持 Windows、Linux、Mac OS、iOS 和 Android 操作系統(tǒng)。值得注意的是，對(duì)于這個(gè)特定的監(jiān)控?cái)z像頭項(xiàng)目，該庫(kù)包含 2，500 多種算法，包括可用于識(shí)別和跟蹤對(duì)象、檢測(cè)和識(shí)別人臉以及對(duì)人類行為進(jìn)行分類的算法。

　　Microchip Technology 的 PIC32MZ EF 系列 MCU

　　然而，值得一提的是使用 OpenCV 的一個(gè)潛在缺點(diǎn)。該庫(kù)以英特爾和 PC 為中心的起源反映在其中包含的許多基礎(chǔ)代碼都是基于浮點(diǎn)的這一事實(shí)，這對(duì)于某些僅定點(diǎn)的嵌入式系統(tǒng)設(shè)計(jì)可能存在問(wèn)題。說(shuō)實(shí)話，大多數(shù)計(jì)算機(jī)視覺(jué)功能甚至不需要浮點(diǎn)精度。因此，一些處理器供應(yīng)商已經(jīng)開(kāi)發(fā)了部分或全部 OpenCV 庫(kù)的架構(gòu)定制版本，處理代碼的浮點(diǎn)到定點(diǎn)轉(zhuǎn)換以及提供其他優(yōu)化。但是，如果您堅(jiān)持自己進(jìn)行轉(zhuǎn)換，那么這項(xiàng)工作可能會(huì)因成本和進(jìn)度而受到限制。

　　Microchip 的新型PIC32MZ EF MCU為 OpenCV 浮點(diǎn)問(wèn)題提供了一種直接的替代解決方案（圖 1）。它們的核心是高性能 32 位 MIPS microAptive 處理器，運(yùn)行頻率高達(dá) 200 MHz，能夠處理各種計(jì)算機(jī)視覺(jué)功能。此外，為了反映 48 個(gè)成員產(chǎn)品系列名稱中的“EF”后綴，Microchip 還在整數(shù) CPU 旁邊嵌入了一個(gè) 32 位和 64 位符合 IEEE 754 的七級(jí) FPU，能夠以不變的方式運(yùn)行浮點(diǎn) OpenCV 代碼并且高速。

　　圖 1：高性能 CPU 與 32 位和 64 位 FPU 協(xié)處理器的組合使 Microchip 的 PIC32MZ EF MCU 在使用開(kāi)源代碼時(shí)成為引人注目的候選者。（圖片由微芯科技提供）

　　PIC32MZ EF 的其他有用方面包括其集成的 10/100 Mbit 以太網(wǎng) MAC 和大量系統(tǒng)接口（品種和數(shù)量在某種程度上取決于封裝和引腳分配……MCU 系列有多種選擇）。MAC 與外部 PHY 相結(jié)合，可以直接（如果您選擇有線以太網(wǎng)是您選擇的網(wǎng)絡(luò)技術(shù)）或通過(guò)外部有線到無(wú)線以太網(wǎng)橋接間接支持監(jiān)控?cái)z像機(jī)的網(wǎng)絡(luò)連接需求。或者，您可以通過(guò)連接到 PIC32MZ EF USB 2.0 或其他接口端口的外部收發(fā)器來(lái)實(shí)現(xiàn)無(wú)線蜂窩和/或以太網(wǎng)連接。

　　圖像傳感器替代品

　　前面提到的 MCU 接口多樣性不僅有利于提供網(wǎng)絡(luò)連接多樣性，而且有利于圖像傳感器的靈活性。將相機(jī)連接到 PIC32MZ EF 的一種直接方法是在設(shè)計(jì)中加入 OmniVision Technologies OVM7690 VGA 分辨率相機(jī)模塊，通過(guò) 8 位 I/O 端口連接到MCU（圖 2）。這種方法有幾個(gè)關(guān)鍵原因是有益的；OVM7690 已經(jīng)包含晶圓級(jí)光學(xué)元件，例如 64° 視場(chǎng)（對(duì)角線）、F/3.0 鏡頭，因此您無(wú)需在設(shè)計(jì)中添加單獨(dú)的光學(xué)子系統(tǒng)。此外，OVM7690 嵌入了一個(gè)專用的圖像處理器，從而減輕了 PIC32MZ EF 的圖像預(yù)處理任務(wù)，例如去馬賽克、重新縮放、格式轉(zhuǎn)換和曝光控制。

　　圖 2：集成相機(jī)模塊吹捧設(shè)計(jì)簡(jiǎn)單（頂部），但它提供的圖像雖然令人賞心悅目，但與傳統(tǒng)圖像傳感器的未處理輸出（底部）相比，它可能不太適合計(jì)算機(jī)視覺(jué)處理。（圖片分別由 OmniVision Technologies 和 ON Semiconductor 提供）

　　但是，存在可能迫使您轉(zhuǎn)而使用傳統(tǒng)圖像傳感器（例如安森美半導(dǎo)體的 VGA 分辨率 NOIL1SM0300A）與您自己設(shè)計(jì)的鏡頭并通過(guò)其 SPI 端口之一連接到 PIC32MZ EF 的合理情況。首先，人眼喜歡的圖像可能反過(guò)來(lái)被視為對(duì)計(jì)算機(jī)視覺(jué)處理算法有害。例如，由圖像預(yù)處理器自動(dòng)完成的邊緣增強(qiáng)可能會(huì)導(dǎo)致將對(duì)象與其背景區(qū)分開(kāi)來(lái)的任務(wù)復(fù)雜化。自動(dòng)曝光控制、黑白電平平衡、色彩校正以及通常由內(nèi)置在相機(jī)模塊中的圖像協(xié)處理器默認(rèn)完成的類似任務(wù)也是如此。

　　例如，您可能還需要與傳感器模塊制造商提供的不同的鏡頭焦距和/或光圈。但是，無(wú)論您使用集成攝像頭模塊還是獨(dú)立圖像傳感器，您都可能會(huì)發(fā)現(xiàn)具有成本效益的 VGA 分辨率產(chǎn)品選項(xiàng)就足夠了；有時(shí)，您甚至只需要更便宜的 QVGA 或 CIF 分辨率產(chǎn)品。唯一可能需要超過(guò) 3 Mpixels 分辨率的情況是，如果您試圖辨別遠(yuǎn)處的物體，或者在特別惡劣的環(huán)境觀察條件下，這兩種情況都會(huì)受益于更大的源圖像細(xì)節(jié)。如果您的目標(biāo)客戶堅(jiān)持觀看“高清”視頻，您也可以選擇更高分辨率的圖像傳感器或攝像頭，

　　本地大容量存儲(chǔ)

　　回想一下，該項(xiàng)目的基本目標(biāo)是僅在相機(jī)“看到”的感興趣事件發(fā)生時(shí)才錄制視頻，并且僅在該事件持續(xù)時(shí)才錄制。在這樣做的過(guò)程中，該實(shí)施最大限度地減少了設(shè)計(jì)所需的閃存或其他存儲(chǔ)技術(shù)的容量（更不用說(shuō)在此過(guò)程中節(jié)省寶貴的電池壽命）。盡管如此，雖然 512 KB 到 2 MB 的閃存以及集成在各種 PIC32MZ EF MCU 系列成員中的 128 KB 到 512 KB RAM 可能足以滿足非易失性代碼存儲(chǔ)和瞬態(tài)數(shù)據(jù)存儲(chǔ)的目的，但更高容量的外部存儲(chǔ)視頻剪輯本身仍然是必要的。

　　當(dāng)然，您總是可以使用獨(dú)立的 NAND 閃存設(shè)備（或其中一些），通過(guò) I/O 總線與 MCU 配對(duì)。但是，您需要開(kāi)發(fā)自己的媒體管理軟件，以處理后臺(tái)“垃圾收集”清理已填充有效和/或停用視頻數(shù)據(jù)的閃存擦除塊，以及磨損級(jí)別媒體，以防止某些擦除塊與其他擦除塊的“熱”過(guò)度循環(huán)。此外，這種媒體管理需要由 MCU 本身處理，從而消耗寶貴的處理器周期，否則這些周期可能會(huì)專門用于計(jì)算機(jī)視覺(jué)處理和其他任務(wù)。

　　相反，請(qǐng)考慮使用包含自己的媒體管理控制器的閃存大容量存儲(chǔ)解決方案。選項(xiàng)包括可移動(dòng) SD 卡（以及更小的 mini SD 和 micro SD 兄弟），以及Micron Technology 的 BGA 封裝 e.MMC NAND 閃存; 這兩個(gè)選項(xiàng)都通過(guò)少引腳 I/O 總線連接到 PIC32MZ EF MCU。例如，根據(jù)捕獲的幀分辨率、幀速率和壓縮格式，美光的 32 GByte e.MMC 應(yīng)該能夠讓您存儲(chǔ)數(shù)十分鐘到數(shù)小時(shí)的視頻。此外，通過(guò)電子郵件、短信或其他警報(bào)，您可以將新視頻的捕獲狀態(tài)（連同視頻本身的部分或全部）傳達(dá)給監(jiān)控系統(tǒng)所有者；視頻將保留在攝像機(jī)中，以供后續(xù)查看、存檔和/或刪除。

　　具有集成媒體管理控制器的閃存大容量存儲(chǔ)解決方案既可以釋放系統(tǒng)處理器來(lái)處理其他任務(wù)，又可以簡(jiǎn)化您的軟件開(kāi)發(fā)工作。（圖片由美光科技提供）

　　結(jié)論

　　誠(chéng)然，這個(gè)項(xiàng)目描述并不是包羅萬(wàn)象的。例如，仍需要添加 AC/DC 和 DC 步進(jìn)電源子系統(tǒng)，并且您可能還需要包含麥克風(fēng)和 ADC，以便將音頻與圖像一起錄制。但是，它涵蓋了設(shè)計(jì)的一些關(guān)鍵部分。每種算法越復(fù)雜，組合的越多，最終導(dǎo)致 PIC32MZ EF 的 CPU 和 FPU 的處理潛力超載的可能性就越大。話雖如此，用于對(duì)象識(shí)別的新興卷積神經(jīng)網(wǎng)絡(luò)“深度學(xué)習(xí)”技術(shù)等新算法以及對(duì)現(xiàn)有算法的優(yōu)化一直在出現(xiàn)。

　　圖 ：卷積神經(jīng)網(wǎng)絡(luò) （CNN） 和其他“深度學(xué)習(xí)”方法一旦使用一系列參考圖像進(jìn)行訓(xùn)練，就可以在大量處理和內(nèi)存需求的權(quán)衡下提供令人印象深刻的對(duì)象識(shí)別結(jié)果。（圖片由維基百科提供）

　　強(qiáng)烈建議在生產(chǎn)前進(jìn)行大量現(xiàn)場(chǎng)測(cè)試；不可避免地，您會(huì)遇到在產(chǎn)品開(kāi)發(fā)過(guò)程中沒(méi)有考慮到的環(huán)境條件和使用場(chǎng)景，這將需要對(duì)算法進(jìn)行微調(diào)。除了實(shí)現(xiàn)上的細(xì)微差別之外，運(yùn)行 OpenCV 等開(kāi)源軟件的 PIC32MZ EF MCU 等經(jīng)濟(jì)高效的處理器與傳感器或相機(jī)模塊捕獲的圖像、存儲(chǔ)到常駐閃存并通過(guò)網(wǎng)絡(luò)連接傳輸?shù)膱D像相結(jié)合，創(chuàng)造了所有各種有趣的應(yīng)用：現(xiàn)有產(chǎn)品的增強(qiáng)和全新的產(chǎn)品類別。稍后我們將有更多關(guān)于 CNN 的內(nèi)容。