智能視頻監(jiān)控應(yīng)用系統(tǒng)設(shè)計(jì)攻略

智能視頻監(jiān)控應(yīng)用系統(tǒng)設(shè)計(jì)攻略

? 隨著寬帶有線(xiàn)和無(wú)線(xiàn)網(wǎng)絡(luò)基礎(chǔ)設(shè)施的完善以及全球安防市場(chǎng)需求的增長(zhǎng)，視頻監(jiān)控的應(yīng)用正呈爆發(fā)性的增長(zhǎng)態(tài)勢(shì)。視頻監(jiān)控系統(tǒng)的發(fā)展趨勢(shì)非常明顯，在經(jīng)歷了數(shù)字化和網(wǎng)絡(luò)化之后，下一個(gè)重要的趨勢(shì)就是智能化，即智能監(jiān)控和視頻分析技術(shù)的應(yīng)用。

????? 傳統(tǒng)的視頻監(jiān)控由人工進(jìn)行視頻監(jiān)測(cè)發(fā)現(xiàn)安全隱患或異常狀態(tài)，或者用于事后分析，這種應(yīng)用具有其固有的缺點(diǎn)，難以實(shí)現(xiàn)實(shí)時(shí)的安全監(jiān)控和檢測(cè)管理。帶有智能分析功能的監(jiān)控系統(tǒng)可以通過(guò)區(qū)分監(jiān)控對(duì)象的外形、動(dòng)作等特征，做到主動(dòng)收集、分析數(shù)據(jù)，并根據(jù)預(yù)設(shè)條件執(zhí)行報(bào)警、記錄、分析等動(dòng)作。智能監(jiān)控系統(tǒng)可以運(yùn)行于服務(wù)器，也可以運(yùn)行在基于DSP的嵌入式系統(tǒng)上，而后者已逐漸成為主流。

????? 智能視頻的應(yīng)用大體上可以分安防、人體行為檢測(cè)和智能交通三方面的應(yīng)用。其中安防應(yīng)用是被廣泛認(rèn)為是最具潛力的市場(chǎng)，它包括以下幾個(gè)應(yīng)用類(lèi)別：入侵檢測(cè)，可以自動(dòng)檢測(cè)出視頻畫(huà)面中的運(yùn)動(dòng)行為特征；物品移除檢測(cè)，可以自動(dòng)檢測(cè)物品搬移事件——當(dāng)防區(qū)內(nèi)某特定位置的物品被拿走或搬走時(shí)發(fā)出報(bào)警；遺留物檢測(cè)，可以對(duì)遺棄物進(jìn)行自動(dòng)檢測(cè)——當(dāng)物品在某個(gè)防區(qū)內(nèi)被放置或遺棄的時(shí)候自動(dòng)報(bào)警；智能跟蹤，可以使攝像機(jī)對(duì)自身的云臺(tái)和變焦鏡頭進(jìn)行自主PTZ驅(qū)動(dòng)。人體行為檢測(cè)應(yīng)用包括脫崗檢測(cè)(可以實(shí)現(xiàn)自動(dòng)檢測(cè)崗哨人員就位情況)、徘徊檢測(cè)(對(duì)重要區(qū)域人體徘徊檢測(cè))。智能交通應(yīng)用包括：對(duì)非法停留的交通工具進(jìn)行檢測(cè)，當(dāng)交通工具在防區(qū)內(nèi)非法停留時(shí)發(fā)出報(bào)警；車(chē)輛逆行檢測(cè)，及時(shí)辨別逆行車(chē)輛。

????? 隨著準(zhǔn)確率和可靠性逐步提高及產(chǎn)品成本的下降，智能視頻在越來(lái)越多的場(chǎng)合得到了應(yīng)用，它能夠替代部分安防設(shè)備，降低安保人員的工作強(qiáng)度，提高工作效率，減少管理成本。事實(shí)上，智能視頻的應(yīng)用具有非常巨大的潛力。隨著技術(shù)日趨成熟，智能視頻技術(shù)的應(yīng)用領(lǐng)域正在迅速擴(kuò)展，這些應(yīng)用主要包括上述的安防、交通以及零售、服務(wù)等行業(yè)，如人數(shù)統(tǒng)計(jì)、人臉識(shí)別、人群控制、注意力控制和交通流量控制等。

????? 實(shí)時(shí)視頻監(jiān)測(cè)的需求正在快速增長(zhǎng)，特別是隨著實(shí)時(shí)安全監(jiān)控應(yīng)用的需求增加，實(shí)時(shí)發(fā)現(xiàn)安全隱患或目標(biāo)異常行為的功能已經(jīng)具有越來(lái)越重要的現(xiàn)實(shí)意義，智能視頻監(jiān)測(cè)系統(tǒng)產(chǎn)品在這種日益增長(zhǎng)的需求帶動(dòng)下，正在成為視頻監(jiān)控應(yīng)用的新熱點(diǎn)。特別是隨著半導(dǎo)體技術(shù)的進(jìn)步，例如以Blackfin匯聚式處理器為代表的先進(jìn)嵌入式解決平臺(tái)方案的推出，具有極高性?xún)r(jià)比和極高實(shí)用性的智能視頻分析設(shè)備不斷推出，并在一些關(guān)鍵應(yīng)用中發(fā)揮極為重要的作用。

?????

?支持哪些嵌入式操作系統(tǒng)。智能視頻分析通常是基于網(wǎng)絡(luò)的應(yīng)用，必須要操作系統(tǒng)的支持，因此選擇具有廣泛嵌入式系統(tǒng)支持能力的解決方案非常重要，這樣能確保未來(lái)產(chǎn)品在更換操作系統(tǒng)時(shí)不至于必須更換硬件平臺(tái)，保證研發(fā)成果的持續(xù)可用性。目前可用的嵌入式操作系統(tǒng)眾多，各具優(yōu)勢(shì)，硬件平臺(tái)方案對(duì)這些操作系統(tǒng)的支持能力是進(jìn)行方案選型的考慮要點(diǎn)之一。例如，Blackfin處理器可以支持目前主流的操作系統(tǒng)，包括uCLinux、ThreadX、Nucleus，uCOS-II等十多種嵌入式操作系統(tǒng)，客戶(hù)完全可以根據(jù)其自身要求選擇其熟悉的或更具成本效益的軟件架構(gòu)基礎(chǔ)。

???????

二、開(kāi)發(fā)工具和可用資源
????? 智能視頻監(jiān)控設(shè)備是一個(gè)復(fù)雜的系統(tǒng)，涉及到復(fù)雜的軟硬件設(shè)計(jì)、人機(jī)界面、通信連接等，具有較高的系統(tǒng)設(shè)計(jì)難度。因此，所選擇的硬件平臺(tái)方案是否能提供完善的開(kāi)發(fā)工具套件、必要的軟件模塊、成熟的參考設(shè)計(jì)、系統(tǒng)設(shè)計(jì)支持，以及是否有完整的設(shè)計(jì)生態(tài)系統(tǒng)等，對(duì)于是否能按期高質(zhì)量地完成系統(tǒng)設(shè)計(jì)非常關(guān)鍵。事實(shí)上，并不是所有平臺(tái)方案提供商都能提供這些支持。

????? 以Blackfin系列處理器為例，采用Blackfin處理器的硬件平臺(tái)從一般的DVR、IP攝像機(jī)、數(shù)字視頻監(jiān)控到智能視頻監(jiān)控，已經(jīng)被全球大量的設(shè)備企業(yè)的廣泛采用。Blackfin處理器獲得眾多企業(yè)的青睞，具有完整的開(kāi)發(fā)工具和參考設(shè)計(jì)等支持是其受廣泛歡迎的重要原因之一。ADI提供業(yè)界一流的工具、初學(xué)套件與支持，包括人們熟知的、能夠支持其他Blackfin處理器的ADI CROSSCORE?軟件與硬件工具，這些工具包括獲獎(jiǎng)的VisualDSP++?集成開(kāi)發(fā)與調(diào)試環(huán)境(IDDE)、仿真器，以及EZ-KIT Lite?評(píng)估版硬件。

????? 為提高開(kāi)發(fā)效率，降低開(kāi)發(fā)難度，開(kāi)發(fā)時(shí)應(yīng)盡量在已有的資源上進(jìn)行，比如開(kāi)放的例程，ADI為此提供了非常豐富的例程和資料。例如，ADI提供免費(fèi)的“Image Tool Box”圖像處理函數(shù)庫(kù)軟件包，該軟件包專(zhuān)門(mén)針對(duì)圖像處理應(yīng)用常用的數(shù)學(xué)函數(shù)進(jìn)行了優(yōu)化，供客戶(hù)在進(jìn)行應(yīng)用開(kāi)發(fā)時(shí)調(diào)用。ADI還提供完整的參考設(shè)計(jì)，以及由本地合作伙伴開(kāi)發(fā)的評(píng)估板、開(kāi)發(fā)工具、算法IP、應(yīng)用模塊，以及由第三方合作伙伴提供包括軟硬件在內(nèi)的全套交鑰匙方案。Blackfin處理器的視頻監(jiān)控應(yīng)用目前在中國(guó)已經(jīng)有多家具有豐富工程經(jīng)驗(yàn)的第三方合作伙伴，已經(jīng)建立完善的生態(tài)系統(tǒng)。

????? 以ADI在今年三月份宣布提供基于該公司Blackfin BF526C的完整的IP監(jiān)控和機(jī)器視覺(jué)攝像頭參考設(shè)計(jì)為例，該參考設(shè)計(jì)在單個(gè)匯聚處理器上提供了強(qiáng)大的視頻和音頻處理能力，為工程師提供了一個(gè)統(tǒng)一的軟件開(kāi)發(fā)環(huán)境，可以實(shí)現(xiàn)更快的系統(tǒng)調(diào)試和部署，以及更低的系統(tǒng)成本。該處理器提供了集成的音頻編解碼器、流式視頻和IP協(xié)議、片上DRAM存儲(chǔ)器以及針對(duì)10/100以太網(wǎng)、USB和SD存儲(chǔ)和本地RS-232端口的接口。這種完全可編程的解決方案可以滿(mǎn)足多種視頻壓縮標(biāo)準(zhǔn)，例如H.264和MPEG4，支持音頻G.729標(biāo)準(zhǔn)的編碼。支持從控制中心到相機(jī)的雙向語(yǔ)音通信，以及利用Pelo-P或Pelo-D協(xié)議的鏡頭平移、傾斜和拉伸動(dòng)作。該參考設(shè)計(jì)還提供一塊帶雙核BF561處理器的子卡，使系統(tǒng)能實(shí)現(xiàn)更高視頻分辨率，并提供實(shí)現(xiàn)高級(jí)視頻分析功能，如運(yùn)動(dòng)檢測(cè)和跟蹤。

應(yīng)用方案揭秘——億維東方智能網(wǎng)絡(luò)攝像機(jī)
????? 北京億維東方科技有限公司(Emvideo)是專(zhuān)業(yè)智能安防產(chǎn)品的方案提供商，也是美國(guó)ADI公司授權(quán)的第三方合作伙伴。億維東方目前有多款基于ADI Blackfin處理器為核心的硬件平臺(tái)的產(chǎn)品，其中“軟件＋硬件”交鑰匙的WiFi無(wú)線(xiàn)視頻監(jiān)控整體解決方案基于BF536＋BF561的雙處理器架構(gòu)，方案硬件結(jié)構(gòu)圖如圖3所示。

????? 其中BF536處理器作為主處理器，除負(fù)責(zé)完成音頻編碼、遠(yuǎn)程控制以及用戶(hù)交互控制等一些基本的管理與控制外，還負(fù)責(zé)嵌入式操作系統(tǒng)uClinux的運(yùn)行，以及先進(jìn)的智能視頻分析功能，可以完成安防、人體行為、智能交通等多種智能視頻分析。雙核BF561作為協(xié)處理器負(fù)責(zé)視頻編碼算法，其強(qiáng)大的視頻處理能力使得該方案實(shí)現(xiàn)了H.264基本類(lèi)@Level3.0和MPEG4 D1+CIF雙碼流的支持，未來(lái)更將可能擴(kuò)展到能夠支持H.264 D1+CIF的雙碼流。兩個(gè)處理器之間可以通過(guò)高速同步串行接口通訊，視頻信號(hào)首先進(jìn)入BF561處理器，采集編碼后的碼流發(fā)送到BF536處理器，然后通過(guò)網(wǎng)絡(luò)發(fā)送到客戶(hù)端進(jìn)行解碼顯示。

???????

????? 該方案采用了先進(jìn)的背景建模方法，能有效地克服光線(xiàn)變化、樹(shù)葉擺動(dòng)以及水面波紋等背景對(duì)前景目標(biāo)分析產(chǎn)生的干擾，實(shí)現(xiàn)準(zhǔn)確的前景檢測(cè)，同時(shí)在目標(biāo)跟蹤上采用了獨(dú)特的優(yōu)化算放，實(shí)現(xiàn)了在入侵檢測(cè)(包括區(qū)域警戒、絆線(xiàn)檢測(cè))的應(yīng)用上超過(guò)90%的準(zhǔn)確率。而所有這些都是基于BF536＋BF561雙處理器的硬件架構(gòu)所具有的強(qiáng)大處理能力來(lái)實(shí)現(xiàn)的。

????? 該方案的智能視頻分析功能由億維東方公司自主開(kāi)發(fā)，獨(dú)特的算法和豐富的智能視頻分析技術(shù)開(kāi)發(fā)經(jīng)驗(yàn)確保實(shí)現(xiàn)客戶(hù)的智能識(shí)別應(yīng)用需求，并為客戶(hù)提供包括軟件升級(jí)在內(nèi)的完善服務(wù)。由于智能視頻識(shí)別應(yīng)用目前并沒(méi)有任何可循的需求標(biāo)準(zhǔn)和測(cè)試標(biāo)準(zhǔn)，因此視頻分析方案通常需要針對(duì)客戶(hù)的應(yīng)用特點(diǎn)和需求進(jìn)行方案優(yōu)化。例如有些用戶(hù)是地鐵系統(tǒng)的，他們需要的功能是檢測(cè)是否跨越候車(chē)的黃線(xiàn)、人群密度是否過(guò)大、是否有可疑的遺留物體等；有些用戶(hù)是銀行系統(tǒng)的，他們所需要的是ATM機(jī)的智能監(jiān)控如分析是否有安裝假鍵盤(pán)、安裝吞卡器，在ATM機(jī)是否有暴力行為，是否出現(xiàn)犯罪分子的人臉等。利用該方案，客戶(hù)可以根據(jù)用戶(hù)的需求方便地進(jìn)行調(diào)整算法。智能視頻處理要求芯片具有強(qiáng)大的處理能力，有許多算法實(shí)現(xiàn)時(shí)得采用并行處理，Blackfin DSP在算法并行處理上具有獨(dú)特的優(yōu)勢(shì)，特別是ADSP-BF561的雙DSP核能夠?qū)崿F(xiàn)很復(fù)雜的智能視頻處理算法。這是傳統(tǒng)的MCU+ASIC或采用一般DSP方案所難以實(shí)現(xiàn)的。

????? 該方案的軟硬件都經(jīng)過(guò)了應(yīng)用驗(yàn)證，目前已經(jīng)由多家客戶(hù)進(jìn)行生產(chǎn)，目標(biāo)應(yīng)用將主要是政府行政效能監(jiān)測(cè)、教育系統(tǒng)等行業(yè)用戶(hù)。

智能視頻應(yīng)用設(shè)計(jì)攻略
????? 硬件平臺(tái)方案的選擇往往決定了系統(tǒng)的整體方案成本、性能、開(kāi)發(fā)工具和方法的可用性，以及方案未來(lái)持續(xù)升級(jí)的可行性等，因此方案平臺(tái)選型至關(guān)重要。智能視頻應(yīng)用自身的獨(dú)特性要求在硬件平臺(tái)的選擇上進(jìn)行綜合權(quán)衡。視頻監(jiān)控系統(tǒng)的網(wǎng)絡(luò)化和智能分析要求，以及大規(guī)模工程安裝對(duì)成本、體積和功耗的限制，非標(biāo)準(zhǔn)化的智能視頻分析方法和幾乎定制化的方案優(yōu)化方式，使得結(jié)合了MCU和DSP優(yōu)勢(shì)、具有軟件設(shè)計(jì)靈活性和強(qiáng)大處理能力的匯聚式處理器方案平臺(tái)體現(xiàn)出更加明顯的優(yōu)勢(shì)。本文將結(jié)合ADI公司獨(dú)特的Blackfin匯聚式DSP處理器的特點(diǎn)，分析智能視頻設(shè)計(jì)中主要的設(shè)計(jì)技術(shù)要點(diǎn)。

一、硬件平臺(tái)選型
????? 可定制化能力非常重要。有很多因素制約著視頻監(jiān)控系統(tǒng)智能化的應(yīng)用步伐：首先是智能監(jiān)控的視頻算法比較復(fù)雜，難于標(biāo)準(zhǔn)化，各個(gè)系統(tǒng)提供商的視頻分析軟件都有自己的獨(dú)特算法，導(dǎo)致市場(chǎng)上的產(chǎn)品沒(méi)有統(tǒng)一的標(biāo)準(zhǔn)；其次，視頻監(jiān)控系統(tǒng)的應(yīng)用場(chǎng)景比較復(fù)雜，用戶(hù)的要求多樣化，所以定制化的要求比較多。因此，視頻分析方案通常需要針對(duì)客戶(hù)的應(yīng)用特點(diǎn)和需求進(jìn)行方案優(yōu)化，采用的算法千差萬(wàn)別。此外，由于智能視頻應(yīng)用的高復(fù)雜性，對(duì)方案的處理能力提出了更高的要求。MCU+ASIC的視頻監(jiān)控傳統(tǒng)方案難以實(shí)現(xiàn)各種個(gè)性化的設(shè)計(jì)和高運(yùn)算能力要求，即使選擇普通DSP+MCU的雙芯片方案通常也難以滿(mǎn)足智能視頻監(jiān)控應(yīng)用的復(fù)雜運(yùn)算需求，需要增加協(xié)處理器，這種復(fù)雜的解決方案無(wú)論是BOM成本、功耗還是開(kāi)發(fā)難度都不足取。Blackfin處理器充分發(fā)揮了MCU+DSP匯聚式架構(gòu)的優(yōu)勢(shì)，滿(mǎn)足了智能視頻應(yīng)用的系統(tǒng)控制和高強(qiáng)度的運(yùn)算需求，特別是以BF561為代表的高性能雙內(nèi)核架構(gòu)已經(jīng)成為智能視頻應(yīng)用的首選方案平臺(tái)。

????? 方案的可擴(kuò)展性也是需要考慮的因素。智能視頻分析應(yīng)用除了需要針對(duì)應(yīng)用環(huán)境、應(yīng)用目的進(jìn)行方案優(yōu)化外，不同的客戶(hù)可能還有其他方面的不同需求。例如，當(dāng)前一些領(lǐng)先的數(shù)字視頻監(jiān)控方案實(shí)現(xiàn)了H.264基本類(lèi)@Level3.0和MPEG4 D1+CIF雙碼流的支持，未來(lái)可能擴(kuò)展到支持H.264 D1+CIF的雙碼流。隨著智能視頻分析的更廣泛應(yīng)用，如IP攝像機(jī)、無(wú)線(xiàn)視頻監(jiān)控、智能交通系統(tǒng)等，不同應(yīng)用都可能對(duì)各種接口功能、通信標(biāo)準(zhǔn)、用戶(hù)界面等的需求有較大的差異化，硬件平臺(tái)方案對(duì)各種需求的靈活擴(kuò)展性非常重要。同時(shí)，正如前文所述，智能視頻分析技術(shù)發(fā)展不過(guò)數(shù)年的時(shí)間，隨著技術(shù)的不斷成熟以及一些相關(guān)的標(biāo)準(zhǔn)的出臺(tái)和改進(jìn)，產(chǎn)品的可升級(jí)特性至關(guān)重要，既是開(kāi)發(fā)者須關(guān)注的問(wèn)題也是終端客戶(hù)關(guān)切的重要特性。Blackfin DSP在算法并行處理上具有獨(dú)特優(yōu)勢(shì)，特別是ADSP-BF561采用雙DSP核，能夠?qū)崿F(xiàn)很復(fù)雜的智能視頻處理算法。

????? 視頻應(yīng)用優(yōu)化特性。一些方案盡管具有較強(qiáng)的處理能力和可擴(kuò)展性，方案是否主要針對(duì)視頻應(yīng)用進(jìn)行過(guò)優(yōu)化設(shè)計(jì)也值得關(guān)注，因?yàn)檫@直接關(guān)系到設(shè)計(jì)工程師可用的軟硬件設(shè)計(jì)資源以及系統(tǒng)設(shè)計(jì)難度和可實(shí)現(xiàn)的性能。以Blackfin處理器為例，Blackfin為高強(qiáng)度、高數(shù)據(jù)率的數(shù)字和媒體處理做了專(zhuān)門(mén)優(yōu)化：Blackfin的幾十個(gè)DMA通道和可靈活配置的Cache很好地滿(mǎn)足了視頻監(jiān)控系統(tǒng)對(duì)大運(yùn)算量、高數(shù)據(jù)吞吐率的要求；ADI專(zhuān)門(mén)開(kāi)發(fā)了完全優(yōu)化的音視頻編解碼器，并免費(fèi)提供給大客戶(hù)；針對(duì)視頻應(yīng)用Blackfin集成了很多硬件驅(qū)動(dòng)，包括WiFi的驅(qū)動(dòng)、音/視頻編解碼器的驅(qū)動(dòng)；Blackfin的4個(gè)視頻算術(shù)運(yùn)算單元和視頻象素指令集大大加速了視頻運(yùn)算速度；在智能視頻分析的一些基礎(chǔ)算子中，例如直方圖統(tǒng)計(jì)、中值運(yùn)算、Sobel運(yùn)算、形態(tài)學(xué)中的膨脹運(yùn)算等都可以利用Blackfin的MIN、MAX指令來(lái)消除條件跳轉(zhuǎn)，節(jié)省處理器周期。不僅如此，Blackfin還支持13種非視頻數(shù)據(jù)的向量運(yùn)算。適當(dāng)設(shè)計(jì)數(shù)據(jù)結(jié)構(gòu)，在前背景分離、閾值計(jì)算和更新等多個(gè)環(huán)節(jié)都可以運(yùn)用Blackfin的特色指令讓智能視頻分析算法更快捷。這些本身就很有效的指令中，大部分指令都能夠并行執(zhí)行，使得Blackfin的處理能力再加倍。

????? 低功耗和穩(wěn)定性很重要?？紤]到智能視頻監(jiān)控設(shè)備通常都是一周7天，每天24小時(shí)運(yùn)行的，穩(wěn)定性和功耗也比較重要。在低功耗上，Blackfin處理器采用了多種節(jié)能技術(shù)：基于一種選通時(shí)鐘內(nèi)核設(shè)計(jì)，可按照逐條指令來(lái)選擇性地切斷功能單元的電源；支持多種針對(duì)所需CPU動(dòng)作極少期間的斷電模式；Blackfin處理器支持一種自含動(dòng)態(tài)電源管理電路，借助該電路即可對(duì)工作頻率和電壓進(jìn)行獨(dú)立控制，以滿(mǎn)足正在執(zhí)行的算法的性能要求；大多數(shù)Blackfin處理器都提供片上內(nèi)核穩(wěn)壓電路，并可在低至0.8V的電壓下工作。而B(niǎo)lackfin獨(dú)特的匯聚式處理架構(gòu)、90nm工藝等打下了其領(lǐng)先的低功耗處理的基礎(chǔ)。由于高處理能力，基于Blackfin平臺(tái)的系統(tǒng)方案可以減少主芯片數(shù)量，豐富的功能和接口可以滿(mǎn)足各種外設(shè)和功能擴(kuò)展需求，降低元器件數(shù)量，從而保證更高的穩(wěn)定可靠性。目前在同價(jià)位DSP中Blackfin DSP的低功耗特性和穩(wěn)定性是最好的。