萊迪思技術專家分享：基于FPGA的視頻監(jiān)控時代

　　作者：萊迪思半導體公司 Kambiz Khalilian

　　視頻監(jiān)控市場及發(fā)展趨勢

　　不斷升級的安全問題迫使各國政府和機構(gòu)在監(jiān)控和安全設備上投入巨資。此外，在圖像及視頻處理領域的技術創(chuàng)新徹底改變了視頻監(jiān)控行業(yè)，這不限于安防，還包括銀行、交通、教育、零售、醫(yī)療保健，游戲和其他領域。根據(jù)ABI Research的預測，整個視頻監(jiān)控市場的收入將從2008年的16億美元增加到2015年的29億美元，有9％的復合年增長率。

　　視頻監(jiān)控已經(jīng)從模擬標準清晰度攝像機和VCR轉(zhuǎn)變到兆像素的高清攝像機，以及DVR到通過以太網(wǎng)的IP網(wǎng)絡攝像機的視頻流，到基于云計算的網(wǎng)絡視頻錄像機（NVR）。取代了現(xiàn)場觀看，連續(xù)記錄和通過記錄材料的可視化搜索，智能攝像機和錄像機目前已能夠?qū)嵤┗谑录匿浵窈蛨缶|發(fā)，并通過記錄材料自動搜索。

　　這些先進的安防和監(jiān)控設備與先進的圖像傳感器技術和半導體的圖像信號處理功能緊密結(jié)合。這些包括攝像機的架構(gòu)，傳感器接口/傳感器橋接、圖像信號處理、高動態(tài)范圍（HDR）處理和視頻分析。

　　攝相機的體系結(jié)構(gòu)

　　一個典型的攝相機由圖像傳感器，圖像信號處理器和一些輸出接口所組成。除了這些功能塊之外，攝相機還可以包括視頻壓縮或視頻分析功能。圖1示展示了LatticeECP3 FPGA器件上實現(xiàn)兆像素網(wǎng)絡攝像機的一個實例。

　　圖1 用FPGA實現(xiàn)的攝相機架構(gòu)

　　傳感器接口/傳感器橋接

　　通常圖像信號處理器（ISP）有一個或多個圖像傳感器接口。最常見的圖像傳感器是CMOS傳感器。較低的分辨率和較低的幀速率傳感器可以通過并行接口連接到ISP。更高分辨率和更高幀速率的圖像傳感器需要高速的接口，包括MIPI、Aptina HiSPi或sub-LVDS接口。低成本的ISP通常只支持一個并行接口。因此，傳感器橋接功能必須能夠轉(zhuǎn)換MIPI、HiSPi sub-LVDS信號至并行接口。低成本的FPGA可用于轉(zhuǎn)換MIPI、HiSPi或sub-LVDS接口至并行接口。在圖2中，萊迪思的MachXO2 FPGA用于轉(zhuǎn)換來自兩個Aptina圖像傳感器（MT9034）的HiSPi傳感器信號到一個并行格式，然后用TI DSP器件（DM8127）進行處理。

　　圖2 使用FPGA的傳感器接口橋接應用

　　圖像信號處理（ISP）

　　圖像信號處理器（ISP）通常由多個視頻處理算法組成，對輸入的視頻流，以集束流水線的形式執(zhí)行圖像增強和轉(zhuǎn)換功能。圖像流水線可以實現(xiàn)為軟件在計算機，F(xiàn)PGA或數(shù)字信號處理器（DSP）上運行，或作為一個專用應用標準產(chǎn)品（ASSP）。

　　圖3 用FPGA實現(xiàn)的圖像信號處理器（ISP）流水線

　　圖3中展示了一個典型的圖像處理流水線。從CMOS圖像傳感器接收到原始的傳感器數(shù)據(jù)。線性化之后，根據(jù)與它們相鄰的像素值校正有缺陷的傳感器像素。典型的圖像傳感器提供了灰度圖像，通過使用bayer濾波器（稱為de-bayering）轉(zhuǎn)換成紅，綠和藍色。彩色校正矩陣（CCM）用來消除紅色，綠色和藍色像素之間的色度亮度干擾。

　　自動曝光（AE）模塊自動調(diào)整曝光時間，以彌補不斷變化的光照情況。HDR算法改進了圖像的亮和暗區(qū)域的對比度（HDR將在下一節(jié)中做更詳細的解釋）。自動白平衡（AWB）根據(jù)場景中的一個白色參考點對所有顏色作出調(diào)整。噪聲減小器消除噪聲，在不同的平滑顏色的區(qū)域?？梢娪忻黠@錯誤顏色的隨機點。噪聲隨著溫度和曝光時間而增大。伽瑪校正重新分配原本的攝相機色調(diào)級到更均勻的和更適合人眼觀看的水準，從而最有效地使用一個給定位的深度。

　　重疊功能使得文本和圖形能夠在視頻的頂部重疊，用于顯示菜單或攝相機的設置。根據(jù)特定的要求，可以添加額外的功能模塊?？梢宰兓瘔嚎s算法H.264或JPEG來達到這些要求，可運用運動檢測、目標檢測，或人臉識別來進行智能視頻分析。