恒遠(yuǎn)華動(dòng)態(tài)人臉采集與實(shí)時(shí)識(shí)別方案

本系統(tǒng)采用華為的 FusionInsight 大數(shù)據(jù)平臺(tái)架構(gòu)，與傳統(tǒng)的服務(wù)器架構(gòu)相比，數(shù)據(jù)處理能力大幅提升，主要優(yōu)勢如下：

支持海量數(shù)據(jù)處理，可支持百億級(jí)人臉庫

可實(shí)現(xiàn)數(shù)據(jù)存儲(chǔ)，處理，分析一體化結(jié)構(gòu)

實(shí)時(shí)性，基于 storm 集群的深度學(xué)習(xí)算法可實(shí)時(shí)處理識(shí)別，對(duì)比，搜索運(yùn)算

高效性，對(duì)于人像庫之間的查重對(duì)比，時(shí)間可縮短到原來的 1/10

安全性高，對(duì)網(wǎng)絡(luò)安全，數(shù)據(jù)安全，主機(jī)安全均可提供全面解決方案

業(yè)務(wù)背景

人臉識(shí)別，是基于人的臉部特征信息進(jìn)行身份識(shí)別的一種生物識(shí)別技術(shù)。用攝像機(jī)或攝像頭采集含有人臉的圖像或視頻流，并自動(dòng)在圖像中檢測和跟蹤人臉，進(jìn)而對(duì)檢測到的人臉進(jìn)行臉部的一系列相關(guān)技術(shù)，通常也叫做人像識(shí)別、面部識(shí)別。

我們的用戶在使用傳統(tǒng)的人臉識(shí)別系統(tǒng)過程中面臨以下幾個(gè)問題：

用戶目前只能從第三方獲取視頻數(shù)據(jù)，無法直接取到人臉照片

既要從視頻中實(shí)時(shí)提取人臉圖片，又要進(jìn)行實(shí)時(shí)比對(duì)

用戶要面對(duì)眾多廠商的攝像設(shè)備，而原有的攝像機(jī)拍攝角度很難滿足人臉抓拍的要求

用戶需要建立多種業(yè)務(wù)的人臉庫，總量達(dá)百億級(jí)

用戶需要經(jīng)常進(jìn)行大規(guī)模人臉庫之間的查重操作，以往處理一次需要幾個(gè)月的時(shí)間

針對(duì)上述問題，我們采用深度學(xué)習(xí)的人臉識(shí)別算法并基于華為的大數(shù)據(jù)平臺(tái)成功的為用戶解決了現(xiàn)有的問題，并大幅度提高了系統(tǒng)的性能。

解決方案介紹

1.系統(tǒng)的基本功能

實(shí)時(shí)接收。實(shí)時(shí)接收外部設(shè)備抓拍的人臉照片，保存到 HDFS 中。

實(shí)時(shí)人臉檢測。對(duì)抓拍的照片實(shí)時(shí)進(jìn)行人臉檢測和特征提取，將人臉特征存儲(chǔ)到抓拍人臉庫，并在數(shù)據(jù)庫中關(guān)聯(lián)人臉特征和抓拍的人臉照片，用于后續(xù)的檢索功能。

實(shí)時(shí)黑名單比對(duì)。將從實(shí)時(shí)抓拍照片中提取出的人臉特征與黑名單庫的記錄對(duì)比，如果抓拍的照片與黑名單庫的記錄匹配，則報(bào)警。

離線人臉識(shí)別。使用用戶提交的人臉照片，檢測出照片中的人臉，并提取人臉的特征，將特征與人臉注冊庫或人臉黑名單庫或人臉抓拍庫中的特征記錄對(duì)比，找出匹配的人。

人臉庫管理。可以手動(dòng)或自動(dòng)批處理建立人臉庫（注冊庫、黑名單庫和抓拍庫），對(duì)人臉庫可以進(jìn)行增加和刪除操作。

用戶接口。用戶可以通過 web 頁面進(jìn)行人臉庫的管理操作、離線人臉?biāo)阉鳌⒉樵冏ヅ挠涗?，人臉軌跡和接收黑名單報(bào)警等功能。

2.系統(tǒng)的設(shè)計(jì)性能

注冊人臉庫支持 1000 萬個(gè)人像記錄，并支持平滑擴(kuò)容至 100 億級(jí)人像記錄

注冊人臉庫的離線檢索時(shí)間要小于 10 秒

從接收到照片到完成重點(diǎn)黑名單庫的對(duì)比要小于2秒

根據(jù)業(yè)務(wù)需要，系統(tǒng)支持把抓拍庫的內(nèi)容錄入注冊庫

3.系統(tǒng)示意圖

4.系統(tǒng)的整體設(shè)計(jì)

本系統(tǒng)采用基于深度學(xué)習(xí)的人臉識(shí)別算法，通過多臺(tái)華為 FusionInsight 服務(wù)器集群和一臺(tái) WEB 服務(wù)器實(shí)現(xiàn)一個(gè)完整的人臉識(shí)別系統(tǒng)，并可根據(jù)需要進(jìn)行平滑擴(kuò)展。

本方案針對(duì)大型以及超大型人臉識(shí)別系統(tǒng)，人臉識(shí)別系統(tǒng)可對(duì)提交的照片進(jìn)行實(shí)時(shí)動(dòng)態(tài)識(shí)別或動(dòng)靜態(tài)比對(duì)。在方案中，系統(tǒng)可以自動(dòng)采集數(shù)據(jù)進(jìn)行對(duì)比處理，也可以是工作人員通過查詢終端提交人像圖片，系統(tǒng)會(huì)對(duì)提交的照片進(jìn)行特征提取，并與保存在內(nèi)存注冊庫中的人像圖片結(jié)構(gòu)化特征數(shù)據(jù)進(jìn)行快速匹配。最后，根據(jù)工作人員設(shè)定的相似度閾值顯示相關(guān)人員的身份信息。

01

系統(tǒng)的邏輯架構(gòu)

系統(tǒng)業(yè)務(wù)邏輯包含三塊內(nèi)容：

人臉采集系統(tǒng)：人臉采集系統(tǒng)包括專業(yè)人臉抓拍機(jī)和普通高清網(wǎng)絡(luò)攝像機(jī)+人臉檢測服務(wù)器，是將前端采集到的視頻圖片等非結(jié)構(gòu)化數(shù)據(jù)進(jìn)行分析處理，定位檢測獲取人臉圖片，并結(jié)合人員身份信息采集系統(tǒng)獲取人員身份信息進(jìn)行關(guān)聯(lián)管理。

人臉比對(duì)系統(tǒng)：人臉比對(duì)系統(tǒng)是對(duì)人臉采集系統(tǒng)傳輸?shù)臄?shù)據(jù)進(jìn)行智能分析處理，進(jìn)行人臉圖片建模、通過人臉眼睛、鼻子、嘴、下巴等局部構(gòu)成，對(duì)這些局部和它們之間結(jié)構(gòu)關(guān)系的幾何描述，進(jìn)行人臉特征數(shù)據(jù)提取入庫，并根據(jù)平臺(tái)業(yè)務(wù)需求進(jìn)行實(shí)時(shí)比對(duì)識(shí)別和事后人臉檢索應(yīng)用。

人臉庫：人臉庫包括人臉抓拍庫、人臉注冊庫、黑名單庫，其中抓拍庫包括場景下?lián)溉〉娜四樞D、人臉特征數(shù)據(jù)，是人臉采集系統(tǒng)采集的人臉圖片存儲(chǔ)庫，用于人臉比對(duì)系統(tǒng)進(jìn)行人臉圖片比對(duì)檢索；注冊庫包括標(biāo)準(zhǔn)人臉圖片、人員身份信息、人臉特征數(shù)據(jù)，是系統(tǒng)設(shè)定前批量導(dǎo)入的重點(diǎn)人員庫，用于人臉比對(duì)系統(tǒng)進(jìn)行人臉圖片比對(duì)檢索；黑名單庫是注冊庫中將部分重點(diǎn)人員進(jìn)行布控組成，用于實(shí)時(shí)比對(duì)人臉采集系統(tǒng)傳輸?shù)娜四槇D片。

02

人臉業(yè)務(wù)庫

系統(tǒng)數(shù)據(jù)庫應(yīng)包含三種業(yè)務(wù)庫：人臉抓拍庫、人臉注冊庫和黑名單庫。

人臉抓拍庫-包含抓拍現(xiàn)場圖片、人臉小圖和結(jié)構(gòu)化的人臉特征數(shù)據(jù)、抓拍地點(diǎn)、抓拍時(shí)間等信息，此類庫的主要業(yè)務(wù)應(yīng)用場景是圖片檢索比對(duì)，查詢目標(biāo)人員的人像出沒地點(diǎn)、時(shí)間等信息；

人臉注冊庫-主要是導(dǎo)入一些大規(guī)模的人像圖片、結(jié)構(gòu)化的人臉特征數(shù)據(jù)和身份信息，如一個(gè)地級(jí)市當(dāng)?shù)氐纳绫Ｈ讼裥畔斓?，?dǎo)入后主要的應(yīng)用場景是圖片檢索比對(duì)和身份信息查詢，確定人員身份；

黑名單庫-包含高危人員、特殊人員的人臉圖片、結(jié)構(gòu)化的人臉特征數(shù)據(jù)和人員身份信息，主要的應(yīng)用場景是在各個(gè)人臉卡口進(jìn)行實(shí)時(shí)人流的人臉比對(duì)預(yù)警。

一般來說人臉抓拍庫和人臉注冊庫做為靜態(tài)庫，適用于事后查詢檢索目標(biāo)、黑名單庫作為動(dòng)態(tài)庫，用于實(shí)時(shí)比對(duì)報(bào)警。一個(gè)或多個(gè)黑名單也可以進(jìn)行勾選布控，形成具有針對(duì)性的人臉布控庫，與前端實(shí)時(shí)視頻進(jìn)行人臉比對(duì)報(bào)警。

03

業(yè)務(wù)流程

系統(tǒng)數(shù)據(jù)流包含人臉實(shí)時(shí)比對(duì)和人臉歷史查詢。其中實(shí)時(shí)比對(duì)發(fā)生在事前或事中，當(dāng)系統(tǒng)發(fā)現(xiàn)有布控人員出現(xiàn)時(shí)，執(zhí)勤人員可以迅速作出反應(yīng)；歷史查詢則是針對(duì)事后重點(diǎn)人員排查，可通過可疑人員圖片查詢系統(tǒng)記錄的人員信息。

實(shí)時(shí)視頻人臉比對(duì)：普通高清網(wǎng)絡(luò)攝像機(jī)通過人臉檢測服務(wù)器或?qū)I(yè)人臉抓拍相機(jī)分析視頻中的人臉，提取人臉圖片轉(zhuǎn)發(fā)給平臺(tái)服務(wù)器，服務(wù)器通過智能算法，從抓拍的人臉中提取特征數(shù)據(jù)，與黑名單庫中的人臉特征數(shù)據(jù)庫進(jìn)行遍歷檢索，最后由平臺(tái)展現(xiàn)人臉比對(duì)結(jié)果。

圖片檢索人臉比對(duì)：通過平臺(tái)客戶端提交需檢索的人臉圖片，平臺(tái)服務(wù)器提取人臉圖片特征數(shù)據(jù)，與人臉抓拍庫或人臉注冊庫中的人臉特征數(shù)據(jù)進(jìn)行遍歷比對(duì)，最后由平臺(tái)展現(xiàn)比對(duì)結(jié)果。

04

華為大數(shù)據(jù)平臺(tái)

FusionInsight 是華為企業(yè)級(jí)大數(shù)據(jù)存儲(chǔ)、查詢、分析的統(tǒng)一平臺(tái)，能夠幫助用戶快速構(gòu)建海量數(shù)據(jù)信息處理系統(tǒng)，通過對(duì)巨量信息數(shù)據(jù)實(shí)時(shí)與非實(shí)時(shí)的分析挖掘，發(fā)現(xiàn)全新價(jià)值點(diǎn)。FusionInsight 解決方案由 5 個(gè)子產(chǎn)品 FusionInsight HD、FusionInsight MPPDB、FusionInsight Miner、FusionInsight Farmer 和 FusionInsight Manager 構(gòu)成。

FusionInsight HD：企業(yè)級(jí)的大數(shù)據(jù)處理環(huán)境，是一個(gè)分布式數(shù)據(jù)處理系統(tǒng)，對(duì)外提供大容量的數(shù)據(jù)存儲(chǔ)、分析查詢和實(shí)時(shí)流式數(shù)據(jù)處理能力。

FusionInsight MPPDB：企業(yè)級(jí)的MPP關(guān)系型數(shù)據(jù)庫，基于列存儲(chǔ)和MPP架構(gòu)，是為面向結(jié)構(gòu)化數(shù)據(jù)分析而設(shè)計(jì)開發(fā)的，能夠有效處理PB級(jí)別的數(shù)據(jù)量。

FusionInsight MPPDB在核心技術(shù)上跟傳統(tǒng)數(shù)據(jù)庫有巨大差別，可以解決很多行業(yè)用戶的數(shù)據(jù)處理性能問題，可以為超大規(guī)模數(shù)據(jù)管理提供高性價(jià)比的通用計(jì)算平臺(tái)，并可用于支撐各類數(shù)據(jù)倉庫系統(tǒng)、BI（Business Intelligence）系統(tǒng)和決策支持系統(tǒng)，統(tǒng)一為上層應(yīng)用的決策分析等提供服務(wù)。

FusionInsight Miner：企業(yè)級(jí)的數(shù)據(jù)分析平臺(tái)，基于華為FusionInsight HD的分布式存儲(chǔ)和并行計(jì)算技術(shù)，提供從海量數(shù)據(jù)中挖掘出價(jià)值信息的平臺(tái)。

FusionInsight Farmer：企業(yè)級(jí)的大數(shù)據(jù)應(yīng)用容器，為企業(yè)業(yè)務(wù)提供統(tǒng)一開發(fā)、運(yùn)行和管理的平臺(tái)。

FusionInsight Manager：企業(yè)級(jí)大數(shù)據(jù)的操作運(yùn)維提供，提供高可靠、安全、容錯(cuò)、易用的集群管理能力，支持大規(guī)模集群的安裝部署、監(jiān)控、告警、用戶管理、權(quán)限管理、審計(jì)、服務(wù)管理、健康檢查、問題定位、升級(jí)和補(bǔ)丁等功能。

分布式系統(tǒng)

HDFS 是 Hadoop 的分布式文件系統(tǒng)，實(shí)現(xiàn)大規(guī)模數(shù)據(jù)可靠的分布式讀寫。HDFS 針對(duì)的使用場景是數(shù)據(jù)讀寫具有“一次寫，多次讀”的特征，而數(shù)據(jù)“寫”操作是順序?qū)?，也就是在文件?chuàng)建時(shí)的寫入或者在現(xiàn)有文件之后的添加操作。HDFS 保證一個(gè)文件在一個(gè)時(shí)刻只被一個(gè)調(diào)用者執(zhí)行寫操作，而可以被多個(gè)調(diào)用者執(zhí)行讀操作。

分布式處理引擎

MapReduce 是 Hadoop 的核心，是 Google 提出的一個(gè)軟件架構(gòu)，用于大規(guī)模數(shù)據(jù)集（大于 1TB）的并行運(yùn)算。概念“Map（映射）”和“Reduce（化簡）”，及他們的主要思想，都是從函數(shù)式編程語言借來的，還有從矢量編程語言借來的特性。當(dāng)前的軟件實(shí)現(xiàn)是指定一個(gè) Map（映射）函數(shù)，用來把一組鍵值對(duì)映射成一組新的鍵值對(duì)，指定并發(fā)的 Reduce（化簡）函數(shù)，用來保證所有映射的鍵值對(duì)中的每一個(gè)共享相同的鍵組。

MapReduce 是用于并行處理大數(shù)據(jù)集的軟件框架。MapReduce 的根源是函數(shù)性編程中的 map 和 reduce 函數(shù)。Map 函數(shù)接受一組數(shù)據(jù)并將其轉(zhuǎn)換為一個(gè)鍵/值對(duì)列表，輸入域中的每個(gè)元素對(duì)應(yīng)一個(gè)鍵/值對(duì)。Reduce 函數(shù)接受 Map 函數(shù)生成的列表，然后根據(jù)它們的鍵縮小鍵/值對(duì)列表。MapReduce 起到了將大事務(wù)分散到不同設(shè)備處理的能力，這樣原本必須用單臺(tái)較強(qiáng)服務(wù)器才能運(yùn)行的任務(wù)，在分布式環(huán)境下也能完成了。

統(tǒng)一資料管理和調(diào)度

為了實(shí)現(xiàn)一個(gè) Hadoop 集群的集群共享、可伸縮性和可靠性，并消除早期 MapReduce框架中的 JobTracker 性能瓶頸，開源社區(qū)引入了統(tǒng)一的資源管理框架 YARN。YARN 分層結(jié)構(gòu)的本質(zhì)是 ResourceManager。這個(gè)實(shí)體控制整個(gè)集群并管理應(yīng)用程序向基礎(chǔ)計(jì)算資源的分配。

ResourceManager 將各個(gè)資源部分（計(jì)算、內(nèi)存、帶寬等）精心安排給基礎(chǔ) NodeManager（YARN 的每節(jié)點(diǎn)代理）。ResourceManager 還與Application Master 一起分配資源，與 NodeManager 一起啟動(dòng)和監(jiān)視它們的基礎(chǔ)應(yīng)用程序。在此上下文中，Application Master 承擔(dān)了以前的 TaskTracker 的一些角色，ResourceManager 承擔(dān)了 JobTracker 的角色。Application Master 管理一個(gè)在 YARN 內(nèi)運(yùn)行的應(yīng)用程序的每個(gè)實(shí)例。Application Master 負(fù)責(zé)協(xié)調(diào)來自 ResourceManager 的資源，并通過 NodeManager 監(jiān)視容器的執(zhí)行和資源使用（CPU、內(nèi)存等的資源分配）。請(qǐng)注意，盡管目前的資源更加傳統(tǒng)（CPU 核心、內(nèi)存），但未來會(huì)帶來基于手頭任務(wù)的新資源類型（比如圖形處理單元或?qū)Ｓ锰幚碓O(shè)備）。

從 YARN 角度講，Application Master 是用戶代碼，因此存在潛在的安全問題。YARN 假設(shè) Application Master 存在錯(cuò)誤或者甚至是惡意的，因此將它們當(dāng)作無特權(quán)的代碼對(duì)待。NodeManager 管理一個(gè) YARN 集群中的每個(gè)節(jié)點(diǎn)。

NodeManager 提供針對(duì)集群中每個(gè)節(jié)點(diǎn)的服務(wù)，從監(jiān)督對(duì)一個(gè)容器的終生管理到監(jiān)視資源和跟蹤節(jié)點(diǎn)健康。MRv1 通過插槽管理 Map 和 Reduce 任務(wù)的執(zhí)行，而 NodeManager 管理抽象容器，這些容器代表著可供一個(gè)特定應(yīng)用程序使用的針對(duì)每個(gè)節(jié)點(diǎn)的資源。

分布式數(shù)據(jù)庫

數(shù)據(jù)存儲(chǔ)使用 HBase 來承接，HBase 是一個(gè)開源的、面向列（Column-Oriented）、適合存儲(chǔ)海量非結(jié)構(gòu)化數(shù)據(jù)或半結(jié)構(gòu)化數(shù)據(jù)的、具備高可靠性、高性能、可靈活擴(kuò)展伸縮的、支持實(shí)時(shí)數(shù)據(jù)讀寫的分布式存儲(chǔ)系統(tǒng)。

存儲(chǔ)在 HBase 中的表的典型特征：

大表（BigTable）：一個(gè)表可以有上億行，上百萬列

面向列：面向列(族)的存儲(chǔ)、檢索與權(quán)限控制

稀疏：表中為空(null)的列不占用存儲(chǔ)空間

流處理服務(wù)

Apache Storm 是一個(gè)分布式、可靠、容錯(cuò)的實(shí)時(shí)流式數(shù)據(jù)處理的系統(tǒng)。在 Storm 中，先要設(shè)計(jì)一個(gè)用于實(shí)時(shí)計(jì)算的圖狀結(jié)構(gòu)，我們稱之為拓?fù)洌╰opology）。這個(gè)拓?fù)鋵?huì)被提交給集群，由集群中的主控節(jié)點(diǎn)（master node）分發(fā)代碼，將任務(wù)分配給工作節(jié)點(diǎn)（worker node）執(zhí)行。一個(gè)拓?fù)渲邪?spout 和 bolt 兩種角色，其中 spout 發(fā)送消息，負(fù)責(zé)將數(shù)據(jù)流以 tuple 元組的形式發(fā)送出去；而 bolt 則負(fù)責(zé)轉(zhuǎn)換這些數(shù)據(jù)流，在 bolt 中可以完成計(jì)算、過濾等操作，bolt 自身也可以隨機(jī)將數(shù)據(jù)發(fā)送給其他 bolt。由 spout 發(fā)射出的 tuple 是不可變數(shù)組，對(duì)應(yīng)著固定的鍵值對(duì)。

業(yè)務(wù)處理邏輯被封裝進(jìn) Storm 中的 topology 中。一個(gè) topology 是由一組 Spout 組件（數(shù)據(jù)源）和 Bolt 組件（邏輯處理）通過 Stream Groupings 進(jìn)行連接的有向無環(huán)圖(DAG)。Topology 里面的每一個(gè) Component（Spout/Bolt）節(jié)點(diǎn)都是并行運(yùn)行的。 在 topology 里面， 可以指定每個(gè)節(jié)點(diǎn)的并行度， storm 則會(huì)在集群里面分配相應(yīng)的 Task 來同時(shí)計(jì)算，以增強(qiáng)系統(tǒng)的處理能力。

調(diào)用了華為哪些能力

使用 HBase 的 JAVA API 實(shí)現(xiàn)了對(duì) HBase 數(shù)據(jù)庫的表的創(chuàng)建、刪除和數(shù)據(jù)的增刪改功能。使用的 API 如下：

org.apache.hadoop.hbase.client.HBaseAdmin 類:

org.apache.hadoop.hbase.HTableDescriptor:

org.apache.hadoop.hbase.client.HTable:

org.apache.hadoop.hbase.client.Put

org.apache.hadoop.hbase.client.Get

使用了HDFS的JAVA API 實(shí)現(xiàn)了對(duì)HDFS上的照片文件的讀取

Kafka java api, 實(shí)現(xiàn)了 kafka 的生產(chǎn)者和消費(fèi)者，storm 的 spout 中實(shí)現(xiàn) kafka 消費(fèi)者，從 kafka 訂閱人臉照片，實(shí)現(xiàn)人臉照片的實(shí)時(shí)采集

消費(fèi)者 API：

生產(chǎn)者 API：

使用 stormAPI 實(shí)現(xiàn)對(duì)拓?fù)涞奶峤唬樵兒蛣h除操作

合作伙伴介紹

北京恒遠(yuǎn)華信息技術(shù)有限公司成立于 2001 年，公司自成立以來始終專注于政府行業(yè)和大型企事業(yè)單位的通信網(wǎng)絡(luò)及信息化建設(shè)，緊跟 IT 技術(shù)的發(fā)展，在云計(jì)算、存儲(chǔ)、數(shù)據(jù)網(wǎng)絡(luò)、WLAN、數(shù)據(jù)中心建設(shè)和智能光網(wǎng)絡(luò)建設(shè)方面能提供最新的極具競爭力的產(chǎn)品解決方案及服務(wù)。恒遠(yuǎn)華多年來一直以華為為最重要的合作伙伴，與華為攜手承建過多項(xiàng)國家級(jí)重點(diǎn)通信工程。

近年來，隨著華為大數(shù)據(jù)平臺(tái)的建設(shè)量的增加出現(xiàn)了基于大數(shù)據(jù)平臺(tái)的人臉識(shí)別需求，恒遠(yuǎn)華基于華為大數(shù)據(jù)平臺(tái)開發(fā)了專門針對(duì)特定行業(yè)的人臉識(shí)別業(yè)務(wù)，獲得行業(yè)內(nèi)的積極評(píng)價(jià)。