一文解析人臉識(shí)別算法的廣泛分類及構(gòu)建塊

作者：Akshat Agarwal，Ipshita Biswas

自遠(yuǎn)古以來(lái)，人臉一直是最直接的識(shí)別標(biāo)準(zhǔn)。因此，看到它成為最方便的生物識(shí)別技術(shù)就不足為奇了。與其他生物識(shí)別方法（例如語(yǔ)音，指紋，手形，掌紋）不同，分析面部不需要與所討論的對(duì)象進(jìn)行積極配合。面部識(shí)別可以通過(guò)照片，視頻或?qū)崟r(shí)捕獲來(lái)完成。

人臉識(shí)別是一個(gè)廣泛的術(shù)語(yǔ)，用于識(shí)別或驗(yàn)證照片和視頻中的人物。該方法包括檢測(cè)，對(duì)準(zhǔn)，特征提取和識(shí)別。

盡管存在一些實(shí)際挑戰(zhàn)，面部識(shí)別仍在醫(yī)療，執(zhí)法，鐵路預(yù)訂，安全，家庭自動(dòng)化和辦公室等各個(gè)領(lǐng)域得到廣泛使用。

在這篇文章中，您將發(fā)現(xiàn)以下內(nèi)容：

什么是面部識(shí)別？

人臉識(shí)別算法的廣泛分類

面部識(shí)別系統(tǒng)的各個(gè)階段

面部識(shí)別構(gòu)建塊概述

看一下人臉識(shí)別SDK

什么是面部識(shí)別？

面部識(shí)別是一種生物識(shí)別技術(shù)，該軟件使用深度學(xué)習(xí)算法來(lái)分析個(gè)人的面部特征并存儲(chǔ)數(shù)據(jù)。然后，該軟件將照片，視頻或?qū)崟r(shí)捕獲的各種面孔與數(shù)據(jù)庫(kù)存儲(chǔ)的面孔進(jìn)行比較，并驗(yàn)證身份。通常，該軟件可以識(shí)別一個(gè)人的臉上大約80個(gè)不同的節(jié)點(diǎn)。節(jié)點(diǎn)用作定義個(gè)人面部變量的端點(diǎn)。這些變量包括–嘴唇的形狀，眼睛，鼻子的長(zhǎng)度和寬度以及眼窩的深度。

與其他生物識(shí)別技術(shù)相比，面部識(shí)別的普及是由于這樣的事實(shí)，即它通常趨于更準(zhǔn)確且侵入性最小。

面部識(shí)別算法的分類面部識(shí)別是一種識(shí)別已經(jīng)在數(shù)據(jù)庫(kù)中注冊(cè)的面部的技術(shù)。面部識(shí)別系統(tǒng)廣泛地涉及兩個(gè)任務(wù)-驗(yàn)證和識(shí)別。

圖1：人臉驗(yàn)證

驗(yàn)證旨在回答以下問(wèn)題：“他是他聲稱的那個(gè)人嗎？”當(dāng)某人聲稱自己是特定人時(shí)，驗(yàn)證系統(tǒng)會(huì)在數(shù)據(jù)庫(kù)中找到其個(gè)人資料。它將人的臉與數(shù)據(jù)庫(kù)中顯示的個(gè)人資料中的臉進(jìn)行比較，以檢查它們是否匹配。這是一個(gè)1對(duì)1的匹配系統(tǒng)，因?yàn)樵撓到y(tǒng)必須將個(gè)人的臉部與鏈接的個(gè)人資料中已經(jīng)存在的特定臉部進(jìn)行匹配。因此，驗(yàn)證比識(shí)別更快，更準(zhǔn)確。

圖2：人臉識(shí)別

在人臉識(shí)別中，系統(tǒng)嘗試對(duì)照其數(shù)據(jù)庫(kù)中存在的所有人臉來(lái)檢查輸入人臉。這是一對(duì)一的匹配系統(tǒng)。

面部識(shí)別系統(tǒng)的各個(gè)階段

讓我們談?wù)劽娌孔R(shí)別系統(tǒng)的兩個(gè)階段：注冊(cè)和識(shí)別。

圖3：面部識(shí)別階段I

在第一階段或注冊(cè)階段，將注冊(cè)一組已知的面孔。然后，特征提取器為每個(gè)注冊(cè)人臉生成唯一的特征向量。基于每個(gè)臉部的獨(dú)特臉部特征來(lái)生成特征向量。提取的特征向量（對(duì)于每個(gè)人臉都是唯一的）成為已注冊(cè)數(shù)據(jù)庫(kù)的一部分，可用于將來(lái)參考。

圖4：面部識(shí)別階段II

在識(shí)別階段，將輸入圖像提供給特征提取器以執(zhí)行面部識(shí)別。在此，特征提取器也生成對(duì)于輸入面部圖像唯一的特征向量。然后將該特征向量與數(shù)據(jù)庫(kù)中已經(jīng)可用的特征向量進(jìn)行比較?！盎谔卣鞯姆诸悺眽K比較輸入人臉的人臉特征與數(shù)據(jù)庫(kù)的已注冊(cè)人臉之間的距離。當(dāng)注冊(cè)的面部滿足匹配標(biāo)準(zhǔn)時(shí)，基于特征的分類將返回在數(shù)據(jù)庫(kù)中找到的匹配面部ID。

面部識(shí)別系統(tǒng)的組成部分

面部識(shí)別系統(tǒng)的主要組件是：面部檢測(cè)，界標(biāo)檢測(cè)，生動(dòng)度檢測(cè)，面部識(shí)別模塊（面部識(shí)別，面部識(shí)別/面部驗(yàn)證）。

圖5：面部識(shí)別模塊

首先，來(lái)自視頻流的圖像或幀被發(fā)送到面部檢測(cè)模塊，在此從輸入圖像中檢測(cè)面部。作為輸出，它將發(fā)送檢測(cè)到的面部的邊界框坐標(biāo)。這里要注意的是，即使人臉檢測(cè)器定位了圖像的人臉并為每個(gè)人臉創(chuàng)建了邊框，它也不能保證人臉的正確對(duì)齊，并且人臉綁定框會(huì)發(fā)生抖動(dòng)。因此，需要面部預(yù)處理階段以獲得有效的面部向量。該階段有助于提高系統(tǒng)的面部檢測(cè)能力。

人臉預(yù)處理在界標(biāo)檢測(cè)塊中完成，界標(biāo)檢測(cè)塊可識(shí)別參考點(diǎn)在眼睛，鼻子，嘴唇，下巴，下巴等人臉上的位置（也稱為基準(zhǔn)界標(biāo)點(diǎn)）。然后，將這些檢測(cè)到的臉部界標(biāo)補(bǔ)償為臉部的空間變化。這是通過(guò)識(shí)別面部的幾何結(jié)構(gòu)并基于各種轉(zhuǎn)換（例如平移縮放旋轉(zhuǎn)）獲得規(guī)范的對(duì)齊方式來(lái)完成的。這將輸出具有標(biāo)準(zhǔn)化規(guī)范坐標(biāo)的人臉緊邊界框。

在將對(duì)齊的臉部發(fā)送到臉部識(shí)別模塊之前，必須檢查臉部欺騙，以確保臉部是從圖像或視頻的實(shí)時(shí)供稿中獲取的，并且不是為了獲得未授權(quán)訪問(wèn)而被欺騙的臉部。活力檢測(cè)器執(zhí)行此檢查。

然后將圖像發(fā)送到下一個(gè)塊，即人臉識(shí)別塊。在成功完成人臉識(shí)別之前，此塊執(zhí)行一系列處理任務(wù)。第一步是人臉處理，這是處理輸入人臉內(nèi)類內(nèi)變化所必需的。這是必不可少的步驟，因?yàn)槲覀儾幌Ｍ娌孔R(shí)別器模塊因輸入面部圖像中存在的姿勢(shì)，表情，照度變化和遮擋等變化而分散注意力。解決輸入面中的類內(nèi)差異之后，下一個(gè)重要的處理步驟是特征提取。上面已經(jīng)討論了特征提取器的功能。

面部識(shí)別模塊的最后一步是面部匹配步驟，在該步驟中，將在最后一步中獲得的特征向量與數(shù)據(jù)庫(kù)中注冊(cè)的面部向量進(jìn)行比較。在該步驟中，計(jì)算相似度，并生成相似度分?jǐn)?shù)，根據(jù)需要將該相似度分?jǐn)?shù)進(jìn)一步用于面部識(shí)別或面部驗(yàn)證。

面部識(shí)別SDK示例

圖6：面部識(shí)別SDK的第一步

我們將使用PathPartner的可授權(quán)面部識(shí)別SDK軟件解決方案來(lái)展示如何實(shí)現(xiàn)準(zhǔn)確的面部檢測(cè)和面部識(shí)別系統(tǒng)。該SDK包含機(jī)器學(xué)習(xí)和計(jì)算機(jī)視覺(jué)算法，可讓您執(zhí)行六個(gè)關(guān)鍵的人臉識(shí)別任務(wù)。

圖7：使用SDK執(zhí)行的六個(gè)面部識(shí)別任務(wù)

SDK有兩種變體：

低復(fù)雜度型號(hào)，型號(hào)大小低至10MB，適合內(nèi)存和處理能力低的終端設(shè)備。

高復(fù)雜度變量，模型大小為90MB，適用于全方位服務(wù)的邊緣設(shè)備。

該算法在德州儀器（TI），高通（Qualcomm），英特爾（Intel），ARM（ARM），恩智浦（NXP）等一系列嵌入式平臺(tái)上進(jìn)行了優(yōu)化，并且可以在云服務(wù)器平臺(tái)上進(jìn)一步工作。

圖8：SDK的構(gòu)建塊

開發(fā)基于CNN的面部識(shí)別系統(tǒng)

與基于非CNN的方法相比，基于CNN的方法更為可取，以便減少應(yīng)對(duì)諸如遮擋和不同照明條件等挑戰(zhàn)的精力。識(shí)別過(guò)程包括以下步驟：

數(shù)據(jù)采集

公開可用的數(shù)據(jù)集并未涵蓋對(duì)面部識(shí)別至關(guān)重要的所有評(píng)估參數(shù)。因此，這需要在許多標(biāo)準(zhǔn)和內(nèi)部數(shù)據(jù)集上進(jìn)行詳細(xì)的基準(zhǔn)測(cè)試，這些數(shù)據(jù)集涵蓋可用于人臉?lè)治龅母鞣N變化。此SDK支持以下變體：姿勢(shì)，照明，表情，遮擋，性別，背景，種族，年齡，眼睛，外觀。

深度學(xué)習(xí)模型設(shè)計(jì)

模型的復(fù)雜性取決于最終用戶的應(yīng)用程序。該SDK在駕駛員監(jiān)控系統(tǒng)（DMS）和智能考勤系統(tǒng)中實(shí)現(xiàn)。

駕駛員監(jiān)控系統(tǒng)：為了評(píng)估駕駛員的機(jī)敏性和實(shí)時(shí)關(guān)注，需要邊緣計(jì)算。因此，需要魯棒的，低復(fù)雜度的系統(tǒng)。在這里，機(jī)器學(xué)習(xí)模型用于面部檢測(cè)和界標(biāo)回歸，而淺層和深層CNN模型用于估計(jì)和分類。

培訓(xùn)和優(yōu)化

這些模塊在最初準(zhǔn)備的數(shù)據(jù)集中進(jìn)行了預(yù)訓(xùn)練。該解決方案已在各種開源數(shù)據(jù)集（例如FDDB，LFW和定制的內(nèi)部開發(fā)數(shù)據(jù)集）上進(jìn)行了測(cè)試。

克服各種挑戰(zhàn)

照明變化–為了克服由于照明條件變化而引起的問(wèn)題，采用了兩種方法。一種是使用基于甘特圖的方法將RGB轉(zhuǎn)換為類似NIR的圖像。另一個(gè)正在使用RGB數(shù)據(jù)訓(xùn)練模型，并在輸入端使用NIR圖像對(duì)其進(jìn)行微調(diào)。

姿勢(shì)和表情變化–如果可以從非正面視圖獲得面部圖像，則必須從一個(gè)或多個(gè)可用圖像中獲得面部圖像的規(guī)范視圖。這是通過(guò)基于界標(biāo)點(diǎn)估計(jì)相對(duì)于頭部角度的姿勢(shì)變化，然后使用傾斜，拉伸，鏡像和其他操作來(lái)獲得前額路線來(lái)實(shí)現(xiàn)的。這使得面部識(shí)別系統(tǒng)能夠輸出姿勢(shì)不變的表示，并顯著提高面部識(shí)別的準(zhǔn)確性。為了克服由于表情差異而產(chǎn)生的影響，在預(yù)處理階段執(zhí)行面部對(duì)齊。

遮擋–目前，SDK正在接受訓(xùn)練以檢測(cè)蒙面。在這種情況下，模型被訓(xùn)練為僅處理眼睛和額頭周圍的數(shù)據(jù)；但是，當(dāng)系統(tǒng)中注冊(cè)的人數(shù)有限時(shí)，這種方法在不受控制的環(huán)境（如辦公室設(shè)置）中可獲得最佳結(jié)果。

外觀變化–發(fā)型，老化和使用化妝品的差異會(huì)導(dǎo)致個(gè)人外觀的重大差異。因此，在很大程度上降低了面部識(shí)別精度。為了解決此問(wèn)題，SDK使用了對(duì)外觀變化具有魯棒性的表示和匹配方案。

圖9：即使沒(méi)有胡須也可以識(shí)別出的臉；PathPartner的面部識(shí)別模型可用于從汽車應(yīng)用程序（例如DMS）到零售應(yīng)用程序（可能包括客戶情感估計(jì)）的各個(gè)行業(yè)。

結(jié)論

如今，面部識(shí)別被認(rèn)為是所有生物特征測(cè)量中最自然的。深度學(xué)習(xí)已成為大多數(shù)正在開發(fā)的面部識(shí)別算法的核心組成部分。面部識(shí)別算法正在呈指數(shù)級(jí)增長(zhǎng)。根據(jù)NIST最近的一份報(bào)告，在過(guò)去的五年（2013-2018年）中，識(shí)別準(zhǔn)確性取得了巨大的進(jìn)步，超過(guò)了2010-2013年期間所取得的進(jìn)步。

盡管存在一些實(shí)際挑戰(zhàn)，但是面部識(shí)別技術(shù)已廣泛應(yīng)用于零售，汽車，銀行，醫(yī)療保健，市場(chǎng)營(yíng)銷等各個(gè)行業(yè)。面部識(shí)別算法除了提高識(shí)別人的準(zhǔn)確性外，還擴(kuò)展了其在檢測(cè)面部表情和行為方面的范圍。
編輯：hfy