人臉識(shí)別入門(mén)必讀相關(guān)文章匯總推薦

一 、人臉檢測(cè)/跟蹤

人臉檢測(cè)/跟蹤的目的是在圖像/視頻中找到各個(gè)人臉?biāo)诘奈恢煤痛笮?；?duì)于跟蹤而言，還需要確定幀間不同人臉間的對(duì)應(yīng)關(guān)系。

1. Robust Real-time Object Detection.Paul Viola,Michael Jones. IJCV 2004.

入選理由：

Viola的人臉檢測(cè)工作使得人臉檢測(cè)真正變得實(shí)時(shí)可用。他們發(fā)表了一系列文章，這篇是引用率最高的一篇。

2. Fast rotation invariant multi-view face detection based on real Adaboost.Bo Wu,Haizhou Ai,Chang Huang,Shihong Lao. AFGR 2004.

人選理由:

自viola之后，有很多改進(jìn)文章，這篇文章只是其中之一。之所以選擇這篇，是因?yàn)槠湄暙I(xiàn)點(diǎn)相對(duì)比較多：一是因?yàn)檫@篇文章第一次將real adaboost應(yīng)用于物體檢測(cè)，二是其提出了一個(gè)比較成熟實(shí)用的多姿態(tài)人臉檢測(cè)框架，三是其提出的nest結(jié)構(gòu)對(duì)cascade結(jié)構(gòu)的改進(jìn)確實(shí)有不錯(cuò)的效果。

3. Tracking in Low Frame Rate Video: A Cascade Particle Filter with Discriminative Observers of Different Life Spans.Yuan Li,Haizhou Ai,Yamashita T.,Shihong Lao. CVPR 2007.

入選理由：

人臉跟蹤是人臉識(shí)別中非常重要的模塊。這篇文章是比較好的將人臉檢測(cè)模型與跟蹤進(jìn)行結(jié)合，將離線模型和在線模型結(jié)合的工作，而且獲得了CVPR 2007 Best Student Paper，是中國(guó)大陸學(xué)生第一次獲此殊榮。

二、人臉特征點(diǎn)定位

人臉特征點(diǎn)定位的目的是在人臉檢測(cè)/跟蹤獲取的人臉區(qū)域的基礎(chǔ)上，進(jìn)一步，確定臉部特征點(diǎn)（眼睛、嘴巴中心點(diǎn)、眼睛、嘴巴輪廓特征點(diǎn)、器官輪廓特征點(diǎn)等）的位置。人臉特征點(diǎn)定位的基本思路，主要是將人臉局部器官的紋理特征和器官特征點(diǎn)之間的位置約束進(jìn)行結(jié)合來(lái)進(jìn)行處理。

4. Active Shape Models-Their Training and Application. T. F. COOTES, C. J. TAYLOR, D. H. COOPER, AND J. GRAHA. COMPUTER VISION AND IMAGE UNDERSTANDING. 1995.

入選理由：

早期的人臉特征點(diǎn)定位，很多工作主要集中在定位眼球中心點(diǎn)和嘴巴中心點(diǎn)等兩三個(gè)關(guān)鍵點(diǎn)上，但是，后來(lái)慢慢大家認(rèn)為，引入更多的點(diǎn)，并加入相互約束會(huì)提高定位精度和穩(wěn)定性。ASM是后來(lái)被大家所follow最多的將數(shù)十個(gè)臉部特征點(diǎn)的紋理和位置關(guān)系約束一起考慮來(lái)進(jìn)行計(jì)算的模型，COOTES的這篇文章發(fā)表于1995年，絕對(duì)是開(kāi)先河之作，絕對(duì)經(jīng)典。

5. Boosted Regression Active Shape Models. David Cristinacce and Tim Cootes. BMVC, 2007.

入選理由：

ASM相關(guān)改進(jìn)的文章非常多，最值得一提的當(dāng)然是AAM（也是cootes最早提出）模型，除此之外還有一個(gè)非常重要的思路，就是改進(jìn)原文章基于邊緣的紋理模型。個(gè)人認(rèn)為，這篇文章中所給出的基于回歸方式表示紋理模型的方式比基于分類(lèi)表觀模型的方法更有前途，因?yàn)槭莄ootes的文章，自然就更應(yīng)該被推薦。

6. Face Alignment by Explicit Shape Regression. Xudong Cao, Yichen Wei, Fang Wen, Jian Sun. CVPR 2012.

入選理由：

這篇文章是上述提到的ASM相關(guān)改進(jìn)的另外一個(gè)方向，就是對(duì)形狀模型本身的改進(jìn)。這篇文章沒(méi)有用PCA去約束形狀模型，而是基于訓(xùn)練樣本的線性組合來(lái)約束形狀。而且，其在alignment的效果(LFPW測(cè)試集)上是目前看到最好的，此外，這個(gè)方法的速度非?？?。由于是MSRA孫劍組的文章，確實(shí)應(yīng)該被關(guān)注更多。

三、人臉表示

人臉表示是指根據(jù)人臉特征點(diǎn)的位置，對(duì)人臉進(jìn)行幾何校正并割取人臉區(qū)域（歸一化到固定大?。┲?，得到最具有鑒別（區(qū)分）能力的特征的過(guò)程。

7. Eigenfaces for recognition. M. Turk and A. Pentland. Journal of Cognitive Neuroscience. 1991.

入選理由：

這需要理由嗎？基于PCA的特征臉是人臉識(shí)別最經(jīng)典的算法之一，雖然今天PCA在實(shí)際系統(tǒng)中更多的是用來(lái)降維，而不是用來(lái)分類(lèi)，但是這么經(jīng)典的方法還是要關(guān)注的。其實(shí)，基于LDA的方法也非常經(jīng)典，不過(guò)，考慮到篇幅有限，就不再列舉了。

8. Local Gabor Binary Pattern Histogram Sequence (LGBPHS):

A Novel Non-Statistical Model for Face Representation and Recognition

入選理由：

個(gè)人認(rèn)為這可能是最接近于很多成熟商用系統(tǒng)思路的文章（不等同于實(shí)際系統(tǒng)就是這樣）。在很多實(shí)際系統(tǒng)中，一個(gè)提取鑒別信息的框架就是PCA+LDA,用PDA進(jìn)行降維避免LDA求解的矩陣奇異問(wèn)題，然后用LDA提取更適合分類(lèi)的特征；進(jìn)一步，將各種原始特征(Gabor, LBP等)進(jìn)行鑒別特征提取后進(jìn)行決策級(jí)融合。此外，對(duì)人臉進(jìn)行分塊然后ensemble融合也是非常重要的提高系統(tǒng)效果的思路。

9. Blessing of Dimensionality: High-dimensional Feature and Its Efficient Compression for Face Verification. Dong Chen. Xudong Cao. Fang Wen. Jian Sun.CVPR 2013.

入選理由：

LFW是目前最接近實(shí)際數(shù)據(jù)的人臉識(shí)別庫(kù)，雖然其測(cè)試協(xié)議有一些不盡合理的地方，但是如果能在LFW上面取得非常好的效果，說(shuō)明方法還是比較好的。而這篇MSRA孫劍組發(fā)表在CVPR2013的文章，在LFW上面取得了93%的準(zhǔn)確率（未引入外部數(shù)據(jù)的情況下）。文章中的一個(gè)是采用精確定位點(diǎn)作為參考對(duì)人臉進(jìn)行多尺度、多局部區(qū)域的表示思路很值得借鑒，可以和各種表示方法結(jié)合。

10，其實(shí)可以列在此處的論文非常多，有各種子空間方法的改進(jìn)，有各種特征提取方法，有各種基于metric learning的方法，bunch graph（將gabor應(yīng)用于人臉識(shí)別的經(jīng)典工作），稀疏表示的方法，feature learning的方法等等。但是，我都感覺(jué)不是特別滿意。我總覺(jué)得，人臉表示方面的工作還做得遠(yuǎn)遠(yuǎn)不夠，應(yīng)該會(huì)有框架清晰簡(jiǎn)潔、易于實(shí)現(xiàn)、但效果絕佳的文章出現(xiàn)。現(xiàn)在的我會(huì)傾向于認(rèn)為也許deep learning是一個(gè)方向。

其實(shí)嘗試將deep learning用在人臉識(shí)別上面的工作已經(jīng)有一些，但是結(jié)果都不是很驚艷（百度的工作沒(méi)有公開(kāi)結(jié)果），我列上一篇不夠好但是效果勉強(qiáng)接近非deep learning方法的一篇：

Deep nonlinear metric learningwithindependent subspace analysisforface verification. X Cai, C Wang, B Xiao, X Chen, J Zhou. MM 2012.

人臉識(shí)別在未來(lái)的一些可能方向：

1，深度學(xué)習(xí)在人臉?lè)矫娴膽?yīng)用，目前已經(jīng)看到deep learning在人臉表示和人臉特征點(diǎn)定位方面的工作，相信后續(xù)會(huì)有更多更好的工作出現(xiàn)；

2，大規(guī)模人臉?biāo)阉飨嚓P(guān)的應(yīng)用近來(lái)開(kāi)始被大家關(guān)注（比如最近百度上線的人臉?biāo)阉鳎@些應(yīng)用中除了需要傳統(tǒng)的人臉表示，還需要關(guān)注如何能夠快速準(zhǔn)確地在大規(guī)模人臉數(shù)據(jù)庫(kù)中搜索到相似人臉，當(dāng)然這部分工作可以借鑒其他視覺(jué)搜索中的方法，但人臉可能也會(huì)有自己的特殊性；

3，基于3D模型和具有深度信息的人臉識(shí)別的方法，在允許使用特殊設(shè)備的實(shí)際應(yīng)用中，可以考慮用3D模型和深度信息來(lái)提高系統(tǒng)的穩(wěn)定性；

4，在做人臉識(shí)別實(shí)際系統(tǒng)時(shí)，可以更關(guān)注姿態(tài)、遮擋、表情變化對(duì)于識(shí)別效果的影響，對(duì)于人臉光照問(wèn)題，雖然之前學(xué)術(shù)界關(guān)注很多，但是對(duì)于實(shí)際數(shù)據(jù)（非實(shí)驗(yàn)室采集的光照模擬數(shù)據(jù)），可能基于大規(guī)模訓(xùn)練數(shù)據(jù)和feature learning就可以比較好的解決，反而是由于目前的人臉表示框架，對(duì)于大的姿態(tài)變化，遮擋以及表情變化引起的表觀改變，很多情況下表現(xiàn)并不好，可能需要重新改變目前的人臉表示方式，比如采用類(lèi)似推薦論文9中的方式，采用多個(gè)局部模型而不是一個(gè)整體模型來(lái)進(jìn)行表示，還可以考慮一些人臉姿態(tài)/表情矯正方法；

5，學(xué)術(shù)界的朋友，鑒于目前LFW上面已經(jīng)做到準(zhǔn)確率95%（引入外部訓(xùn)練數(shù)據(jù)且無(wú)約束訓(xùn)練協(xié)議），可以考慮創(chuàng)建一個(gè)更大的人臉庫(kù)（如果能達(dá)到真正意義上的大規(guī)模數(shù)據(jù)就更贊了），設(shè)計(jì)一個(gè)更加合理全面的評(píng)測(cè)協(xié)議，這必將成為一個(gè)非常有影響力的工作；

未來(lái)智能實(shí)驗(yàn)室是人工智能學(xué)家與科學(xué)院相關(guān)機(jī)構(gòu)聯(lián)合成立的人工智能，互聯(lián)網(wǎng)和腦科學(xué)交叉研究機(jī)構(gòu)。由互聯(lián)網(wǎng)進(jìn)化論作者，計(jì)算機(jī)博士劉鋒與中國(guó)科學(xué)院虛擬經(jīng)濟(jì)與數(shù)據(jù)科學(xué)研究中心石勇、劉穎教授創(chuàng)建。

未來(lái)智能實(shí)驗(yàn)室的主要工作包括：建立AI智能系統(tǒng)智商評(píng)測(cè)體系，開(kāi)展世界人工智能智商評(píng)測(cè)；開(kāi)展互聯(lián)網(wǎng)（城市）云腦研究計(jì)劃，構(gòu)建互聯(lián)網(wǎng)（城市）云腦技術(shù)和企業(yè)圖譜，為提升企業(yè)，行業(yè)與城市的智能水平服務(wù)。