人臉識別經典算法三：Fisherface（LDA）

Fisherface是由Ronald Fisher發(fā)明的，想必這就是Fisherface名字由來。Fisherface所基于的LDA（Linear Discriminant Analysis，線性判別分析）理論和特征臉里用到的PCA有相似之處，都是對原有數據進行整體降維映射到低維空間的方法，LDA和PCA都是從數據整體入手而不同于LBP提取局部紋理特征。如果閱讀本文有難度，可以考慮自學斯坦福公開課機器學習或者補充線代等數學知識。

同時作者要感謝cnblogs上的大牛JerryLead，本篇博文基本摘自他的線性判別分析（Linear Discriminant Analysis）[1]。

1、數據集是二類情況

通常情況下，待匹配人臉要和人臉庫內的多張人臉匹配，所以這是一個多分類的情況。出于簡單考慮，可以先介紹二類的情況然后拓展到多類。假設有二維平面上的兩個點集x（x是包含橫縱坐標的二維向量），它們的分布如下圖（1）（分別以藍點和紅點表示數據）：

原有數據是散布在平面上的二維數據，如果想用一維的量（比如到圓點的距離）來合理的表示而且區(qū)分開這些數據，該怎么辦呢？一種有效的方法是找到一個合適的向量w（和數據相同維數），將數據投影到w上（會得到一個標量，直觀的理解就是投影點到坐標原點的距離），根據投影點來表示和區(qū)分原有數據。以數學公式給出投影點到到原點的距離：?y=wTx。圖（1）給出了兩種w方案，w以從原點出發(fā)的直線來表示，直線上的點是原數據的投影點。直觀判斷右側的w更好些，其上的投影點能夠合理的區(qū)分原有的兩個數據集。但是計算機不知道這些，所以必須要有確定的方法來計算這個w。

首先計算每類數據的均值（中心點）：

這里的i是數據的分類個數，Ni代表某個分類下的數據點數，比如u1代表紅點的中心，u2代表藍點的中心。

數據點投影到w上的中心為：

如何判斷向量w最佳呢，可以從兩方面考慮：1、不同的分類得到的投影點要盡量分開；2、同一個分類投影后得到的點要盡量聚合。從這兩方面考慮，可以定義如下公式：

J(w)代表不同分類投影中心的距離，它的值越大越好。

上式稱之為散列值（scatter matrixs），代表同一個分類投影后的散列值，也就是投影點的聚合度，它的值越小代表投影點越聚合。

結合兩個公式，第一個公式做分子另一個做分母：

上式是w的函數，值越大w降維性能越好，所以下面的問題就是求解使上式取最大值的w。

把散列函數展開：

可以發(fā)現(xiàn)除w和w^T外，剩余部分可以定義為：

其實這就是原數據的散列矩陣了，對不對。對于固定的數據集來說，它的散列矩陣也是確定的。

另外定義：

Sw稱為Within-class scatter matrix。

回到

展開J(w)的分子并定義SB，SB稱為Between-class scatter。

這樣就得到了J(w)的最終表示：