貝葉斯分類器原理及應(yīng)用分析

　　貝葉斯分類器的分類原理是通過某對象的先驗概率，利用貝葉斯公式計算出其后驗概率，即該對象屬于某一類的概率，選擇具有最大后驗概率的類作為該對象所屬的類。

　　在具有模式的完整統(tǒng)計知識條件下，按照貝葉斯決策理論進行設(shè)計的一種最優(yōu)分類器。分類器是對每一個輸入模式賦予一個類別名稱的軟件或硬件裝置，而貝葉斯分類器是各種分類器中分類錯誤概率最小或者在預(yù)先給定代價的情況下平均風(fēng)險最小的分類器。它的設(shè)計方法是一種最基本的統(tǒng)計分類方法。

　　最小錯誤概率貝葉斯分類器

　　把代表模式的特征向量x分到c個類別（ω1，ω2，。。。，ωc）中某一類的最基本方法是計算在 x的條件下，該模式屬于各類的概率，用符號P（ω1|x），P（ω2|x），。。。，P（ωc|x）表示。比較這些條件概率，最大數(shù)值所對應(yīng)的類別ωi就是該模式所屬的類。例如表示某個待查細胞的特征向量 x屬于正常細胞類的概率是0.2，屬于癌變細胞類的概率是0.8，就把它歸類為癌變細胞。

　　貝葉斯分類器

　　上述定義的條件概率也稱為后驗概率，在特征向量為一維的情況下，一般有圖中的變化關(guān)系。當 x=x*時，P（ω1|x）=P（ω2|x）， 對于 x》x*的區(qū)域，由于P（ω2|x）》P（ω1|x）因此x屬ω2類，對于x《x*的區(qū)域，由于P（ω1|x）》P（ω2|x），x屬ω1類，x*就相當于區(qū)域的分界點。圖中的陰影面積就反映了這種方法的錯誤分類概率，對于以任何其他的 x值作為區(qū)域分界點的分類方法都對應(yīng)一個更大的陰影面積，因此貝葉斯分類器是一種最小錯誤概率的分類器

　　貝葉斯分類器

　　進行計算

　　一般情況下，不能直接得到后驗概率而是要通過貝葉斯公式進行計算。式中的P（x│ωi）為在模式屬于ωi類的條件下出現(xiàn)x的概率密度，稱為x的類條件概率密度；P（ωi）為在所研究的識別問題中出現(xiàn)ωi類的概率，又稱先驗概率；P（x）是特征向量x的概率密度。分類器在比較后驗概率時，對于確定的輸入x，P（x）是常數(shù)，因此在實際應(yīng)用中，通常不是直接用后驗概率作為分類器的判決函數(shù)gi（x）（見線性判別函數(shù)）而采用下面兩種形式：

　　公式

　　對所有的c個類計算gi（x）（i=1，2，。。。，c）。與gi（x）中最大值相對應(yīng)的類別就是x的所屬類別。

　　貝葉斯分類器工作原理原理

　　貝葉斯分類器是一種比較有潛力的數(shù)據(jù)挖掘工具，它本質(zhì)上是一種分類手段，但是它的優(yōu)勢不僅僅在于高分類準確率，更重要的是，它會通過訓(xùn)練集學(xué)習(xí)一個因果關(guān)系圖（有向無環(huán)圖）。如在醫(yī)學(xué)領(lǐng)域，貝葉斯分類器可以輔助醫(yī)生判斷病情，并給出各癥狀影響關(guān)系，這樣醫(yī)生就可以有重點的分析病情給出更全面的診斷。

　　進一步來說，在面對未知問題的情況下，可以從該因果關(guān)系圖入手分析，而貝葉斯分類器此時充當?shù)氖且环N輔助分析問題領(lǐng)域的工具。如果我們能夠提出一種準確率很高的分類模型，那么無論是輔助診療還是輔助分析的作用都會非常大甚至起主導(dǎo)作用，可見貝葉斯分類器的研究是非常有意義的。

　　一、知識脈絡(luò)

　　二、基本原理

　　貝葉斯決策論通過相關(guān)概率已知的情況下利用誤判損失來選擇最優(yōu)的類別分類。

　　“風(fēng)險”（誤判損失）= 原本為cj的樣本誤分類成ci產(chǎn)生的期望損失（如下式，概率乘以損失為期望損失）

　　為了最小化總體風(fēng)險，只需在每個樣本上選擇能夠使條件風(fēng)險R（c|x）最小的類別標記。

　　h*稱為貝葉斯最優(yōu)分類器，與之對應(yīng)的總體風(fēng)險為貝葉斯風(fēng)險，另lambda等于1時，最優(yōu)貝葉斯分類器是使后驗概率P（c|x）最大。

　　利用貝葉斯判定準則來最小化決策風(fēng)險，首先要獲得后驗概率P（c|x），機器學(xué)習(xí)則是基于有限的訓(xùn)練樣本集盡可能準確的估計出后驗概率P（c|x）。通常有兩種模型：1.“判別式模型”： 通過直接建模P（c|x）來預(yù)測（決策樹，BP神經(jīng)網(wǎng)絡(luò)，支持向量機）。2.“生成式模型”：通過對聯(lián)合概率模型P（x，c）進行建模，然后再獲得P（c|x）。

　　P（c）是類“先驗”概率，P（x|c）是樣本x相對于類標記條件概率，或稱似然。似然函數(shù)定義（對同一個似然函數(shù)，如果存在一個參數(shù)值，使得它的函數(shù)值達到最大的話，那么這個值就是最為“合理”的參數(shù)值?？蓞⒖糷ttp://www.cnblogs.com/kevinGaoblog/archive/2012/03/29/2424346.html）

　　對于P（c）而言代表樣本空間中各類樣本所占的比例，根據(jù)大數(shù)定理當訓(xùn)練集包含充足的獨立同分布樣本時，可通過各類樣本出現(xiàn)的頻率進行估計。對于P（x|c）而言，涉及關(guān)于所有屬性的聯(lián)合概率，無法根據(jù)樣本出現(xiàn)的頻率進行估計。

　　7.2極大似然估計

　　假設(shè)P（x|c）具有確定的形式并且被參數(shù)向量唯一確定，則我們的任務(wù)是利用訓(xùn)練集估計參數(shù)Qc，將P（x|c）記為P（x|Qc）。令Dc表示訓(xùn)練集D第c類樣本的集合，假設(shè)樣本獨立同分布，則參數(shù)Qc對于數(shù)據(jù)集Dc的似然是

　　連乘容易造成下溢，通常使用對數(shù)似然

　　注意。這種參數(shù)化的方法雖然能使類條件概率估計變得相對簡單，但是估計結(jié)果的準確性嚴重依賴所假設(shè)的概率分布形式是否符合潛在的真實數(shù)據(jù)分布。有限的數(shù)據(jù)集合難以直接估計其聯(lián)合概率分布。故此我們提出樸素貝葉斯分類器。

　　三、樸素貝葉斯分類器

　　為了避開聯(lián)合概率分布這一障礙，樸素貝葉斯分類器采用了“屬性條件獨立性假設(shè)”：對已知類別，假設(shè)所有屬性相互獨立。

　　若存在某個屬性值在訓(xùn)練的過程中沒有與某個類同時出現(xiàn)過，直接利用式子進行概率估計將會出錯。因為會存在某一屬性為概率0，導(dǎo)致無論其他屬性多好都將為零。為了避免上述產(chǎn)生的將某種未出現(xiàn)的屬性值抹去，在估計概率時可進行“平滑”（smoothing），常用“拉普拉斯修正”。具體來說可以令N表示訓(xùn)練集D中可能的類別數(shù)，Ni表示第ｉ個屬性可能的取值數(shù)。

　　拉普拉斯修正避免了因訓(xùn)練集樣本不充分而導(dǎo)致概率估值為零的問題，并且在訓(xùn)練集變大時，修正過程所引入的先驗（prior）的影響也會逐漸變得可忽略，使得估值逐漸趨于實際的概率值。

　　在現(xiàn)實任務(wù)中樸素貝葉斯分類器有很多種使用方式。對預(yù)測速度要求較高的，將所有概率的估計值事先計算好存儲起來，這樣在進行預(yù)測是只需要查表就可以進行判別。若任務(wù)數(shù)據(jù)更替頻繁，則可采用懶惰學(xué)習(xí)（lazy learning），收到數(shù)據(jù)進行概率估計，若數(shù)據(jù)不斷增加，則可在現(xiàn)有的估值基礎(chǔ)上，僅對新增樣本屬性值所涉及的概率估值進行技術(shù)修正即可實現(xiàn)增量學(xué)習(xí)。

　　四、半樸素貝葉斯分類器

　　樸素貝葉斯分類器采用屬性完全獨立的假設(shè)，在現(xiàn)實生活中通常難以成立，對屬性條件獨立性假設(shè)進行一定程度的放松，由此產(chǎn)生一類“半樸素被夜色分類器”（semi-naive Bayes classifiers）的學(xué)習(xí)方法，不需要進行完全聯(lián)合概率計算，又不至于徹底忽略了比較強的屬性依賴關(guān)系。

　　“獨依賴估計”（One dependent Estimator， ODE），假設(shè)每個屬性在類別之外最多依賴一個其他的屬性

　　pai為屬性xi所依賴的屬性，稱為xi的父屬性。若對每個屬性xi，其父屬性已知，則可用類似如下的方法進行估計概率

　　因此我們將問題轉(zhuǎn)化成確定每個屬性的父屬性。

1. SPODE：確認一個超父屬性，其余屬性都依賴該屬性。

2.TAN（最大帶全生成樹）