機(jī)器學(xué)習(xí)之樸素貝葉斯

學(xué)習(xí)過概率的人一定知道貝葉斯定理，在信息領(lǐng)域內(nèi)有著無與倫比的地位。貝葉斯算法是基于貝葉斯定理的一類算法，主要用來解決分類和回歸問題。

人工智能之機(jī)器學(xué)習(xí)中最為廣泛的兩種分類模型是1）決策樹模型（Decision Tree Model）和2） 樸素貝葉斯模型（Naive Bayesian Model）。

今天我們重點(diǎn)探討一下樸素貝葉斯（NB），注意這里NB不是牛X， 而是Naive Bayesian。 ＾＿＾

樸素貝葉斯是經(jīng)典的機(jī)器學(xué)習(xí)算法之一，也是為數(shù)不多的基于概率論的分類算法。樸素貝葉斯原理簡單，也很容易實(shí)現(xiàn)，多用于文本分類、垃圾郵件過濾、情感分析等。

英國數(shù)學(xué)家托馬斯·貝葉斯（Thomas Bayes）在1763年發(fā)表的一篇論文中，首先提出了貝葉斯定理。

貝葉斯定理的應(yīng)用需要大量的計(jì)算，因此歷史上很長一段時(shí)間，無法得到廣泛應(yīng)用。只有計(jì)算機(jī)誕生以后，它才獲得真正的重視。人們發(fā)現(xiàn)，許多統(tǒng)計(jì)量是無法事先進(jìn)行客觀判斷的，而互聯(lián)網(wǎng)時(shí)代出現(xiàn)的大型數(shù)據(jù)集，再加上高速運(yùn)算能力，為驗(yàn)證這些統(tǒng)計(jì)量提供了方便，也為應(yīng)用貝葉斯定理創(chuàng)造了條件，它的威力正在日益顯現(xiàn)。

概念和定義：

樸素貝葉斯法是基于貝葉斯定理與特征條件獨(dú)立假設(shè)的分類方法。樸素貝葉斯分類器NBC （NaiveBayes Classifier）發(fā)源于古典數(shù)學(xué)理論，有著堅(jiān)實(shí)的數(shù)學(xué)基礎(chǔ)，以及穩(wěn)定的分類效率。樸素貝葉斯分類器（NBC）模型所需估計(jì)的參數(shù)很少，對缺失數(shù)據(jù)不太敏感，算法也比較簡單。理論上，NBC模型與其他分類方法相比具有最小的誤差率。但是實(shí)際上并非總是如此，這是因?yàn)镹BC模型假設(shè)屬性之間相互獨(dú)立，這個(gè)假設(shè)在實(shí)際應(yīng)用中往往是不成立的，這給NBC模型的正確分類帶來了一定影響。

貝葉斯分類是一系列分類算法總稱，這類算法均以貝葉斯定理為基礎(chǔ)，故統(tǒng)稱為貝葉斯分類。而樸素貝葉斯分類是貝葉斯分類中最簡單，也是常見的一種分類方法。

理論基礎(chǔ)：

樸素貝葉斯最核心的部分是貝葉斯法則，而貝葉斯法則的基石是條件概率。貝葉斯法則如下：

這里的C表示類別，輸入待判斷數(shù)據(jù)，式子給出要求解的某一類的概率。

樸素貝葉斯分類器基于一個(gè)簡單的假定：給定目標(biāo)值時(shí)屬性之間相互條件獨(dú)立。

樸素貝葉斯分類器模型：

Vmap＝arg maxP（ Vj ｜ a1，a2．．．a(chǎn)n） Vj屬于V集合，其中Vmap是給定一個(gè)example，得到的最可能的目標(biāo)值。其中a1．．．a(chǎn)n是這個(gè)example里面的屬性。Vmap目標(biāo)值，就是后面計(jì)算得出的概率最大的一個(gè)。所以用max來表示。

貝葉斯公式應(yīng)用到 P（ Vj ｜ a1，a2．．．a(chǎn)n）中?？傻玫?Vmap＝ arg max P（a1，a2．．．a(chǎn)n ｜ Vj ） P（ Vj ） ／ P（a1，a2．．．a(chǎn)n）。又因?yàn)闃闼刎惾~斯分類器默認(rèn)a1．．．a(chǎn)n互相獨(dú)立。所以P（a1，a2．．．a(chǎn)n）對于結(jié)果沒有用處?？傻玫絍map＝ arg max P（a1，a2．．．a(chǎn)n ｜ Vj ） P（ Vj ）。

＂樸素貝葉斯分類器基于一個(gè)簡單的假定：給定目標(biāo)值時(shí)屬性之間相互條件獨(dú)立。換言之。該假定說明給定實(shí)例的目標(biāo)值情況下。觀察到聯(lián)合的a1，a2．．．a(chǎn)n的概率正好是對每個(gè)單獨(dú)屬性的概率乘積：P（a1，a2．．．a(chǎn)n ｜ Vj ） ＝Πi P（ai｜ Vj ）

因此，樸素貝葉斯分類器模型：Vnb＝arg max P（ Vj ） Π iP （ ai ｜ Vj ）