樸素貝葉斯等常見機(jī)器學(xué)習(xí)算法的介紹及其優(yōu)缺點(diǎn)比較

　　偏差和方差與模型復(fù)雜度的關(guān)系使用下圖更加明了：

　　當(dāng)模型復(fù)雜度上升的時候，偏差會逐漸變小，而方差會逐漸變大。

　　常見算法優(yōu)缺點(diǎn)

　　1.樸素貝葉斯

　　樸素貝葉斯屬于生成式模型（關(guān)于生成模型和判別式模型，主要還是在于是否是要求聯(lián)合分布），非常簡單，你只是做了一堆計(jì)數(shù)。如果注有條件獨(dú)立性假設(shè)（一個比較嚴(yán)格的條件），樸素貝葉斯分類器的收斂速度將快于判別模型，如邏輯回歸，所以你只需要較少的訓(xùn)練數(shù)據(jù)即可。即使NB條件獨(dú)立假設(shè)不成立，NB分類器在實(shí)踐中仍然表現(xiàn)的很出色。它的主要缺點(diǎn)是它不能學(xué)習(xí)特征間的相互作用，用mRMR中R來講，就是特征冗余。引用一個比較經(jīng)典的例子，比如，雖然你喜歡BradPitt和TomCruise的電影，但是它不能學(xué)習(xí)出你不喜歡他們在一起演的電影。

　　優(yōu)點(diǎn)：

　　· 樸素貝葉斯模型發(fā)源于古典數(shù)學(xué)理論，有著堅(jiān)實(shí)的數(shù)學(xué)基礎(chǔ)，以及穩(wěn)定的分類效率。

　　· 對小規(guī)模的數(shù)據(jù)表現(xiàn)很好，能個處理多分類任務(wù)，適合增量式訓(xùn)練；

　　· 對缺失數(shù)據(jù)不太敏感，算法也比較簡單，常用于文本分類。