新的基于代價(jià)敏感集成學(xué)習(xí)的非平衡數(shù)據(jù)集分類(lèi)方法NIBoost

現(xiàn)實(shí)生活中存在大量的非 平衡數(shù)據(jù),大多數(shù)傳統(tǒng)的分類(lèi)算法假定類(lèi)分布平衡或者樣本的錯(cuò)分代價(jià)相同，因此在對(duì)這些非平衡數(shù)據(jù)進(jìn)行分類(lèi)時(shí)會(huì)出現(xiàn)少數(shù)類(lèi)樣本錯(cuò)分的問(wèn)題。針對(duì)上述問(wèn)題，在代價(jià)敏感的理論基礎(chǔ)上,提出了一種新的基于代價(jià)敏感集成學(xué)習(xí)的非平衡數(shù)據(jù)分類(lèi)算法一NIBoost ( New Imbalanced Boost)。首先，在每次選代過(guò)程中利用過(guò)采樣算法新增一定數(shù)目的少數(shù)類(lèi)樣本來(lái)對(duì)數(shù)據(jù)集進(jìn)行平衡，在該新數(shù)據(jù)集上訓(xùn)練分類(lèi)器;其次,使用該分類(lèi)器對(duì)數(shù)據(jù)集進(jìn)行分類(lèi),并得到各樣本的預(yù)測(cè)類(lèi)標(biāo)及該分類(lèi)器的分類(lèi)錯(cuò)誤率;最后,根據(jù)分類(lèi)錯(cuò)誤率和預(yù)測(cè)的類(lèi)標(biāo)計(jì)算該分類(lèi)器的權(quán)重系數(shù)及各樣本新的權(quán)重。實(shí)驗(yàn)采用決策樹(shù)、樸素貝葉斯作為弱分類(lèi)器算法,在UCI數(shù)據(jù)集上的實(shí)驗(yàn)結(jié)果表明,當(dāng)以決策樹(shù)作為基分類(lèi)器時(shí)，與RareBoost算法相比,F-value最高提高了5.91個(gè)百分點(diǎn)、C-mean最高提高了7.44個(gè)百分點(diǎn)、AUC最高提高了4. 38個(gè)百分點(diǎn);故該新算法在處理非平衡數(shù)據(jù)分類(lèi)問(wèn)題.上具有一定的優(yōu)勢(shì)。