您好,歡迎來電子發(fā)燒友網(wǎng)! ,新用戶?[免費(fèi)注冊]

您的位置:電子發(fā)燒友網(wǎng)>源碼下載>數(shù)值算法/人工智能>

基于Hadoop的數(shù)據(jù)驅(qū)動的并行增量算法

大?。?/span>0.98 MB 人氣: 2017-12-09 需要積分:1

  針對傳統(tǒng)支持向量機(jī)(SVM)算法難以處理大規(guī)模訓(xùn)練數(shù)據(jù)的困境,提出一種基于Hadoop的數(shù)據(jù)驅(qū)動的并行增量Adaboost-SVM算法(PIASVM)。利用集成學(xué)習(xí)策略,局部分類器處理一個分區(qū)的數(shù)據(jù),融合其分類結(jié)果得到組合分類器;增量學(xué)習(xí)中用權(quán)值刻畫樣本的空間分布特性,對樣本進(jìn)行迭代加權(quán),利用遺忘因子實(shí)現(xiàn)新增樣本的選擇及歷史樣本的淘汰;采用基于HBase的控制器組件用以調(diào)度迭代過程,持久化中間結(jié)果并減小MapReduce原有框架迭代過程中的帶寬壓力。多組實(shí)驗(yàn)結(jié)果表明,所提算法具有優(yōu)良的加速比、擴(kuò)展率和數(shù)據(jù)伸縮度,在保證分類精度的基礎(chǔ)上提高了SVM算法對大規(guī)模數(shù)據(jù)的處理能力。

基于Hadoop的數(shù)據(jù)驅(qū)動的并行增量算法

非常好我支持^.^

(0) 0%

不好我反對

(0) 0%

      發(fā)表評論

      用戶評論
      評價:好評中評差評

      發(fā)表評論,獲取積分! 請遵守相關(guān)規(guī)定!

      ?