您好,歡迎來電子發(fā)燒友網(wǎng)! ,新用戶?[免費(fèi)注冊]

您的位置:電子發(fā)燒友網(wǎng)>源碼下載>數(shù)值算法/人工智能>

多階段劃分的MapReduce模型

大小:0.70 MB 人氣: 2017-12-27 需要積分:3

  針對已有的MapReduce模型階段劃分粒度不合理導(dǎo)致模型精度和復(fù)雜度存在的問題,提出了階段劃分粒度為5的多階段MapReduce模型(MR-Model)。首先綜述了MapReduce模型的研究現(xiàn)狀;然后將MapReduce劃分為Read、Map、Shuffle、Reduce、Write共5個(gè)階段,并對每個(gè)階段的具體運(yùn)行時(shí)間進(jìn)行研究;最后通過實(shí)驗(yàn)對模型的預(yù)測性能進(jìn)行驗(yàn)證。實(shí)驗(yàn)結(jié)果表明,提出的MR-Model可用來描述MapReduce實(shí)際任務(wù)的執(zhí)行過程,與另外兩種不同劃分粒度的模型P-Model和H-Model相比,MR-Model模型的運(yùn)行時(shí)間預(yù)測精度可以提高10%- 30%,在Reduce階段的運(yùn)行時(shí)間預(yù)測精度可以提高2-3倍,綜合性能較好。

非常好我支持^.^

(0) 0%

不好我反對

(0) 0%

      發(fā)表評論

      用戶評論
      評價(jià):好評中評差評

      發(fā)表評論,獲取積分! 請遵守相關(guān)規(guī)定!

      ?