多階段劃分的MapReduce模型
大小:0.70 MB 人氣: 2017-12-27 需要積分:3
推薦 + 挑錯(cuò) + 收藏(0) + 用戶評論(0)
標(biāo)簽:MapReduce(6262)
針對已有的MapReduce模型階段劃分粒度不合理導(dǎo)致模型精度和復(fù)雜度存在的問題,提出了階段劃分粒度為5的多階段MapReduce模型(MR-Model)。首先綜述了MapReduce模型的研究現(xiàn)狀;然后將MapReduce劃分為Read、Map、Shuffle、Reduce、Write共5個(gè)階段,并對每個(gè)階段的具體運(yùn)行時(shí)間進(jìn)行研究;最后通過實(shí)驗(yàn)對模型的預(yù)測性能進(jìn)行驗(yàn)證。實(shí)驗(yàn)結(jié)果表明,提出的MR-Model可用來描述MapReduce實(shí)際任務(wù)的執(zhí)行過程,與另外兩種不同劃分粒度的模型P-Model和H-Model相比,MR-Model模型的運(yùn)行時(shí)間預(yù)測精度可以提高10%- 30%,在Reduce階段的運(yùn)行時(shí)間預(yù)測精度可以提高2-3倍,綜合性能較好。
非常好我支持^.^
(0) 0%
不好我反對
(0) 0%
下載地址
多階段劃分的MapReduce模型下載
相關(guān)電子資料下載
- MapReduce和Spark概要介紹 1297
- Apache Storm的安裝部署 777
- 谷歌大腦和DeepMind聯(lián)合發(fā)布堪稱AI界的MapReduce 4342
- MapReduce實(shí)現(xiàn)與自定義詞典文件基于hanLP的中文分詞詳解 221
- 一種基于MapReduce模型的并行化k-medoids聚類算法 5078
- mapreduce二次排序_ mapreduce二次排序原理 6146
- mapreduce工作原理圖文詳解_Map、Reduce任務(wù)中Shuffle和排序 8344
- mapreduce設(shè)置map個(gè)數(shù)_mapreduce設(shè)置map內(nèi)存 11204
- Mapreduce和Hive中map reduce個(gè)數(shù)設(shè)定 5977
- mapreduce的應(yīng)用開發(fā)步驟 4716