mapreduce工作原理圖文詳解_Map、Reduce任務(wù)中Shuffle和排序

　　 本文主要分析以下兩點內(nèi)容：

　　1.MapReduce作業(yè)運行流程原理

　　2.Map、Reduce任務(wù)中Shuffle和排序的過程

　　下面是visio2010畫出的MapReduce流程示意圖：

?

　　流程分析：

　　1.在客戶端啟動一個作業(yè)。

　　2.向JobTracker請求一個Job ID。

　　3.將運行作業(yè)所需要的資源文件復(fù)制到HDFS上，包括MapReduce程序打包的JAR文件、配置文件和客戶端計算所得的輸入劃分信息。這些文件都存放在JobTracker專門為該作業(yè)創(chuàng)建的文件夾中。文件夾名為該作業(yè)的Job ID。JAR文件默認(rèn)會有10個副本（mapred.submit.replication屬性控制）；輸入劃分信息告訴了JobTracker應(yīng)該為這個作業(yè)啟動多少個map任務(wù)等信息。

　　4.JobTracker接收到作業(yè)后，將其放在一個作業(yè)隊列里，等待作業(yè)調(diào)度器對其進(jìn)行調(diào)度（這里是不是很像微機中的進(jìn)程調(diào)度呢，呵呵），當(dāng)作業(yè)調(diào)度器根據(jù)自己的調(diào)度算法調(diào)度到該作業(yè)時，會根據(jù)輸入劃分信息為每個劃分創(chuàng)建一個map任務(wù)，并將map任務(wù)分配給TaskTracker執(zhí)行。對于map和reduce任務(wù)，TaskTracker根據(jù)主機核的數(shù)量和內(nèi)存的大小有固定數(shù)量的map槽和reduce槽。這里需要強調(diào)的是：map任務(wù)不是隨隨便便地分配給某個TaskTracker的，這里有個概念叫：數(shù)據(jù)本地化（Data-Local）。意思是：將map任務(wù)分配給含有該map處理的數(shù)據(jù)塊的TaskTracker上，同時將程序JAR包復(fù)制到該TaskTracker上來運行，這叫“運算移動，數(shù)據(jù)不移動”。而分配reduce任務(wù)時并不考慮數(shù)據(jù)本地化。

　　5.TaskTracker每隔一段時間會給JobTracker發(fā)送一個心跳，告訴JobTracker它依然在運行，同時心跳中還攜帶著很多的信息，比如當(dāng)前map任務(wù)完成的進(jìn)度等信息。當(dāng)JobTracker收到作業(yè)的最后一個任務(wù)完成信息時，便把該作業(yè)設(shè)置成“成功”。當(dāng)JobClient查詢狀態(tài)時，它將得知任務(wù)已完成，便顯示一條消息給用戶。

　　以上是在客戶端、JobTracker、TaskTracker的層次來分析MapReduce的工作原理的，下面我們再細(xì)致一點，從map任務(wù)和reduce任務(wù)的層次來分析分析吧。

　　Map、Reduce任務(wù)中Shuffle和排序的過程

　　同樣貼出我在visio中畫出的流程示意圖：?

?

　　流程分析：

　　Map端：

　　1．每個輸入分片會讓一個map任務(wù)來處理，默認(rèn)情況下，以HDFS的一個塊的大?。J(rèn)為64M）為一個分片，當(dāng)然我們也可以設(shè)置塊的大小。map輸出的結(jié)果會暫且放在一個環(huán)形內(nèi)存緩沖區(qū)中（該緩沖區(qū)的大小默認(rèn)為100M，由io.sort.mb屬性控制），當(dāng)該緩沖區(qū)快要溢出時（默認(rèn)為緩沖區(qū)大小的80%，由io.sort.spill.percent屬性控制），會在本地文件系統(tǒng)中創(chuàng)建一個溢出文件，將該緩沖區(qū)中的數(shù)據(jù)寫入這個文件。

　　2．在寫入磁盤之前，線程首先根據(jù)reduce任務(wù)的數(shù)目將數(shù)據(jù)劃分為相同數(shù)目的分區(qū)，也就是一個reduce任務(wù)對應(yīng)一個分區(qū)的數(shù)據(jù)。這樣做是為了避免有些reduce任務(wù)分配到大量數(shù)據(jù)，而有些reduce任務(wù)卻分到很少數(shù)據(jù)，甚至沒有分到數(shù)據(jù)的尷尬局面。其實分區(qū)就是對數(shù)據(jù)進(jìn)行hash的過程。然后對每個分區(qū)中的數(shù)據(jù)進(jìn)行排序，如果此時設(shè)置了Combiner，將排序后的結(jié)果進(jìn)行Combia操作，這樣做的目的是讓盡可能少的數(shù)據(jù)寫入到磁盤。

　　3．當(dāng)map任務(wù)輸出最后一個記錄時，可能會有很多的溢出文件，這時需要將這些文件合并。合并的過程中會不斷地進(jìn)行排序和combia操作，目的有兩個：1.盡量減少每次寫入磁盤的數(shù)據(jù)量；2.盡量減少下一復(fù)制階段網(wǎng)絡(luò)傳輸?shù)臄?shù)據(jù)量。最后合并成了一個已分區(qū)且已排序的文件。為了減少網(wǎng)絡(luò)傳輸?shù)臄?shù)據(jù)量，這里可以將數(shù)據(jù)壓縮，只要將mapred.compress.map.out設(shè)置為true就可以了。

　　4．將分區(qū)中的數(shù)據(jù)拷貝給相對應(yīng)的reduce任務(wù)。有人可能會問：分區(qū)中的數(shù)據(jù)怎么知道它對應(yīng)的reduce是哪個呢？其實map任務(wù)一直和其父TaskTracker保持聯(lián)系，而TaskTracker又一直和JobTracker保持心跳。所以JobTracker中保存了整個集群中的宏觀信息。只要reduce任務(wù)向JobTracker獲取對應(yīng)的map輸出位置就ok了哦。

　　到這里，map端就分析完了。那到底什么是Shuffle呢？Shuffle的中文意思是“洗牌”，如果我們這樣看：一個map產(chǎn)生的數(shù)據(jù)，結(jié)果通過hash過程分區(qū)卻分配給了不同的reduce任務(wù)，是不是一個對數(shù)據(jù)洗牌的過程呢？

　　Reduce端：

　　1．Reduce會接收到不同map任務(wù)傳來的數(shù)據(jù)，并且每個map傳來的數(shù)據(jù)都是有序的。如果reduce端接受的數(shù)據(jù)量相當(dāng)小，則直接存儲在內(nèi)存中（緩沖區(qū)大小由mapred.job.shuffle.input.buffer.percent屬性控制，表示用作此用途的堆空間的百分比），如果數(shù)據(jù)量超過了該緩沖區(qū)大小的一定比例（由mapred.job.shuffle.merge.percent決定），則對數(shù)據(jù)合并后溢寫到磁盤中。

　　2．隨著溢寫文件的增多，后臺線程會將它們合并成一個更大的有序的文件，這樣做是為了給后面的合并節(jié)省時間。其實不管在map端還是reduce端，MapReduce都是反復(fù)地執(zhí)行排序，合并操作，現(xiàn)在終于明白了有些人為什么會說：排序是hadoop的靈魂。

　　3．合并的過程中會產(chǎn)生許多的中間文件（寫入磁盤了），但MapReduce會讓寫入磁盤的數(shù)據(jù)盡可能地少，并且最后一次合并的結(jié)果并沒有寫入磁盤，而是直接輸入到reduce函數(shù)。