mapreduce二次排序_ mapreduce二次排序原理

關于什么是二次排序

在mapreduce操作時，shuffle階段會多次根據(jù)key值排序。但是在shuffle分組后，相同key值的values序列的順序是不確定的（如下圖）。如果想要此時value值也是排序好的，這種需求就是二次排序。

默認情況下，Map輸出的結果會對Key進行默認的排序，但是有時候需要對Key排序的同時還需要對Value進行排序，這時候就要用到二次排序了。

?mapreduce二次排序分析

我們把二次排序分為以下幾個階段

Map起始階段

在Map階段，使用job.setInputFormatClass（）定義的InputFormat，將輸入的數(shù)據(jù)集分割成小數(shù)據(jù)塊split，同時InputFormat提供一個RecordReader的實現(xiàn)。在這里我們使用的是TextInputFormat，它提供的RecordReader會將文本的行號作為Key，這一行的文本作為Value。這就是自定 Mapper的輸入是《LongWritable，Text》 的原因。然后調(diào)用自定義Mapper的map方法，將一個個《LongWritable，Text》鍵值對輸入給Mapper的map方法

Map最后階段

在Map階段的最后，會先調(diào)用job.setPartitionerClass（）對這個Mapper的輸出結果進行分區(qū)，每個分區(qū)映射到一個Reducer。每個分區(qū)內(nèi)又調(diào)用job.setSortComparatorClass（）設置的Key比較函數(shù)類排序。可以看到，這本身就是一個二次排序。如果沒有通過job.setSortComparatorClass（）設置 Key比較函數(shù)類，則使用Key實現(xiàn)的compareTo（）方法

Reduce階段

在Reduce階段，reduce（）方法接受所有映射到這個Reduce的map輸出后，也會調(diào)用job.setSortComparatorClass（）方法設置的Key比較函數(shù)類，對所有數(shù)據(jù)進行排序。然后開始構造一個Key對應的Value迭代器。這時就要用到分組，使用 job.setGroupingComparatorClass（）方法設置分組函數(shù)類。只要這個比較器比較的兩個Key相同，它們就屬于同一組，它們的 Value放在一個Value迭代器，而這個迭代器的Key使用屬于同一個組的所有Key的第一個Key。最后就是進入Reducer的 reduce（）方法，reduce（）方法的輸入是所有的Key和它的Value迭代器，同樣注意輸入與輸出的類型必須與自定義的Reducer中聲明的一致。

、