Spark漸進填充分區(qū)映射算法

　　分析Spark的作業(yè)執(zhí)行機制，建立了執(zhí)行效率模型和Shuffle過程模型，給出了分配適應(yīng)度（AFD，allocation　fitness degree）的定義，提出了算法的優(yōu)化目標(biāo)。根據(jù)模型的相關(guān)定義求解，設(shè)計了漸進填充分區(qū)映射算法（PFPM，progressive filling partitioning and mapping algorithm），通過擴展式分區(qū)和漸進填充映射，建立適應(yīng)Reducer計算能力的數(shù)據(jù)分配方案，有效縮減Shuffle過程的同步延時，提高集群計算效率。實驗表明該算法提高了Shuffle過程數(shù)據(jù)分配的合理性，優(yōu)化了并行計算框架Spark的作業(yè)執(zhí)行效率。