基于Spark的資源調(diào)度算法研究

　　Spark作為流行的分布式數(shù)據(jù)處理框架，其資源的調(diào)度方式和資源的利用率直接關(guān)系到集群計(jì)算處理的效率和速度。針對(duì)Spark資源調(diào)度問題，在Spark自身考慮的資源因素內(nèi)存和空余核數(shù)下，提出新的調(diào)度算法。算法通過實(shí)時(shí)監(jiān)視工作節(jié)點(diǎn)資源利用情況，增加對(duì)節(jié)點(diǎn)CPU處理速度和CPU剩余利用率的考慮，重新調(diào)度與分配資源，為Spark作為Web服務(wù)高并發(fā)請(qǐng)求、低延遲響應(yīng)提供優(yōu)化，還可以減少傳統(tǒng)方式?jīng)]有考慮的資源因素導(dǎo)致出現(xiàn)的資源利用傾斜現(xiàn)象，提高資源的利用率。實(shí)驗(yàn)表明，改進(jìn)的資源調(diào)度算法有較好的效果。