資料介紹
隨著基于Hadoop平臺的大數(shù)據(jù)技術(shù)的不斷發(fā)展和實踐的深入,Hadoop YARN資源調(diào)度策略在異構(gòu)集群中的不適用性越發(fā)明顯。一方面,節(jié)點資源無法動態(tài)分配,導致優(yōu)勢節(jié)點的計算資源浪費、系統(tǒng)性能沒有充分發(fā)揮;另一方面,現(xiàn)有的靜態(tài)資源分配策略未考慮作業(yè)在不同執(zhí)行階段的差異,易產(chǎn)生大量資源碎片?;谝陨蠁栴},提出了一種負載自適應調(diào)度策略。監(jiān)控集群執(zhí)行節(jié)點和提交作業(yè)的性能信息,利用實時監(jiān)控數(shù)據(jù)建模、量化節(jié)點的綜合計算能力,結(jié)合節(jié)點和作業(yè)的性能信息在調(diào)度器上啟動基于相似度評估的動態(tài)資源調(diào)度方案。優(yōu)化后的系統(tǒng)能夠有效識別集群節(jié)點的執(zhí)行能力差異,并根據(jù)作業(yè)任務的實時需求進行細粒度的動態(tài)資源調(diào)度,在完善YARN現(xiàn)有調(diào)度語義的同時,可作為子級資源調(diào)度方案架構(gòu)在上層調(diào)度器下。在Hadoop 2.O上實現(xiàn)并測試該策略,實驗結(jié)果表明,作業(yè)的自適應資源調(diào)度策略顯著提高了資源利用率,集群并發(fā)度提高了2到3倍,時間性能提升了近10%。
- 自適應反饋消除 3
- 基于橋式吊車系統(tǒng)的分組自適應控制策略 22次下載
- 一種基于自適應鄰域策略的改進算法 10次下載
- 異構(gòu)環(huán)境下的多DAG任務調(diào)度算法綜述 13次下載
- 面向異構(gòu)領(lǐng)域自適應的聯(lián)合信息保持算法 5次下載
- 基于節(jié)點分布自適應的WSN覆蓋控制優(yōu)化策略 25次下載
- 總線負載的自適應頻率調(diào)節(jié) 2次下載
- 自適應元數(shù)據(jù)服務負載均衡策略 0次下載
- 一種新的調(diào)度策略優(yōu)化Spark在異構(gòu)集群下表現(xiàn) 0次下載
- 基于Ubuntu的Hadoop集群安裝與配置 8次下載
- 異構(gòu)集群服務器的動態(tài)加權(quán)負載均衡算法
- 基于有限反饋的數(shù)據(jù)流數(shù)自適應SDMA
- 基于反饋的帶寬自適應無線監(jiān)控系統(tǒng)
- 結(jié)構(gòu)化P2P自適應混合負載均衡策略
- 樹型網(wǎng)格計算環(huán)境下的自適應任務調(diào)度算法
- 虛擬機:Hadoop集群的配置 2689次閱讀
- 虛擬機:Hadoop集群的搭建 3097次閱讀
- 工業(yè)機器人自適應運動控制技術(shù) 1943次閱讀
- 汽車開關(guān)的關(guān)鍵技術(shù)自適應觸覺的詳細介紹 2016次閱讀
- 什么是Hadoop? Spark和Hadoop對比 6751次閱讀
- 自適應控制的優(yōu)缺點_自適應控制存在的問題及發(fā)展 4.9w次閱讀
- 什么是自適應控制_自適應控制基本原理 5.5w次閱讀
- hadoop云存儲解決方案 6442次閱讀
- hadoop基礎(chǔ)知識介紹_hadoop是什么語言開發(fā)的_hadoop能做什么 3.9w次閱讀
- hadoop技術(shù)原理總結(jié) 4140次閱讀
- hadoop優(yōu)缺點分析 1.6w次閱讀
- 自適應濾波算法理解與應用 2.5w次閱讀
- 自適應濾波器的作用、原理以及相關(guān)應用 2w次閱讀
- 淺析Hadoop集群硬件選擇 1648次閱讀
- 基于DSP的自適應濾波器的設(shè)計方案 8239次閱讀
下載排行
本周
- 1電子電路原理第七版PDF電子教材免費下載
- 0.00 MB | 1490次下載 | 免費
- 2單片機典型實例介紹
- 18.19 MB | 93次下載 | 1 積分
- 3S7-200PLC編程實例詳細資料
- 1.17 MB | 27次下載 | 1 積分
- 4筆記本電腦主板的元件識別和講解說明
- 4.28 MB | 18次下載 | 4 積分
- 5開關(guān)電源原理及各功能電路詳解
- 0.38 MB | 10次下載 | 免費
- 6基于AT89C2051/4051單片機編程器的實驗
- 0.11 MB | 4次下載 | 免費
- 7基于單片機和 SG3525的程控開關(guān)電源設(shè)計
- 0.23 MB | 3次下載 | 免費
- 8基于單片機的紅外風扇遙控
- 0.23 MB | 3次下載 | 免費
本月
- 1OrCAD10.5下載OrCAD10.5中文版軟件
- 0.00 MB | 234313次下載 | 免費
- 2PADS 9.0 2009最新版 -下載
- 0.00 MB | 66304次下載 | 免費
- 3protel99下載protel99軟件下載(中文版)
- 0.00 MB | 51209次下載 | 免費
- 4LabView 8.0 專業(yè)版下載 (3CD完整版)
- 0.00 MB | 51043次下載 | 免費
- 5555集成電路應用800例(新編版)
- 0.00 MB | 33562次下載 | 免費
- 6接口電路圖大全
- 未知 | 30320次下載 | 免費
- 7Multisim 10下載Multisim 10 中文版
- 0.00 MB | 28588次下載 | 免費
- 8開關(guān)電源設(shè)計實例指南
- 未知 | 21539次下載 | 免費
總榜
- 1matlab軟件下載入口
- 未知 | 935053次下載 | 免費
- 2protel99se軟件下載(可英文版轉(zhuǎn)中文版)
- 78.1 MB | 537791次下載 | 免費
- 3MATLAB 7.1 下載 (含軟件介紹)
- 未知 | 420026次下載 | 免費
- 4OrCAD10.5下載OrCAD10.5中文版軟件
- 0.00 MB | 234313次下載 | 免費
- 5Altium DXP2002下載入口
- 未知 | 233046次下載 | 免費
- 6電路仿真軟件multisim 10.0免費下載
- 340992 | 191183次下載 | 免費
- 7十天學會AVR單片機與C語言視頻教程 下載
- 158M | 183277次下載 | 免費
- 8proe5.0野火版下載(中文版免費下載)
- 未知 | 138039次下載 | 免費
評論
查看更多