異構(gòu)環(huán)境中HDFS數(shù)據(jù)塊并行傳輸調(diào)度算法

　　近年來(lái)，隨著網(wǎng)絡(luò)和云計(jì)算技術(shù)的飛速發(fā)展，網(wǎng)絡(luò)數(shù)據(jù)以幾何級(jí)數(shù)的方式迅速增長(zhǎng)。數(shù)據(jù)的爆炸性增長(zhǎng)對(duì)存儲(chǔ)系統(tǒng)的容量、可擴(kuò)展性以及I/O性能等方面提出了越來(lái)越高的要求。如今雖然計(jì)算、傳輸和存儲(chǔ)三大IT基礎(chǔ)設(shè)施都得到了飛速的發(fā)展，但是相對(duì)于計(jì)算和傳輸而言，存儲(chǔ)技術(shù)相對(duì)發(fā)展緩慢。分布式文件系統(tǒng)是指網(wǎng)絡(luò)中的多個(gè)存儲(chǔ)節(jié)點(diǎn)通過(guò)網(wǎng)絡(luò)組織起來(lái)，并通過(guò)網(wǎng)絡(luò)來(lái)完成各存儲(chǔ)節(jié)點(diǎn)的通信和控制的文件系統(tǒng)。由于其能有效解決分布式存儲(chǔ)系統(tǒng)的海量數(shù)據(jù)存儲(chǔ)和I/O瓶頸問(wèn)題，在容量和可擴(kuò)展性等方面有很大優(yōu)勢(shì)，越來(lái)越受到企業(yè)界、學(xué)術(shù)界的青睞。

　　針對(duì)Hadoop分布式文件系統(tǒng)（HDFS）的寫性能在執(zhí)行效率上的不足，提出一種在節(jié)點(diǎn)性能異構(gòu)環(huán)境中對(duì)HDFS數(shù)據(jù)塊進(jìn)行并發(fā)傳輸?shù)恼{(diào)度算法。該算法實(shí)時(shí)監(jiān)控HDFS集群中每個(gè)節(jié)點(diǎn)的資源狀態(tài)和內(nèi)存緩存隊(duì)列，動(dòng)態(tài)地將接收節(jié)點(diǎn)與轉(zhuǎn)發(fā)節(jié)點(diǎn)進(jìn)行配對(duì)傳輸，使全系統(tǒng)節(jié)點(diǎn)的網(wǎng)卡和磁盤并發(fā)工作，縮短了所有副本寫入分布式文件系統(tǒng)的時(shí)間。將數(shù)據(jù)寫入磁盤后請(qǐng)求下一個(gè)數(shù)據(jù)塊，保證數(shù)據(jù)安全性，同時(shí)也使得各個(gè)節(jié)點(diǎn)獲得與自身性能相匹配的副本數(shù)，使性能異構(gòu)的系統(tǒng)能達(dá)到較高的寫入速度。性能測(cè)試結(jié)果表明，使用該算法的分布式文件系統(tǒng)的寫入性能較原始的HDFS提高了l倍。
?