在Storm環(huán)境下如何進行拓撲結構的任務調度策略

　　針對Storm流式計算平臺中默認輪詢調度策略存在通信開銷大、負載不均衡的問題，提出基于拓撲結構的任務調度策略（ TS2）。首先，選取CPU資源充足且可用的工作節(jié)點并各分配一個進程，消除節(jié)點內進程間通信開銷，優(yōu)化進程部署；然后，分析拓撲結構，找出拓撲中度最大的組件，優(yōu)先分配該組件的線程；最后，在滿足節(jié)點可承載最大線程數(shù)的條件下，盡可能將關聯(lián)任務部署到同一個節(jié)點來減少節(jié)點間通信開銷，改善集群負載均衡，優(yōu)化線程部署。實驗結果表明：在系統(tǒng)延遲方面，與Storm默認調度策略和離線調度策略相比，TS的平均優(yōu)化率分別為16. 91%和5. 69%，有效提高了系統(tǒng)的實時性；在節(jié)點間通信開銷方面，TS相比于Storm默認調度策略平均降低了15. 75%；在平均吞吐量方面，TS相比于Storm默認調度策略平均提升了14. 21%。

　　隨著互聯(lián)網(wǎng)+時代來臨，全球數(shù)據(jù)量急劇增長。國際數(shù)據(jù)公司（ International Data Corporation，IDC）發(fā)布的白皮書《數(shù)據(jù)時代2025》中提出，預計到2025年全球數(shù)據(jù)量將達到163ZB，其中超過25%的數(shù)據(jù)將成為實時數(shù)據(jù)，而物聯(lián)網(wǎng)實時數(shù)據(jù)將占到95%［1］，面對如此龐大的實時數(shù)據(jù)量，需要時效性高、可擴展性和穩(wěn)定性強的流式計算框架。與批量計算不同，流式計算不再對數(shù)據(jù)的中間結果進行存儲，數(shù)據(jù)直接在各個工作節(jié)點的內存中進行計算。在這種應用場景下，以Twitter公司的Storm系統(tǒng)為代表的幾種實時計算框架應運而生，也將流式計算的應用范圍逐漸擴展到物聯(lián)網(wǎng)、金融、社交媒體以及實時交通等實時性要求高的領域‘糾。其中在Storm環(huán)境下，針對套牌車識別具有時效性約束的問題，相關學者提出了一種基于實時車牌識別的流式并行檢測方法，并且該方法的準確率達到了98.7%_3］，實時獲取車輛的動態(tài)信息已經成為可能。