Storm環(huán)境下基于權重的任務調度算法
大小：1.35 MB 人氣： 2018-04-17 需要積分：1
標簽：調度算法(11872)
大數據流式計算平臺Apache Storm默認采用輪詢的方式進行任務調度，未考慮到拓撲中各任務計算開銷的差異以及任務之間不同類型的通信模式，在負載均衡和通信開銷方面存在較大的優(yōu)化空間。針對這一問題，提出一種Storm環(huán)境下基于權重的任務調度算法（TSAW-Storm）。該算法首先根據各任務的CPU資源占用情況以及任務間的數據流大小，分別確定拓撲的點權和邊權；并利用最大化邊權增益的思想，逐步構建起各工作節(jié)點中承載的任務集合，在保證集群負載均衡的同時，盡可能將邊權較大的節(jié)點間數據流轉化為節(jié)點內數據流，從而降低網絡傳輸開銷。實驗結果表明，在包含有8個工作節(jié)點的WordCount基準測試中，TSAW-Storm的系統(tǒng)延遲和節(jié)點間數據流大小相比Storm默認調度算法分別降低了30.0%和32.9%，且各工作節(jié)點的CPU負載標準差僅為Storm默認調度算法的25.8%；此外，在與在線調度算法的對比實驗中，TSAW-Storm在系統(tǒng)延遲、節(jié)點間數據流大小和CPU負載標準差方面分別降低了7. 76%、11. 8%和5.93 %，且算法的執(zhí)行開銷明顯降低，有效提高了Storm系統(tǒng)的運行效率。
非常好我支持^.^
(0) 0%
不好我反對
(0) 0%