Spark Streaming動(dòng)態(tài)資源分配策略
大?。?/span>0.96 MB 人氣： 2017-12-01 需要積分：3
推薦 + 挑錯(cuò) + 收藏(0) + 用戶(hù)評(píng)論（0）
針對(duì)Spark Streaming作為混合大數(shù)據(jù)計(jì)算平臺(tái)流處理組件時(shí)資源調(diào)整周期長(zhǎng)和不能滿足多應(yīng)用多用戶(hù)個(gè)性化需求的問(wèn)題，提出了一種多應(yīng)用下動(dòng)態(tài)資源分配策略（ DRAM）。該策略增加了應(yīng)用全局變量來(lái)控制動(dòng)態(tài)資源分配過(guò)程。首先，獲取歷史執(zhí)行數(shù)據(jù)反饋和應(yīng)用全局變量；然后，進(jìn)行資源增減計(jì)算；最后，進(jìn)行資源增減執(zhí)行。實(shí)驗(yàn)結(jié)果表明，所提策略能夠有效調(diào)整應(yīng)用資源配額，且在穩(wěn)定數(shù)據(jù)流和不穩(wěn)定數(shù)據(jù)流兩種情況下，其處理延時(shí)相比原Spark平臺(tái)的Streaming策略和Core策略都有所降低；同時(shí)該策略也能夠提高集群資源利用率。
非常好我支持^.^
(0) 0%
不好我反對(duì)
(0) 0%