電子發(fā)燒友App
創(chuàng)作
發(fā)文章
發(fā)帖 
提問 
發(fā)資料
發(fā)視頻資料介紹
針對內存計算框架Spark在作業(yè)Shuffle階段一次分區(qū)產生的數(shù)據傾斜問題，提出一種內存計算框架的迭代填充分區(qū)映射算法（IFPM）。首先，分析Spark作業(yè)的執(zhí)行機制，建立作業(yè)效率模型和分區(qū)映射模型，給出作業(yè)執(zhí)行時間和分配傾斜度的定義，證明這些定義與作業(yè)執(zhí)行效率的因果邏輯關系；然后，根據模型和定義求解，設計擴展式數(shù)據分區(qū)算法（EPA）和迭代式分區(qū)映射算法（IMA），在Map端建立一對多分區(qū)函數(shù)，并通過分區(qū)函數(shù)將部分數(shù)據填入擴展區(qū)內，在數(shù)據分布局部感知后再執(zhí)行擴展區(qū)迭代式的多輪數(shù)據分配，根據Reduce端已分配數(shù)據量建立適應性的擴展區(qū)映射規(guī)則，對原生區(qū)的數(shù)據傾斜進行逐步修正，以此保障數(shù)據分配的均衡性。實驗結果表明，在不同源數(shù)據分布條件下，算法均提高了作業(yè)Shuffle過程分區(qū)映射合理性，縮減了寬依賴Stage的同步時間，提高了作業(yè)執(zhí)行效率。
下載該資料的人也在下載
下載該資料的人還在閱讀
更多 >
- 基于向量分區(qū)和三維骨架化的CT圖像算法 22次下載
- 基于低秩矩陣填充技術的推薦算法 14次下載
- 基于無約束優(yōu)化的無參數(shù)填充函數(shù)算法 9次下載
- 漢語的零形式識別與填充方法研究綜述 2次下載
- 基于虛擬網絡功能組合的服務功能鏈及映射算法 5次下載
- 基于最優(yōu)子網的虛擬網絡映射算法 5次下載
- 基于拓撲和權值的虛擬網絡映射算法 4次下載
- 一種高效節(jié)能的虛擬網絡映射算法 6次下載
- 一種多目標虛擬網絡映射VNE-MOPSO算法 16次下載
- 基于雙重分組和對位映射的防碰撞查詢樹算法 7次下載
- 一種新的鄰近節(jié)點分組映射算法 6次下載
- 一種生存性虛擬網絡映射算法 3次下載
- 基于包簇映射的資源管理框架 0次下載
- 紋理映射算法的改進研究 11次下載
- 一種簡單的圖案填充算法
- 快速搞懂C語言程序內存分區(qū)！ 1.4k次閱讀
- 拆解mmap內存映射的本質！ 3.2k次閱讀
- EC SRAM映射到CPU Memory空間的共享內存設計 3.2k次閱讀
- 單片機的內存映射圖解析 2.1k次閱讀
- 單片機的內存映射圖解析 2.6k次閱讀
- LINS算法的框架與代碼分析 4.4k次閱讀
- 一文詳細了解mmap內存映射 3.2k次閱讀
- 電工基礎：如何計算電纜橋架填充率 1w次閱讀
- 虛擬機：linux高端內存管理之永久內核映射 4.2k次閱讀
- 淺析linux內存映射原理 1.9k次閱讀
- 存儲器的分區(qū)內存管理與分區(qū)存儲管理 3.5k次閱讀
- 基于多元LDPC碼迭代編碼算法的混合校驗矩陣構造算法 5.5k次閱讀
- Linux內核地址映射模型與Linux內核高端內存詳解 3.8k次閱讀
- 簡單剖析虛擬內存與交換分區(qū) 6.9k次閱讀
- 一種FFT插值正弦波快速頻率估計算法 1w次閱讀
上傳資料賺積分下載排行
本周
- 1電子電路原理第七版PDF電子教材免費下載
- 0.00 MB | 1490次下載 | 免費
- 2單片機典型實例介紹
- 18.19 MB | 93次下載 | 1 積分
- 3S7-200PLC編程實例詳細資料
- 1.17 MB | 27次下載 | 1 積分
- 4筆記本電腦主板的元件識別和講解說明
- 4.28 MB | 18次下載 | 4 積分
- 5開關電源原理及各功能電路詳解
- 0.38 MB | 10次下載 | 免費
- 6基于AT89C2051/4051單片機編程器的實驗
- 0.11 MB | 4次下載 | 免費
- 7基于單片機和 SG3525的程控開關電源設計
- 0.23 MB | 3次下載 | 免費
- 8基于單片機的紅外風扇遙控
- 0.23 MB | 3次下載 | 免費
本月
- 1OrCAD10.5下載OrCAD10.5中文版軟件
- 0.00 MB | 234313次下載 | 免費
- 2PADS 9.0 2009最新版 -下載
- 0.00 MB | 66304次下載 | 免費
- 3protel99下載protel99軟件下載(中文版)
- 0.00 MB | 51209次下載 | 免費
- 4LabView 8.0 專業(yè)版下載 (3CD完整版)
- 0.00 MB | 51043次下載 | 免費
- 5555集成電路應用800例(新編版)
- 0.00 MB | 33562次下載 | 免費
- 6接口電路圖大全
- 未知 | 30320次下載 | 免費
- 7Multisim 10下載Multisim 10 中文版
- 0.00 MB | 28588次下載 | 免費
- 8開關電源設計實例指南
- 未知 | 21539次下載 | 免費
總榜
- 1matlab軟件下載入口
- 未知 | 935053次下載 | 免費
- 2protel99se軟件下載(可英文版轉中文版)
- 78.1 MB | 537791次下載 | 免費
- 3MATLAB 7.1 下載 (含軟件介紹)
- 未知 | 420026次下載 | 免費
- 4OrCAD10.5下載OrCAD10.5中文版軟件
- 0.00 MB | 234313次下載 | 免費
- 5Altium DXP2002下載入口
- 未知 | 233046次下載 | 免費
- 6電路仿真軟件multisim 10.0免費下載
- 340992 | 191183次下載 | 免費
- 7十天學會AVR單片機與C語言視頻教程 下載
- 158M | 183277次下載 | 免費
- 8proe5.0野火版下載(中文版免費下載)
- 未知 | 138039次下載 | 免費
工商網監(jiān)
評論