關聯性驅動的大數據處理任務調度方案
大小：2.25 MB 人氣： 2017-12-25 需要積分：3
目前大數據處理過程較少關注任務所處理數據間的依賴關系，在任務執行過程中可能產生大量數據遷移，影響數據處理效率．為減少數據遷移，提升任務執行性能，從數據關聯性及數據本地性兩個角度出發，提出了一種數據關聯性驅動的大數據處理任務優化調度方案：D3S2（data_dependency_driven scheduling scheme）.D3S2由兩部分組成：（1）數據關聯性感知的數據優化放置機制（dependency-aware placement mechanism，簡稱DAPM），根據日志信息挖掘數據關聯性，進而將強關聯的數據聚合并放置于相同機架上，減少了跨機架的數據遷移；（2）數據遷移代價感知的任務優化調度機制（transfer-aware scheduling mechanism，簡稱TASM），完成數據放置后，以數據本地性為約束，對任務進行統一調度，最小化任務執行過程中的數據遷移代價.DAPM和TASM互相提供決策依據，以任務執行代價最小化為目標不斷迭代調整調度方案，直至最優任務調度方案．在Hadoop平臺上進行的實驗結果表明：較之原生Hadoop，在不增加作業完成時間的基礎上，D3S2減少了作業執行過程中的數據遷移量。
非常好我支持^.^
(0) 0%
不好我反對
(0) 0%
下載地址
關聯性驅動的大數據處理任務調度方案下載
相關電子資料下載
- 數據分析工具有哪幾種模式 83
- 中交興路入選2024北京“數據要素×”典型案例集 886
- 中國鐵塔與海康威視達成戰略合作 217
- spark運行的基本流程 91
- 季豐電子與孤波科技攜手合作為車規量產提供大數據支持 740
- 智慧園區綜合安防系統解決方案 83
- 大數據采集系統分為幾類 269
- 如何在數字化時代實現精益生產的創新發展？ 117
- 智慧水文監測系統 87
- 大數據分析平臺網站 96