電子發(fā)燒友App
創(chuàng)作
發(fā)文章
發(fā)帖 
提問 
發(fā)資料
發(fā)視頻資料介紹
針對內(nèi)存計(jì)算框架Spark在作業(yè)Shuffle階段一次分區(qū)產(chǎn)生的數(shù)據(jù)傾斜問題，提出一種內(nèi)存計(jì)算框架的迭代填充分區(qū)映射算法（IFPM）。首先，分析Spark作業(yè)的執(zhí)行機(jī)制，建立作業(yè)效率模型和分區(qū)映射模型，給出作業(yè)執(zhí)行時(shí)間和分配傾斜度的定義，證明這些定義與作業(yè)執(zhí)行效率的因果邏輯關(guān)系；然后，根據(jù)模型和定義求解，設(shè)計(jì)擴(kuò)展式數(shù)據(jù)分區(qū)算法（EPA）和迭代式分區(qū)映射算法（IMA），在Map端建立一對多分區(qū)函數(shù)，并通過分區(qū)函數(shù)將部分?jǐn)?shù)據(jù)填入擴(kuò)展區(qū)內(nèi)，在數(shù)據(jù)分布局部感知后再執(zhí)行擴(kuò)展區(qū)迭代式的多輪數(shù)據(jù)分配，根據(jù)Reduce端已分配數(shù)據(jù)量建立適應(yīng)性的擴(kuò)展區(qū)映射規(guī)則，對原生區(qū)的數(shù)據(jù)傾斜進(jìn)行逐步修正，以此保障數(shù)據(jù)分配的均衡性。實(shí)驗(yàn)結(jié)果表明，在不同源數(shù)據(jù)分布條件下，算法均提高了作業(yè)Shuffle過程分區(qū)映射合理性，縮減了寬依賴Stage的同步時(shí)間，提高了作業(yè)執(zhí)行效率。
下載該資料的人也在下載
下載該資料的人還在閱讀
更多 >
- 基于向量分區(qū)和三維骨架化的CT圖像算法 22次下載
- 基于低秩矩陣填充技術(shù)的推薦算法 14次下載
- 基于無約束優(yōu)化的無參數(shù)填充函數(shù)算法 9次下載
- 漢語的零形式識別與填充方法研究綜述 2次下載
- 基于虛擬網(wǎng)絡(luò)功能組合的服務(wù)功能鏈及映射算法 5次下載
- 基于最優(yōu)子網(wǎng)的虛擬網(wǎng)絡(luò)映射算法 5次下載
- 基于拓?fù)浜蜋?quán)值的虛擬網(wǎng)絡(luò)映射算法 4次下載
- 一種高效節(jié)能的虛擬網(wǎng)絡(luò)映射算法 6次下載
- 一種多目標(biāo)虛擬網(wǎng)絡(luò)映射VNE-MOPSO算法 16次下載
- 基于雙重分組和對位映射的防碰撞查詢樹算法 7次下載
- 一種新的鄰近節(jié)點(diǎn)分組映射算法 6次下載
- 一種生存性虛擬網(wǎng)絡(luò)映射算法 3次下載
- 基于包簇映射的資源管理框架 0次下載
- 紋理映射算法的改進(jìn)研究 11次下載
- 一種簡單的圖案填充算法
- 拆解mmap內(nèi)存映射的本質(zhì)！ 1870次閱讀
- EC SRAM映射到CPU Memory空間的共享內(nèi)存設(shè)計(jì) 1741次閱讀
- 邊緣計(jì)算計(jì)算卸載與資源分配聯(lián)合優(yōu)化算法 1275次閱讀
- 單片機(jī)的內(nèi)存映射圖解析 1274次閱讀
- 單片機(jī)的內(nèi)存映射圖解析 1799次閱讀
- LINS算法的框架與代碼分析 3271次閱讀
- 一文詳細(xì)了解mmap內(nèi)存映射 2410次閱讀
- 電工基礎(chǔ)：如何計(jì)算電纜橋架填充率 8550次閱讀
- 虛擬機(jī)：linux高端內(nèi)存管理之永久內(nèi)核映射 3696次閱讀
- 淺析linux內(nèi)存映射原理 1640次閱讀
- 存儲器的分區(qū)內(nèi)存管理與分區(qū)存儲管理 3167次閱讀
- 基于多元LDPC碼迭代編碼算法的混合校驗(yàn)矩陣構(gòu)造算法 4806次閱讀
- Linux內(nèi)核地址映射模型與Linux內(nèi)核高端內(nèi)存詳解 3474次閱讀
- 簡單剖析虛擬內(nèi)存與交換分區(qū) 6323次閱讀
- 一種FFT插值正弦波快速頻率估計(jì)算法 9657次閱讀
上傳資料賺積分下載排行
本周
- 1DC電源插座圖紙
- 0.67 MB | 2次下載 | 免費(fèi)
- 2AN158 GD32VW553 Wi-Fi開發(fā)指南
- 1.51MB | 2次下載 | 免費(fèi)
- 3AN148 GD32VW553射頻硬件開發(fā)指南
- 2.07MB | 1次下載 | 免費(fèi)
- 4AN111-LTC3219用戶指南
- 84.32KB | 次下載 | 免費(fèi)
- 5AN153-用于電源系統(tǒng)管理的Linduino
- 1.38MB | 次下載 | 免費(fèi)
- 6AN-283: Σ-Δ型ADC和DAC[中文版]
- 677.86KB | 次下載 | 免費(fèi)
- 7SM2018E 支持可控硅調(diào)光線性恒流控制芯片
- 402.24 KB | 次下載 | 免費(fèi)
- 8AN-1308: 電流檢測放大器共模階躍響應(yīng)
- 545.42KB | 次下載 | 免費(fèi)
本月
- 1ADI高性能電源管理解決方案
- 2.43 MB | 450次下載 | 免費(fèi)
- 2免費(fèi)開源CC3D飛控資料（電路圖&PCB源文件、BOM、
- 5.67 MB | 138次下載 | 1 積分
- 3基于STM32單片機(jī)智能手環(huán)心率計(jì)步器體溫顯示設(shè)計(jì)
- 0.10 MB | 130次下載 | 免費(fèi)
- 4使用單片機(jī)實(shí)現(xiàn)七人表決器的程序和仿真資料免費(fèi)下載
- 2.96 MB | 44次下載 | 免費(fèi)
- 53314A函數(shù)發(fā)生器維修手冊
- 16.30 MB | 31次下載 | 免費(fèi)
- 6美的電磁爐維修手冊大全
- 1.56 MB | 24次下載 | 5 積分
- 7如何正確測試電源的紋波
- 0.36 MB | 17次下載 | 免費(fèi)
- 8感應(yīng)筆電路圖
- 0.06 MB | 10次下載 | 免費(fèi)
總榜
- 1matlab軟件下載入口
- 未知 | 935121次下載 | 10 積分
- 2開源硬件-PMP21529.1-4 開關(guān)降壓/升壓雙向直流/直流轉(zhuǎn)換器 PCB layout 設(shè)計(jì)
- 1.48MB | 420062次下載 | 10 積分
- 3Altium DXP2002下載入口
- 未知 | 233088次下載 | 10 積分
- 4電路仿真軟件multisim 10.0免費(fèi)下載
- 340992 | 191367次下載 | 10 積分
- 5十天學(xué)會(huì)AVR單片機(jī)與C語言視頻教程 下載
- 158M | 183335次下載 | 10 積分
- 6labview8.5下載
- 未知 | 81581次下載 | 10 積分
- 7Keil工具M(jìn)DK-Arm免費(fèi)下載
- 0.02 MB | 73810次下載 | 10 積分
- 8LabVIEW 8.6下載
- 未知 | 65988次下載 | 10 積分
工商網(wǎng)監(jiān)
評論