基于Spark的ItemBased推薦算法性能優(yōu)化
大小:0.91 MB 人氣: 2017-11-30 需要積分:2
MapReduce計算場景下,復(fù)雜的大數(shù)據(jù)挖掘類算法通常需要多個MapReduce作業(yè)協(xié)作完成,但多個作業(yè)之間嚴重的冗余磁盤讀寫及重復(fù)的資源申請操作,使得算法的性能嚴重降低。為提高ItemBased推薦算法的計算效率,首先對MapReduce平臺下ItemBased協(xié)同過濾算法存在的性能問題進行了分析;在此基礎(chǔ)上利用Spark迭代計算及內(nèi)存計算上的優(yōu)勢提高算法的執(zhí)行效率,并實現(xiàn)了基于Spark平臺的ItemBased推薦算法。實驗結(jié)果表明:當集群節(jié)點規(guī)模分別為10與20時,算法在Spark中的運行時間分別只有MapReduce中的25.6%及30. 8%,Spark平臺下的算法相比MapReduce平臺,執(zhí)行效率整體提高3倍以上。
?
非常好我支持^.^
(0) 0%
不好我反對
(0) 0%
下載地址
基于Spark的ItemBased推薦算法性能優(yōu)化下載
相關(guān)電子資料下載
- 天數(shù)智芯主導(dǎo)的DeepSpark開源社區(qū)發(fā)布百大應(yīng)用開放平臺24.06版本 436
- spark運行的基本流程 91
- Spark基于DPU的Native引擎算子卸載方案 180
- 百度前高管景鯤與朱凱華創(chuàng)立AI搜索公司,Genspark產(chǎn)品驚艷上線 458
- 關(guān)于Spark的從0實現(xiàn)30s內(nèi)實時監(jiān)控指標計算 111
- TikTok將開發(fā)獨立版推薦算法,以滿足美國用戶需求? 426
- “Spark+Hive”在DPU環(huán)境下的性能測評 | OLAP數(shù)據(jù)庫引擎選型白皮書(24版)DPU部分 212
- 芯科科技和Arduino合作創(chuàng)建SparkFun Thing Plus Matter板 234
- Sparkle撼與科技發(fā)布TBX-750FA-V2顯卡塢,支持3.5槽厚顯 243
- 如何注冊星閃Sparklink設(shè)備媒體接入層標識、地址碼? 246