Spark分布式下的模糊C均值算法
推薦 + 挑錯(cuò) + 收藏(0) + 用戶評(píng)論（0）
針對(duì)聚類算法需要處理數(shù)據(jù)集的規(guī)模越來越大、時(shí)效性要求越來越高，對(duì)算法的大數(shù)據(jù)適應(yīng)能力和性能要求更高的問題，提出一種在Spark分布式內(nèi)存計(jì)算平臺(tái)下的模糊C均值（FCM）算法Spark-FCM。首先對(duì)矩陣通過水平分割實(shí)現(xiàn)分布式存儲(chǔ)，不同向量存儲(chǔ)在不同節(jié)點(diǎn)；然后基于FCM算法的計(jì)算特點(diǎn)，設(shè)計(jì)了分布式和緩存敏感的常用矩陣操作，包括乘法、轉(zhuǎn)置和加法等；最后基于矩陣操作和Spark平臺(tái)特點(diǎn)，設(shè)計(jì)了Spark-FCM算法，主要數(shù)據(jù)結(jié)構(gòu)采用分布式矩陣存儲(chǔ)，具有節(jié)點(diǎn)間數(shù)據(jù)移動(dòng)少和每個(gè)步驟分布式計(jì)算特點(diǎn)。通過在單機(jī)和集群環(huán)境下測(cè)試，算法具有良好的可擴(kuò)展性，并可以適應(yīng)大規(guī)模數(shù)據(jù)集，算法性能與數(shù)據(jù)量成線性關(guān)系，集群環(huán)境下性能比單機(jī)提高2-3倍。
非常好我支持^.^
(0) 0%
不好我反對(duì)
(0) 0%
下載地址
Spark分布式下的模糊C均值算法下載
相關(guān)電子資料下載
- 天數(shù)智芯主導(dǎo)的DeepSpark開源社區(qū)發(fā)布百大應(yīng)用開放平臺(tái)24.06版本 436
- spark運(yùn)行的基本流程 91
- Spark基于DPU的Native引擎算子卸載方案 180
- 百度前高管景鯤與朱凱華創(chuàng)立AI搜索公司，Genspark產(chǎn)品驚艷上線 458
- 關(guān)于Spark的從0實(shí)現(xiàn)30s內(nèi)實(shí)時(shí)監(jiān)控指標(biāo)計(jì)算 111
- “Spark+Hive”在DPU環(huán)境下的性能測(cè)評(píng) | OLAP數(shù)據(jù)庫(kù)引擎選型白皮書（24版）DPU部分 212
- 芯科科技和Arduino合作創(chuàng)建SparkFun Thing Plus Matter板 234
- Sparkle撼與科技發(fā)布TBX-750FA-V2顯卡塢，支持3.5槽厚顯 243
- 如何注冊(cè)星閃Sparklink設(shè)備媒體接入層標(biāo)識(shí)、地址碼? 246
- 如何利用DPU加速Spark大數(shù)據(jù)處理？ | 總結(jié)篇 661