網頁鏈接分類的并行算法
大小：0.72 MB 人氣： 2018-01-19 需要積分：1
1998年4月，在第七屆國際WWW（ World Wide Web）大會上，Page等提出了PageRank算法。這是一種基于網頁鏈接的排序算法，根據網頁之間的鏈接結構來計算網頁的重要性，從而實現網頁排序。Google搜索引擎使用該算法對網頁進行了準確的排名。
隨著信息技術的發展，網頁數量急劇增加，采用串行PageRank算法迭代計算網頁排名時，需要消耗大量的存儲和計算資源，且計算效率相當低下，尋求一種高效排名算法勢在必行。Hadoop是Apache公司提出的開源分布式計算框架，該框架下的MapReduce并行編程模型非常適合于海量數據的并行計算。
針對串行PageRank算法在處理海量網頁數據時效率低下的問題，提出一種基于網頁鏈接分類的PageRank并行算法。首先，將網頁按照網頁所屬網站分類，為來自不同站點的網頁設置不同的權重；其次，利用Hadoop并行計算框架，結合MapReduce分而治之的特點，并行計算網頁排名；最后，采用一種包含3層：數據層、預處理層、計算層的數據壓縮方法，對并行算法進行優化。實驗結果表明，與串行PageRank算法相比，所提算法在最好情況下結果準確率提高了12%，計算效率提高了33%。
非常好我支持^.^
(0) 0%
不好我反對
(0) 0%
下載地址
網頁鏈接分類的并行算法下載
相關電子資料下載
- 人工神經網絡模型的分類有哪些 134
- 一文快速了解RFID技術的構成及分類 109
- 車載無線技術分類介紹 412
- 機器視覺光源的作用、分類及實際應用 118
- 神經元的分類包括哪些 234
- 卷積神經網絡分類方法有哪些 102
- cnn卷積神經網絡分類有哪些 106
- 什么神經網絡模型適合做分類 114
- 卷積神經網絡在文本分類領域的應用 152
- 風華貼片電容的分類詳細介紹 86