前一段時間剛剛?cè)腴Tpython爬蟲，有大概半個月時間沒有寫python了，都快遺忘了。于是準備寫個簡單的爬蟲練練手，我覺得網(wǎng)易云音樂最優(yōu)特色的就是其精準的歌曲推薦和獨具特色的用戶評論，于是寫了這個抓取網(wǎng)易云音樂熱歌榜里的熱評的爬蟲。我也是剛剛?cè)腴T爬蟲，有什么意見和問題歡迎提出，大家一起共同進步。

廢話就不多說了～

我們的目標是爬取網(wǎng)易云中的熱歌排行榜中所有歌曲的熱門評論。

這樣既可以減少我們需要爬取的工作量，又可以保存到高質(zhì)量的評論。

首先，我們打開網(wǎng)易云網(wǎng)頁版，如圖：

點擊排行榜，然后點擊左側(cè)云音樂熱歌榜，如圖：

我們先隨便打開一個歌曲，找到如何抓取指定的歌曲的熱門歌評的方法，如圖，我選了一個最近我比較喜歡的歌曲為例：

進去后我們會看到歌評就在這個頁面的下面，接下來我們就要想辦法獲取這些評論。

接下來打開web控制臺(chrom的話打開開發(fā)者工具，如果是其他瀏覽器應(yīng)該也是類似)，chrom下按F12，如圖：

選則Network，然后我們按F5刷新一下，刷新之后得到的數(shù)據(jù)如下圖所示：

可以看到瀏覽器發(fā)送了非常多的信息，那么哪一個才是我們想要的呢？這里我們可以通過狀態(tài)碼做一個初步的判斷，status code（狀態(tài)碼）標志了服務(wù)器請求的狀態(tài)，這里狀態(tài)碼為200即表示請求正常，而304則表示不正常（狀態(tài)碼種類非常多，如果要想詳細了解可以自行搜索，這里不說304具體的含義了）。所以我們一般只用看狀態(tài)碼為200的請求就可以了，還有就是，我們可以通過右邊欄的預(yù)覽來粗略觀察服務(wù)器返回了什么信息（或者查看響應(yīng)）。通過這兩種方法結(jié)合一般我們就可以快速找到我們想要分析的請求。通過反復(fù)的查找，終于找到了含有歌評的請求，如圖：

可能截圖在CSDN上不是很清楚，我們在一個Name為R_SO_4_489998494?csrf_token=的POST請求中找到了包含這首歌的歌評。我們把這個分塊截圖發(fā)出來，這樣可以看的清楚一些：

請求基本信息：

請求頭部：

請求中的表單數(shù)據(jù)：

我們可以看到，包含這首歌歌評的請求url為http://music.163.com/weapi/v1/resource/comments/R_SO_4_489998494?csrf_token=，我們換了幾首歌后發(fā)現(xiàn)，這個請求的前部分都是一樣的，只是R_SO_4_后面緊跟的一串數(shù)字不一樣。我們可以推測出，每一首歌都有一個指定的id，R_SO_4_后面緊跟的就是這首歌的id。

我們再看一下提交的表單數(shù)據(jù)，我們會發(fā)現(xiàn)表單中需要填兩個數(shù)據(jù)，名稱為params和encSecKey。后面緊跟的是一大串字符，換幾首歌會發(fā)現(xiàn)，每首歌的params和encSecKey都是不一樣的，因此，這兩個數(shù)據(jù)可能經(jīng)過一個特定的算法進行加密過的。

服務(wù)器返回的和評論相關(guān)的數(shù)據(jù)為json格式的，里面含有非常豐富的信息（比如有關(guān)評論者的信息，評論日期，點贊數(shù)，評論內(nèi)容等等），其中hotComments就是我們要找的熱門評論，總共15條，如圖所示：

至此，我們已經(jīng)確定了方向了，即只需要確定params和encSecKey這兩個參數(shù)值即可。但是這兩個參數(shù)是經(jīng)過特定的算法進行加密的，怎么辦呢？我發(fā)現(xiàn)了一個規(guī)律，http://music.163.com/weapi/v1/resource/comments/R_SO_4_489998494?csrf_token=中 R_SO_4_后面的數(shù)字就是這首歌的id值，而對于不同的歌曲的param和encSecKey值，如果把一首歌比如A的這兩個參數(shù)值傳給B這首歌，那么對于相同的頁數(shù)，這種參數(shù)是通用的，即A的第一頁的兩個參數(shù)值傳給其他任何一首歌的兩個參數(shù)，都可以獲得相應(yīng)歌曲的第一頁的評論，對于第二頁，第三頁等也是類似。

而我們其實只需要獲取第一頁的15條熱門評論，所以我們只需要隨便找一首歌，將這首歌第一頁中的該請求中的params和encSecKey這兩個參數(shù)值復(fù)制下來，就可以使用了。

關(guān)于這兩個參數(shù)如何解密，強大的知乎上其實已經(jīng)有答案的了，感興趣的朋友可以進去看一下（https://www.zhihu.com/question/36081767），我們在這里就只需要用我們這種偷懶的辦法就可以完成需求了，xixi。

到此為止，我們?nèi)绾巫ト【W(wǎng)易云音樂的熱門評論已經(jīng)分析完了，我們再分析一下如何獲取云音樂熱歌榜中所有歌曲的信息。

我們需要獲取云音樂熱歌榜中的所有歌曲的歌曲名和對應(yīng)的id值。

跟上面的分析步驟類似，我們先進入熱歌榜的網(wǎng)址，如圖：

按F12，進入WEB工作臺，如圖：

我們在一個名為toplist?id=3778678的GET請求中，找到了該榜單的所有歌曲信息。

請求對應(yīng)的信息如圖：

我們預(yù)覽一下該請求返回的結(jié)果，如圖：

我們在代碼的第524行我們找到了包含歌曲信息的代碼，如圖：

因此，我們只需要將該請求的代碼中，將包含信息的代碼篩選出來。

我們在這里使用正則表達式進行數(shù)據(jù)篩選。

通過觀察特點，我們可以通過兩次正則表達式的篩選，將我們需要的歌曲信息提取出來。

第一次正則表達式我們將該請求返回的所有代碼中，提取出第525行代碼。

第一次正則表達式如下：

• .*

第二次正則表達式我們將該第524行中我們需要的歌曲信息提取出來，我們需要歌曲的歌名和id，對應(yīng)的正則表達式如下：

獲取歌名：

獲取歌曲的id：

到此，我們整個過程已經(jīng)分析完了，上代碼看具體細節(jié)～～

代碼如下：

代碼運行結(jié)果如下：

對比一下網(wǎng)頁上《如果我愛你》這首歌的歌評和我們保存下的歌評：