前一段時間剛剛入門python爬蟲，有大概半個月時間沒有寫python了，都快遺忘了，于是準備寫個簡單的爬蟲練練手，我覺得網易云音樂最優特色的就是其精準的歌曲推薦和獨具特色的用戶評論，于是寫了這個抓取網易云音樂熱歌榜里的熱評的爬蟲，我也是剛剛入門爬蟲，有什么意見和問題歡迎提出，大家一起共同進步，
廢話就不多說了～
很多人學習python，不知道從何學起，
很多人學習python，掌握了基本語法過后，不知道在哪里尋找案例上手，
很多已經做案例的人，卻不知道如何去學習更加高深的知識，
那么針對這三類人，我給大家提供一個好的學習平臺，免費領取視頻教程，電子書籍，以及課程的源代碼！??¤
QQ群：623406465
我們的目標是爬取網易云中的熱歌排行榜中所有歌曲的熱門評論，
這樣既可以減少我們需要爬取的作業量，又可以保存到高質量的評論，
首先，我們打開網易云網頁版，如圖：
?
點擊排行榜，然后點擊左側云音樂熱歌榜，如圖：
?
我們先隨便打開一個歌曲，找到如何抓取指定的歌曲的熱門歌評的方法，如圖，我選了一個最近我比較喜歡的歌曲為例：
?
進去后我們會看到歌評就在這個頁面的下面，接下來我們就要想辦法獲取這些評論，
接下來打開web控制臺(chrome的話打開開發者工具，如果是其他瀏覽器應該也是類似)，chrome下按F12，如圖：
?
選則Network，然后我們按F5重繪一下，重繪之后得到的資料如下圖所示：
?
可以看到瀏覽器發送了非常多的資訊，那么哪一個才是我們想要的呢？這里我們可以通過狀態碼做一個初步的判斷，status code（狀態碼）標志了服務器請求的狀態，這里狀態碼為200即表示請求正常，而304則表示不正常（狀態碼種類非常多，如果要想詳細了解可以自行搜索，這里不說304具體的含義了），所以我們一般只用看狀態碼為200的請求就可以了，還有就是，我們可以通過右邊欄的預覽來粗略觀察服務器回傳了什么資訊（或者查看回應），通過這兩種方法結合一般我們就可以快速找到我們想要分析的請求，通過反復的查找，終于找到了含有歌評的請求，如圖：
?
可能截圖在CSDN上不是很清楚，我們在一個Name為R_SO_4_489998494?csrf_token=的POST請求中找到了包含這首歌的歌評，我們把這個分塊截圖發出來，這樣可以看的清楚一些：
請求基本資訊：
?
請求頭部：
?
請求中的表單資料：
?
我們可以看到，包含這首歌歌評的請求url為http://music.163.com/weapi/v1/resource/comments/R_SO_4_489998494?csrf_token= ，我們換了幾首歌后發現，這個請求的前部分都是一樣的，只是R_SO_4_后面緊跟的一串數字不一樣，我們可以推測出，每一首歌都有一個指定的id，R_SO_4_后面緊跟的就是這首歌的id，
我們再看一下提交的表單資料，我們會發現表單中需要填兩個資料，名稱為params和encSecKey，后面緊跟的是一大串字符，換幾首歌會發現，每首歌的params和encSecKey都是不一樣的，因此，這兩個資料可能經過一個特定的演算法進行加密過的，
服務器回傳的和評論相關的資料為json格式的，里面含有非常豐富的資訊（比如有關評論者的資訊，評論日期，點贊數，評論內容等等），其中hotComments就是我們要找的熱門評論，總共15條，如圖所示：
?
至此，我們已經確定了方向了，即只需要確定params和encSecKey這兩個引數值即可，但是這兩個引數是經過特定的演算法進行加密的，怎么辦呢？我發現了一個規律，http://music.163.com/weapi/v1/resource/comments/R_SO_4_489998494?csrf_token=中 R_SO_4_后面的數字就是這首歌的id值，而對于不同的歌曲的param和encSecKey值，如果把一首歌比如A的這兩個引數值傳給B這首歌，那么對于相同的頁數，這種引數是通用的，即A的第一頁的兩個引數值傳給其他任何一首歌的兩個引數，都可以獲得相應歌曲的第一頁的評論，對于第二頁，第三頁等也是類似，
而我們其實只需要獲取第一頁的15條熱門評論，所以我們只需要隨便找一首歌，將這首歌第一頁中的該請求中的params和encSecKey這兩個引數值復制下來，就可以使用了，
關于這兩個引數如何解密，強大的知乎上其實已經有答案的了，感興趣的朋友可以進去看一下（https://www.zhihu.com/question/36081767），我們在這里就只需要用我們這種偷懶的辦法就可以完成需求了，xixi，
到此為止，我們如何抓取網易云音樂的熱門評論已經分析完了，我們再分析一下如何獲取云音樂熱歌榜中所有歌曲的資訊，
我們需要獲取云音樂熱歌榜中的所有歌曲的歌曲名和對應的id值，
跟上面的分析步驟類似，我們先進入熱歌榜的網址，如圖：
?
按F12，進入WEB作業臺，如圖：
?
我們在一個名為toplist?id=3778678的GET請求中，找到了該榜單的所有歌曲資訊，
請求對應的資訊如圖：
?
我們預覽一下該請求回傳的結果，如圖：
?
我們在代碼的第524行我們找到了包含歌曲資訊的代碼，如圖：
?
因此，我們只需要將該請求的代碼中，將包含資訊的代碼篩選出來，
我們在這里使用正則運算式進行資料篩選，
通過觀察特點，我們可以通過兩次正則運算式的篩選，將我們需要的歌曲資訊提取出來，
第一次正則運算式我們將該請求回傳的所有代碼中，提取出第525行代碼，
第一次正則運算式如下：<ul ><li><a href="https://www.cnblogs.com/song/?id=\d*?">.*</a></li></ul>
第二次正則運算式我們將該第524行中我們需要的歌曲資訊提取出來，我們需要歌曲的歌名和id，對應的正則運算式如下：
獲取歌名：<li><a href="https://www.cnblogs.com/song/?id=\d*?">(.*?)</a></li>
獲取歌曲的id：<li><a href="https://www.cnblogs.com/song/?id=(\d*?)">.*?</a></li>
到此，我們整個程序已經分析完了，上代碼看具體細節～～
代碼如下：
#!/usr/bin/env python3
# -*- coding: utf-8 -*-
import re
import urllib.request
import urllib.error
import urllib.parse
import json
def get_all_hotSong(): #獲取熱歌榜所有歌曲名稱和id
url='http://music.163.com/discover/toplist?id=3778678' #網易云云音樂熱歌榜url
header={ #請求頭部
'User-Agent':'Mozilla/5.0 (X11; Fedora; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.36'
}
request=urllib.request.Request(url=url, headers=header)
html=urllib.request.urlopen(request).read().decode('utf8') #打開url
html=str(html) #轉換成str
pat1=r'<ul ><li><a href="https://www.cnblogs.com/song/?id=\d*?">.*</a></li></ul>' #進行第一次篩選的正則運算式
result=re.compile(pat1).findall(html) #用正則運算式進行篩選
result=result[0] #獲取tuple的第一個元素
pat2=r'<li><a href="https://www.cnblogs.com/song/?id=\d*?">(.*?)</a></li>' #進行歌名篩選的正則運算式
pat3=r'<li><a href="https://www.cnblogs.com/song/?id=(\d*?)">.*?</a></li>' #進行歌ID篩選的正則運算式
hot_song_name=re.compile(pat2).findall(result) #獲取所有熱門歌曲名稱
hot_song_id=re.compile(pat3).findall(result) #獲取所有熱門歌曲對應的Id
return hot_song_name,hot_song_id
def get_hotComments(hot_song_name,hot_song_id):
url='http://music.163.com/weapi/v1/resource/comments/R_SO_4_' + hot_song_id + '?csrf_token=' #歌評url
header={ #請求頭部
'User-Agent':'Mozilla/5.0 (X11; Fedora; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.36'
}
#post請求表單資料
data=https://www.cnblogs.com/sn8888/archive/2020/10/16/{'params':'zC7fzWBKxxsm6TZ3PiRjd056g9iGHtbtc8vjTpBXshKIboaPnUyAXKze+KNi9QiEz/IieyRnZfNztp7yvTFyBXOlVQP/JdYNZw2+GRQDg7grOR2ZjroqoOU2z0TNhy+qDHKSV8ZXOnxUF93w3DA51ADDQHB0IngL+v6N8KthdVZeZBe0d3EsUFS8ZJltNRUJ','encSecKey':'4801507e42c326dfc6b50539395a4fe417594f7cf122cf3d061d1447372ba3aa804541a8ae3b3811c081eb0f2b71827850af59af411a10a1795f7a16a5189d163bc9f67b3d1907f5e6fac652f7ef66e5a1f12d6949be851fcf4f39a0c2379580a040dc53b306d5c807bf313cc0e8f39bf7d35de691c497cda1d436b808549acc'}
postdata=https://www.cnblogs.com/sn8888/archive/2020/10/16/urllib.parse.urlencode(data).encode('utf8') #進行編碼
request=urllib.request.Request(url,headers=header,data=https://www.cnblogs.com/sn8888/archive/2020/10/16/postdata)
reponse=urllib.request.urlopen(request).read().decode('utf8')
json_dict=json.loads(reponse) #獲取json
hot_commit=json_dict['hotComments'] #獲取json中的熱門評論
num=0
fhandle=open('./song_comments','a') #寫入檔案
fhandle.write(hot_song_name+':'+'\n')
for item in hot_commit:
num+=1
fhandle.write(str(num)+'.'+item['content']+'\n')
fhandle.write('\n==============================================\n\n')
fhandle.close()
hot_song_name,hot_song_id=get_all_hotSong() #獲取熱歌榜所有歌曲名稱和id
num=0
while num < len(hot_song_name): #保存所有熱歌榜中的熱評
print('正在抓取第%d首歌曲熱評...'%(num+1))
get_hotComments(hot_song_name[num],hot_song_id[num])
print('第%d首歌曲熱評抓取成功'%(num+1))
num+=1
代碼運行結果如下：
?
對比一下網頁上《如果我愛你》這首歌的歌評和我們保存下的歌評：
?
?
資訊無誤～
轉載請註明出處，本文鏈接：https://www.uj5u.com/houduan/174407.html
標籤：其他