??大家好，我是不溫卜火，是一名計算機學院大資料專業大三的學生，昵稱來源于成語—
不溫不火，本意是希望自己性情溫和，作為一名互聯網行業的小白，博主寫博客一方面是為了記錄自己的學習程序，另一方面是總結自己所犯的錯誤希望能夠幫助到很多和自己一樣處于起步階段的萌新，但由于水平有限，博客中難免會有一些錯誤出現，有紕漏之處懇請各位大佬不吝賜教！暫時只在csdn這一個平臺進行更新，博客主頁：https://buwenbuhuo.blog.csdn.net/，
PS：由于現在越來越多的人未經本人同意直接爬取博主本人文章，博主在此特別宣告：未經本人允許，禁止轉載！！！
目錄
- 一、小小課堂
- 二、網頁分析
- 三、反爬
- 四、內容獲取
- 五、翻頁設計
- 六、保存圖片
- 七、完整代碼
- 八、最終結果
一、小小課堂
如今的網路直播非常火，有直播游戲的，直播旅行的…，有的人是去看美女主播的，有的人是抱著獵奇的心理的，有的是去尋找存在感的，有的就是純粹消磨時間的，打發無聊，寂寞的…
既然是行業，那么就必定有競爭，經過了一段時間的發展，現在的直播行業你能想到的，無非是斗魚或者虎牙這兩大平臺，其他的直播平臺相較于此都略顯遜色，
相信各位大都會在閑暇之時看一些直播，由于博主是個熱愛游戲的宅男，所以賊鐘愛這兩個平臺的游戲模塊的主播，比如虎牙的彩旗，斗魚的王繼超…那么既然你喜歡觀看直播，不知道你有沒有想過爬取直播的資料，來看你所鐘愛的主播的排名情況呢？
在此，本博主就以斗魚直播為例，進行主播內容的爬取，
二、網頁分析
首先我們先查看所有的在線直播
URL：https://www.douyu.com/directory/all
我們在打開之后，發現是下圖這樣的，
下面先點擊第二頁，觀察其URL是否有所變化
這個時候，我們發現分頁的時候url沒發生變化，基本可以確定是通過異步加載的，
由于已經確定了此網頁是由異步加載的，那么，接下來我們就需要通過點擊開發者選項中Network的XHR查找我們需要的URL，
通過不斷翻頁，我們找到了URL，
通過對比，我們發現此URL正是我們需要找的URL，點擊Headers 復制URL
https://www.douyu.com/gapi/rkc/directory/mixList/0_0/2
我們下面試驗下，通過修改URL最后的數字能否達到翻頁的效果，我們以第三頁為例，
由此我們可以斷定所有的URL為下列的這種形式
https://www.douyu.com/gapi/rkc/directory/mixList/0_0/1
https://www.douyu.com/gapi/rkc/directory/mixList/0_0/2
https://www.douyu.com/gapi/rkc/directory/mixList/0_0/3
https://www.douyu.com/gapi/rkc/directory/mixList/0_0/4
......
三、反爬
由于這種網站一般反爬都比較完善，所以最好就是真實的模擬成瀏覽器訪問，那么最簡單的就是直接把打開開發者選項找到的cookie這些全都用上(其實是不想驗證-，-)，
首先我們需要先找到此部分在哪！
🆗，下面我們把此部分復制出來
"""
accept: application/json, text/plain, */*
accept-encoding: gzip, deflate, br
accept-language: zh-CN,zh;q=0.9
cookie: dy_did=4844ec86b28c11d7d7c8b99000021501; acf_did=4844ec86b28c11d7d7c8b99000021501; acf_auth=9708CsFeg3RcDAECkBDT4Qji%2BPh5LV%2FNnFqX02YFz8%2BEAx0aGCTluy2zg4ChOu%2FrZ6NciX5j2FGYiQm5ggjPl0PX2BeNtnCPeLhqnpD8vHkZyTtKFXrG; dy_auth=2750VlVL%2Bwpc1BMjf85852zVxRl27Lansow3Eid1aiUkwVQrTpuuWro7EHl6pBlFW9jIRgW0kJ9mrcHMSEsbWYKBbjwU%2FFUR5R1zvhEvWQVC%2FeW1Ir7D; wan_auth37wan=de5497bf941cCxlNlIURQxQrIxreTkCAMyMb1QmNT3X4sDbfUqGUXVO6puH7KgEtBVVg8dk2948%2BcdvYnpoS%2Bvlu%2BH%2FNNUS5g6RpX9VRcfJC%2FmVYbQ; acf_uid=47553902; acf_username=47553902; acf_nickname=%E6%B7%A1%E5%BF%98%E4%B8%B6%E5%B9%B4%E5%8D%8E%E7%81%AC; acf_own_room=0; acf_groupid=1; acf_phonestatus=1; acf_ct=0; acf_ltkid=91034379; acf_biz=1; acf_stk=58e72209cb97b33e; acf_avatar=//apic.douyucdn.cn/upload/avatar/default/11_; Hm_lvt_e99aee90ec1b2106afe7ec3b199020a7=1602288432,1602913353,1603116859,1603159819; Hm_lpvt_e99aee90ec1b2106afe7ec3b199020a7=1603163131
referer: https://www.douyu.com/directory/all
sec-fetch-dest: empty
sec-fetch-mode: cors
sec-fetch-site: same-origin
user-agent: Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/86.0.4240.75 Safari/537.36
x-requested-with: XMLHttpRequest
"""
下面通過分割使其能夠直接為我們所用
from pprint import pprint
headers = """accept: application/json, text/plain, */*
accept-encoding: gzip, deflate, br
accept-language: zh-CN,zh;q=0.9
cookie: dy_did=4844ec86b28c11d7d7c8b99000021501; acf_did=4844ec86b28c11d7d7c8b99000021501; acf_auth=9708CsFeg3RcDAECkBDT4Qji%2BPh5LV%2FNnFqX02YFz8%2BEAx0aGCTluy2zg4ChOu%2FrZ6NciX5j2FGYiQm5ggjPl0PX2BeNtnCPeLhqnpD8vHkZyTtKFXrG; dy_auth=2750VlVL%2Bwpc1BMjf85852zVxRl27Lansow3Eid1aiUkwVQrTpuuWro7EHl6pBlFW9jIRgW0kJ9mrcHMSEsbWYKBbjwU%2FFUR5R1zvhEvWQVC%2FeW1Ir7D; wan_auth37wan=de5497bf941cCxlNlIURQxQrIxreTkCAMyMb1QmNT3X4sDbfUqGUXVO6puH7KgEtBVVg8dk2948%2BcdvYnpoS%2Bvlu%2BH%2FNNUS5g6RpX9VRcfJC%2FmVYbQ; acf_uid=47553902; acf_username=47553902; acf_nickname=%E6%B7%A1%E5%BF%98%E4%B8%B6%E5%B9%B4%E5%8D%8E%E7%81%AC; acf_own_room=0; acf_groupid=1; acf_phonestatus=1; acf_ct=0; acf_ltkid=91034379; acf_biz=1; acf_stk=58e72209cb97b33e; acf_avatar=//apic.douyucdn.cn/upload/avatar/default/11_; Hm_lvt_e99aee90ec1b2106afe7ec3b199020a7=1602288432,1602913353,1603116859,1603159819; Hm_lpvt_e99aee90ec1b2106afe7ec3b199020a7=1603163131
referer: https://www.douyu.com/directory/all
sec-fetch-dest: empty
sec-fetch-mode: cors
sec-fetch-site: same-origin
user-agent: Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/86.0.4240.75 Safari/537.36
x-requested-with: XMLHttpRequest"""
pprint({i.split(": ")[0]:i.split(": ")[1] for i in headers.splitlines()})
運行結果
最終headers
headers = {
'accept': 'application/json, text/plain, */*',
'accept-encoding': 'gzip, deflate, br',
'accept-language': 'zh-CN,zh;q=0.9',
'cookie': 'dy_did=5cbce4bf40d16268812d1ca500011601; acf_did=5cbce4bf40d16268812d1ca500011601; Hm_lvt_e99aee90ec1b2106afe7ec3b199020a7=1602166389,1602232258; Hm_lpvt_e99aee90ec1b2106afe7ec3b199020a7=1602289306',
'referer': 'https://www.douyu.com/directory/all',
'sec-fetch-dest': 'empty',
'sec-fetch-mode': 'cors',
'sec-fetch-site': 'same-origin',
'user-agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_4) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/86.0.4240.75 Safari/537.36',
'x-requested-with': 'XMLHttpRequest'
}
四、內容獲取
我們通過觀察可以看到，我們所要爬取的內容都在上面的["data"]["rl"]內，所以我們可以先獲取串列內的所有內容然后通過回圈遍歷，把我們所需要的內容全部遍歷出來，
在此就直接給出代碼及運行結果了
data = parse_json(url)
data_list = data["data"]["rl"]
for data in data_list:
item = {}
item["name"] = data["rn"]#直播名字
item["anchor"] = data["nn"]#主播名字
item["hot"] = data["ol"]#熱度
item["pic"] = data["rs16"]#圖片
item["url"] = "https://www.douyu.com"+data["url"]#房間網址
print(item)
五、翻頁設計
所有的內容都已經獲取了，那么下面就需要思考的是如何翻頁！
通過查看，我們知道現在總共有104頁得直播內容，那么我們接下來就通過代碼自動獲取這些URL
base_url = "https://www.douyu.com/gapi/rkc/directory/mixList/0_0/{}"
#分頁
for i in range(1,105):
print(base_url.format(i))
我們先來運行一下
六、保存圖片
如果保存圖片的話，我們由于已經找到了圖片鏈接，因此只要把它保存到本地即可，代碼如下：
#獲取位元組
content = parse_content(item["pic"])
# 檔案的名字
filename = "./files/douyu/{}".format(item["pic"].split("/")[-2])
# 檔案寫
with open(filename, "wb") as file:
file.write(content)
七、完整代碼
# encoding: utf-8
'''
@author 李華鑫
@create 2020-10-10 8:52
Mycsdn：https://buwenbuhuo.blog.csdn.net/
@contact: 459804692@qq.com
@software: Pycharm
@file: 保存圖片版本.py
@Version：1.0
'''
import requests
import csv
import time
import random
import os
base_url = "https://www.douyu.com/gapi/rkc/directory/mixList/0_0/{}"
headers = {
'accept': 'application/json, text/plain, */*',
'accept-encoding': 'gzip, deflate, br',
'accept-language': 'zh-CN,zh;q=0.9',
'cookie': 'dy_did=5cbce4bf40d16268812d1ca500011601; acf_did=5cbce4bf40d16268812d1ca500011601; Hm_lvt_e99aee90ec1b2106afe7ec3b199020a7=1602166389,1602232258; Hm_lpvt_e99aee90ec1b2106afe7ec3b199020a7=1602289306',
'referer': 'https://www.douyu.com/directory/all',
'sec-fetch-dest': 'empty',
'sec-fetch-mode': 'cors',
'sec-fetch-site': 'same-origin',
'user-agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_4) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/86.0.4240.75 Safari/537.36',
'x-requested-with': 'XMLHttpRequest'
}
def parse_json(url, params={}):
"""決議url，得到字典"""
time.sleep(random.random())
response = requests.get(url=url, headers=headers, params=params)
return response.json()
def parse_content(url, params={}):
"""決議url，得到位元組"""
time.sleep(random.random())
response = requests.get(url=url, headers=headers, params=params)
return response.content
def get_data(url):
"""獲取資料"""
data = parse_json(url)
data_list = data["data"]["rl"]
for data in data_list:
item = {}
item["name"] = data["rn"]#直播名字
item["anchor"] = data["nn"]#主播名字
item["hot"] = data["ol"]#熱度
item["pic"] = data["rs16"]#圖片
item["url"] = "https://www.douyu.com"+data["url"]#房間網址
save(item)
save_pic(item)
def save(item):
"""將資料保存到csv中"""
with open("./斗魚直播.csv", "a", encoding="utf-8") as file:
writer = csv.writer(file)
writer.writerow(item.values())
def save_pic(item):
"""保存圖片"""
# 創建檔案夾
if not os.path.exists("./files/douyu"):
os.makedirs("./files/douyu")
#獲取位元組
content = parse_content(item["pic"])
# 檔案的名字
filename = "./files/douyu/{}".format(item["pic"].split("/")[-2])
# 檔案寫
with open(filename, "wb") as file:
file.write(content)
def main():
#分頁
for i in range(1,105):
print(i)
get_data(base_url.format(i))
if __name__ == '__main__':
main()
八、最終結果
美好的日子總是短暫的，雖然還想繼續與大家暢談，但是本篇博文到此已經結束了，如果還嫌不夠過癮，不用擔心，我們下篇見！
??好書不厭讀百回，熟讀課思子自知，而我想要成為全場最靚的仔，就必須堅持通過學習來獲取更多知識，用知識改變命運，用博客見證成長，用行動證明我在努力，
??如果我的博客對你有幫助、如果你喜歡我的博客內容，請“點贊” “評論”“收藏”一鍵三連哦！聽說點贊的人運氣不會太差，每一天都會元氣滿滿呦！如果實在要白嫖的話，那祝你開心每一天，歡迎常來我博客看看，
??碼字不易，大家的支持就是我堅持下去的動力，點贊后不要忘了關注我哦！
轉載請註明出處，本文鏈接：https://www.uj5u.com/qita/200820.html
標籤：其他