您的“關注”和“點贊”，是信任，是認可，是支持，是動力......

如意見相佐，可留言，
本人必將竭盡全力試圖做到準確和全面，終其一生進行修改補充更新，

• 1 爬取斗魚LOL主播人氣資料的思路
• 2 構建請求頭
  • 2.1 構建請求頭概述（為什么要構建請求頭？）
  • 2.1 構建固定請求頭（單個User-Agent）
  • 2.2 構建隨機請求頭（多個User-Agent）
• 3 所用到的其他模塊簡介
  • 3.1 requests 模塊
  • 3.2 re 模塊
  • 3.3 random 模塊
• 4 爬取斗魚LOL主播人氣資料，并顯示排行榜
• 5 文章其他地址
  • 5.1 微信公眾號：碼農阿杰
  • 5.2 CSDN 博客
• 6 參考資料
  • 6.1 Python 3.8.2 documentation

1 爬取斗魚LOL主播人氣資料的思路

（1）分析網頁結構，url 調度
（2）網頁下載
（3）資料抓取
（4）資料精煉
（5）業務處理
（6）資料存盤（演示為控制臺展示資料）

2 構建請求頭

2.1 構建請求頭概述（為什么要構建請求頭？）

有的網站會有反爬蟲措施，一般就是針對于headers中的User-Agent（ User-Agent 頭域的內容包含發出請求的用戶資訊，）的內容做一判斷，

如果沒有headers，往往會被認為是爬蟲腳本，必然會拒絕這樣的網路請求，甚至封掉ip地址，

所以，就需要將爬蟲偽裝成瀏覽器的正常訪問，來避免一些反爬蟲措施，

本文推薦一個稍微不錯的方法：通過User-Agent構建請求頭headers來偽裝爬蟲，在每次提交網路請求時，使用構建好的請求頭去迷惑對方，

2.1 構建固定請求頭（單個User-Agent）

雖然是一個“笨辦法”，但是也能解決一下燃眉之急，如果時間充足，甚至還可以多找一些User-Agent，再寫個隨機函式，每次用不同的User-Agent，也是可以的，

構建一個User-Agent的步驟，如下所示（演示用的是谷歌瀏覽器）：

（1）點開任意的網址（演示用的是www.baidu.com），按下f12鍵，也就是打開開發者工具，如下圖所示：

（2）在上圖中有Network選項，選中之后，按下F5，則會看到Name串列，如下圖所示：

（3）點擊Name串列里任意的一條內容（演示點擊的是第一條內容），如下所示：

（4）會顯示出很多內容，主要有如下所示：

• General：指的是通用頭域，或叫做通用首部，包含了請求和回應都支持的頭域，提供了一些與報文相關的最基本的資訊
• Response Headers：回應頭域，或叫回應頭，包含回應報文，當收到get或post等方法發來的請求后，服務器就要對報文進行回應，
• Request Headers：請求頭域，或叫做請求頭，包含請求報文，HTTP協議使用TCP協議進行傳輸，在應用層協議發起互動之前，首先是TCP的三次握手，完成了TCP三次握手后，用戶會向服務器發出一個請求報文，

演示拿Accept-Encoding、User-Agent即可，如上圖所示，

• Accept-Encoding：瀏覽器能夠進行解碼的資料編碼方式，
• User-Agent：瀏覽器型別，告訴HTTP服務器客戶端瀏覽器使用的作業系統和瀏覽器的版本和名稱，

（5）拿到一個User-Agent，保存到字典中備用，

header = {'Accept-Encoding': 'gzip, deflate, br', 'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/81.0.4044.92 Safari/537.36'}

2.2 構建隨機請求頭（多個User-Agent）

第三方fake_useragent庫（假用戶代理庫），對User-Agent提供了很好的支持，就不用辛辛苦苦一個一個去收集User-Agent了，

首先我們要從fake_useragent庫中匯入UserAgent，然后通過random就可以拿到隨機的UserAgent，

詳細用法請參見 fake_useragent 官網地址，

如果安裝過fake_useragent，可用以下命令查看和圖示如下：

pip list

如果沒有安裝，首先下載安裝fake_useragent庫，命令和圖示如下：

pip install fake_useragent

安裝好fake_useragent庫之后，我們就可以使用嘍！如下代碼所示：

from fake_useragent import UserAgent


for i in range(10):
   print(UserAgent().random)  # 用 print() 函式列印生成的 10 個隨機 User-Agent

運行結果：

Mozilla/5.0 (Macintosh; Intel Mac OS X 10_8_3) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/27.0.1453.93 Safari/537.36
Mozilla/5.0 (Windows NT 4.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/37.0.2049.0 Safari/537.36
Mozilla/5.0 (iPad; CPU OS 5_1 like Mac OS X) AppleWebKit/534.46 (KHTML, like Gecko ) Version/5.1 Mobile/9B176 Safari/7534.48.3
Mozilla/5.0 (Windows NT 6.2) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/28.0.1467.0 Safari/537.36
Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/31.0.1623.0 Safari/537.36
Mozilla/5.0 (Macintosh; Intel Mac OS X 10_8_3) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/27.0.1453.93 Safari/537.36
Mozilla/5.0 (Windows NT 6.2; WOW64) AppleWebKit/537.15 (KHTML, like Gecko) Chrome/24.0.1295.0 Safari/537.15
Mozilla/5.0 (Windows NT 6.2; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/27.0.1500.55 Safari/537.36
Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/34.0.1847.137 Safari/4E423F
Mozilla/5.0 (Macintosh; Intel Mac OS X 10_7_5) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/27.0.1453.93 Safari/537.36

可以保存到字典里備用，隨機請求頭就構建好了，如下代碼所示：

header = {'Accept-Encoding': 'gzip, deflate, br','User-Agent': str(UserAgent().random)}

3 所用到的其他模塊簡介

3.1 requests 模塊

requests可以模擬瀏覽器的請求，比起urllib，requests模塊的api更加便捷，
詳細用法請參見 官方檔案，

3.2 re 模塊

re模塊提供了一系列功能強大的正則運算式(regular expression)工具，它們允許你快速檢查給定字串是否與給定的模式匹配(match函式), 或者包含這個模式(search函式)，正則運算式是以緊湊的語法寫出的字串模式，
詳細用法請參見 Python 標準庫，

3.3 random 模塊

該模塊實作了各種分布的偽亂數生成器，
詳細用法請參見 random，

4 爬取斗魚LOL主播人氣資料，并顯示排行榜

代碼如下所示：

from fake_useragent import UserAgent
import requests
import re
import random


class Spider:
    # 目標頁面地址
    url = 'https://www.douyu.com/g_LOL'
    # url = 'https://www.douyu.com/g_DOTA2'

    # 正則運算式
    # root_pattern = r'</div><div >([\s\S]*?)</div>' 用這個root_pattern,在 __analysis()方法中就要用 root_html = re.findall(Spider.root_pattern, htmls)
    root_pattern = '<div >([\d\D]*?)</div>'
    name_pattern = '</use></svg>([\d\D]{0,20}?)</h2>'
    number_pattern = '</use></svg>([\d\D]*?)</span>'

    # 構建隨機請求頭，偽裝成瀏覽器
    header = {'Accept-Encoding': 'gzip, deflate, br', 'User-Agent': str(UserAgent().random)}

    # 抓取 HTML
    def __fetch_content(self):
        htmls = requests.get(Spider.url, headers=Spider.header).text
        return htmls

    # 資料分析
    def __analysis(self, htmls):
        # root_html = re.findall(Spider.root_pattern, htmls)
        root_html = re.findall(Spider.root_pattern, htmls)[1::2]
        anchors = []
        for html in root_html:
            name = re.findall(Spider.name_pattern, html)
            number = re.findall(Spider.number_pattern, html)
            anchor = {'name': name, 'number': number}
            anchors.append(anchor)
        return anchors

    # 精煉資料
    def __refine(self, anchors):
        lamb = lambda anchor: {
            'name': anchor['name'][0].strip(),
            'number': anchor['number'][0].strip()}
        anchors_refine = list(map(lamb, anchors))
        return anchors_refine

    # 業務處理
    def __sort(self, anchors):
        shuffle_list = list(range(len(anchors)))
        random.shuffle(shuffle_list)
        anchors_shuffle = [anchors[i] for i in shuffle_list]
        anchors = sorted(anchors_shuffle, key=self.__sort_seed, reverse=True)
        return anchors

    # 為 sorted() 函式的 key 引數提供總呼叫函式
    def __sort_seed(self, anchor):
        r = re.findall('\d*', anchor['number'])
        number = float(r[0])
        if '萬' in anchor['number']:
            number *= 10000
        return number

    # 控制臺展示資料
    def __show(self, anchors):
        for i, anchor in enumerate(anchors):
            # open(str(i)+'.excel')
            print('rank', i + 1, anchor['name'], anchor['number'])

    # 程式入口方法
    def go(self):
        htmls = self.__fetch_content()  # 呼叫 __fetch_content() 方法獲取 HTML
        anchors = self.__analysis(htmls)
        anchors = self.__refine(anchors)
        anchors = self.__sort(anchors)
        self.__show(anchors)


spider = Spider()  # 創建 Spider 物件
spider.go()  # 呼叫 Spider 物件中的程式入口方法

運行結果：

rank 1 智勛勛勛勛 329.9萬
rank 2 T1直播faker 256.5萬
rank 3 東北大鵪鶉 242.8萬
rank 4 南波兒大魔王丶 185.9萬
rank 5 英雄聯盟賽事 169.9萬
rank 6 夏天夏天丶丶 147.7萬
rank 7 洞主丨歌神洞庭湖 134.5萬
rank 8 杰克螳螂 124.1萬
rank 9 不2不叫周淑怡 114.9萬
rank 10 王紀超666 107.6萬
rank 11 最強皇童王麗農 87.3萬
rank 12 狐貍醬大魔王 80.6萬
rank 13 她打了個嗝兒 79.1萬
rank 14 梨落秋溪 77.7萬
rank 15 放逐大帝灬 71.9萬
rank 16 葉音符 67.4萬
rank 17 草莓 62.1萬
rank 18 zzc啊哦額 60.3萬
rank 19 余霜Yscandice 41.3萬
rank 20 石頁的第一根矛s 40.6萬
rank 21 狗康Bfate丶 40.3萬
rank 22 遠古解說YD 39.1萬
rank 23 女戰士丶姝玥 38.7萬
rank 24 辛巴imb丶丶 37.9萬
rank 25 英雄聯盟經典賽事點播 34.9萬
rank 26 暗夜獵手光頭強 30.4萬
rank 27 格局太小OoO 29.1萬
rank 28 魔獸后裔 29.5萬
rank 29 初戀女孩水水 29.7萬
rank 30 PeanutHulllll 29.3萬
rank 31 Mouse光醬 28.3萬
rank 32 小熊和你 25.3萬
rank 33 小老板丶艾克 24.2萬
rank 34 波比丶Easyboom 23.4萬
rank 35 冰凡 22.7萬
rank 36 捕捉一只三吃 22.1萬
rank 37 咸魚光y 22.6萬
rank 38 小微笑LMQ 21.4萬
rank 39 小蝌蚪羊月 21.1萬
rank 40 李冉冉i 20.9萬
rank 41 空大的劫zz 20萬
rank 42 孤兒南 19.8萬
rank 43 一只蘇l 19.8萬
rank 44 SNSofM 19.7萬
rank 45 SNSwordart 18.4萬
rank 46 祈風1v9 18.5萬
rank 47 檸檬少女吖 17.1萬
rank 48 會旋轉的冬瓜 17.5萬
rank 49 作作金克絲 17.5萬
rank 50 消逝carry 17.3萬
rank 51 一只小媚媚丶 17.1萬
rank 52 楊驢驢y 16.2萬
rank 53 解說鼓鼓 16.7萬
rank 54 大象ouo 16.4萬
rank 55 刀鋒秀秀AQA 16.9萬
rank 56 熾天使z1丶丶 16.5萬
rank 57 T1直播Cuzz 16.6萬
rank 58 歲月刀妹QAQ 16.2萬
rank 59 解說娃娃 15.4萬
rank 60 懶貓貓QAQ 15.9萬
rank 61 陛哥丶 15.5萬
rank 62 小埃及熱狗OB 15.8萬
rank 63 SNAngelz 15.4萬
rank 64 饅頭超仙女噠 15.3萬
rank 65 蟹老板丶西內 14.9萬
rank 66 涼風亞索yasuo 14.6萬
rank 67 陸嶼愛吃魚 14.4萬
rank 68 暴風作業室丶 14.7萬
rank 69 電競少女萱某人OB 13.7萬
rank 70 宋暖陽絕不咕咕 13.6萬
rank 71 譚無雙 13.6萬
rank 72 SNWeiwei 13.2萬
rank 73 T1直播Effort 13.2萬
rank 74 饅頭OB解說 12.4萬
rank 75 SNBiubiu 12.1萬
rank 76 解說王多多 12.6萬
rank 77 Dy丶小然 12.3萬
rank 78 青蛙OB王者局丶抽紅包 12.2萬
rank 79 川美人 12.7萬
rank 80 T1直播Roach 12.1萬
rank 81 LCK瓜皮OB飛科 12.1萬
rank 82 柚子ob 12.9萬
rank 83 迷離之道丶 12萬
rank 84 RNG上校OB皇族RYL不放棄 12.9萬
rank 85 王豆荳 12.6萬
rank 86 LDL官方直播間 12.1萬
rank 87 付小翁 11.1萬
rank 88 最初的可可 11.3萬
rank 89 安醬qwq 11.1萬
rank 90 獅獅嗷 11.1萬
rank 91 BiG熱狗OB專屬寶藍阿水 11.6萬
rank 92 米可小甜甜 11.2萬
rank 93 解說奶弟 11.8萬
rank 94 安妮今天五殺了嗎 11.9萬
rank 95 奶媽的安眠藥 10.9萬
rank 96 詩俞 10.5萬
rank 97 Akl托尼老師 10.9萬
rank 98 澤元元元元 10.8萬
rank 99 鮑鮑解說 10.1萬
rank 100 雨神等你萌 10.8萬
rank 101 FPX小鳳凰OB 10.8萬
rank 102 秋月小黑 10.6萬
rank 103 EDG救心丸OB 10.7萬
rank 104 教練JoKer 10.7萬
rank 105 熙子小盆友 10.1萬
rank 106 南方菇涼禾禾 10.4萬
rank 107 T1直播Ellim 10.2萬
rank 108 波波卡特0411 10.2萬
rank 109 i陳一一 9.7萬
rank 110 JY長腿仙兒 9.6萬
rank 111 yomi不是吸血鬼 9.1萬
rank 112 狼神丶歐陽 9.4萬
rank 113 熬夜的au 9.4萬
rank 114 我就是魚魚阿i 9.9萬
rank 115 douyu丶松子 9.5萬
rank 116 天神男槍 9.7萬
rank 117 熙醬鴨ovo 9.3萬
rank 118 小機靈鬼阿婉 9.4萬
rank 119 一小葉子吖 9.4萬
rank 120 SKlaus丶 1.2萬

5 文章其他地址

5.1 微信公眾號：碼農阿杰

5.2 CSDN 博客

6 參考資料

6.1 Python 3.8.2 documentation

標籤：Python

上一篇：支持向量機SVM知識梳理和在sklearn庫中的應用

下一篇：正則運算式-常用元字符的基本使用