抖音爬蟲教程，python爬蟲采集反爬策略

一、爬蟲與反爬簡介

爬蟲就是我們利用某種程式代替人工批量讀取、獲取網站上的資料資訊，而反爬則是跟爬蟲的對立面，是竭盡全力阻止非人為的采集網站資訊，二者相生相克，水火不容，到目前為止大部分的網站都還是可以輕易的爬取資料資訊，
爬蟲想要繞過被反的策略就是盡可能的讓服務器人你不是機器程式，所以在程式中就要把自己偽裝成瀏覽器訪問網站，這可以極大程度降低被反的概率，那如何做到偽裝瀏覽器呢？

1.可以使用請求頭（headers）來掩飾自己，其中最常用的就是User Agent（中文名為用戶代理），是Http協議中的一部分，屬于頭域的組成部分，User Agent也簡稱 UA ，它是一個特殊字串頭，是一種向訪問網站提供你所使用的瀏覽器型別及版本、作業系統及版本、瀏覽器內核、等資訊的標識；表示當前訪問服務器的身份資訊，如果同一個身份過于頻繁的訪問服務器會被識別為機器身份，遭到反爬的打擊，所以需要頻繁的更改User-Agent資訊；一般User-Agent欄位包括以下幾個資訊：瀏覽器標識 (作業系統標識; 加密等級標識; 瀏覽器語言) 渲染引擎標識版本資訊；

2.使用不同的User-Agent來規避反爬策略

比如：

Accept：客戶端支持的資料型別，用逗號隔開，是有順序的，分號前面是主型別，分號后是子型別；
Accept-Encoding：指定瀏覽器可以支持的web服務器回傳內容壓縮編碼型別；
Accept-Language：瀏覽器可接受的自然語言的型別；
Connection：設定HTTP連接的持久化，通常都是Keep-Alive；
Host：服務器的域名或IP地址，如果不是通用埠，還包含該埠號；
Referer：指當前請求的URL是在什么地址參考的；

user_agent_list = [
    "Opera/9.80 (X11; Linux i686; U; hu) Presto/2.9.168 Version/11.50",
    "Opera/9.80 (X11; Linux i686; U; ru) Presto/2.8.131 Version/11.11",
    "Opera/9.80 (X11; Linux i686; U; es-ES) Presto/2.8.131 Version/11.11",
    "Mozilla/5.0 (Windows NT 5.1; U; en; rv:1.8.1) Gecko/20061208 Firefox/5.0 Opera 11.11",
    "Opera/9.80 (X11; Linux x86_64; U; bg) Presto/2.8.131 Version/11.10",
    "Opera/9.80 (Windows NT 6.0; U; en) Presto/2.8.99 Version/11.10",
    "Opera/9.80 (Windows NT 5.1; U; zh-tw) Presto/2.8.131 Version/11.10",
    "Opera/9.80 (Windows NT 6.1; Opera Tablet/15165; U; en) Presto/2.8.149 Version/11.1",
    "Opera/9.80 (X11; Linux x86_64; U; Ubuntu/10.10 (maverick); pl) Presto/2.7.62 Version/11.01",
    "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/65.0.3325.181 Safari/537.36",
    "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/78.0.3904.97 Safari/537.36",
    "Mozilla/5.0 (Windows NT 6.1; Win64; x64; rv:70.0) Gecko/20100101 Firefox/70.0",
    "Opera/9.80 (X11; Linux i686; Ubuntu/14.10) Presto/2.12.388 Version/12.16",
    "Opera/9.80 (Windows NT 6.0) Presto/2.12.388 Version/12.14",
    "Mozilla/5.0 (Windows NT 6.0; rv:2.0) Gecko/20100101 Firefox/4.0 Opera 12.14",
    "Mozilla/5.0 (compatible; MSIE 9.0; Windows NT 6.0) Opera 12.14",
    "Opera/12.80 (Windows NT 5.1; U; en) Presto/2.10.289 Version/12.02",
    "Opera/9.80 (Windows NT 6.1; U; es-ES) Presto/2.9.181 Version/12.00",
    "Opera/9.80 (Windows NT 5.1; U; zh-sg) Presto/2.9.181 Version/12.00",
    "Opera/12.0(Windows NT 5.2;U;en)Presto/22.9.168 Version/12.00",
    "Opera/12.0(Windows NT 5.1;U;en)Presto/22.9.168 Version/12.00",
    "Mozilla/5.0 (Windows NT 5.1) Gecko/20100101 Firefox/14.0 Opera/12.0",
    "Opera/9.80 (Windows NT 6.1; WOW64; U; pt) Presto/2.10.229 Version/11.62",
    "Opera/9.80 (Windows NT 6.0; U; pl) Presto/2.10.229 Version/11.62",
    "Opera/9.80 (Macintosh; Intel Mac OS X 10.6.8; U; fr) Presto/2.9.168 Version/11.52",
    "Opera/9.80 (Macintosh; Intel Mac OS X 10.6.8; U; de) Presto/2.9.168 Version/11.52",
    "Opera/9.80 (Windows NT 5.1; U; en) Presto/2.9.168 Version/11.51",
    "Mozilla/5.0 (compatible; MSIE 9.0; Windows NT 6.1; de) Opera 11.51",
    "Opera/9.80 (X11; Linux x86_64; U; fr) Presto/2.9.168 Version/11.50",
]
referer_list = ["https://www.test.com/", "https://www.baidu.com/"]

獲取亂數，即每次采集都會根據亂數提取隨機用戶代理、參考地址（注：若有多個頁面回圈采集，最好采集完單個等待個幾秒鐘再繼續采集，減小服務器的壓力，）：

import random
import re, urllib.request, lxml.html
import requests
import time, random

def get_randam(data):
    return random.randint(0, len(data)-1)
def crawl():
    headers = {
        'Accept': 'text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,image/apng,*/*;q=0.8',
        'Accept-Encoding': 'gzip, deflate',
        'Accept-Language': 'zh-CN,zh;q=0.9',
        'Connection': 'keep-alive',
        'host': 'test.com',
        'Referer': 'https://test.com/',
    }
    random_index = get_randam(user_agent_list)
    random_agent = user_agent_list[random_index]
    headers['User-Agent'] = random_agent
    random_index_01 = get_randam(referer_list)
    random_agent_01 = referer_list[random_index_01]
    headers['Referer'] = random_agent_01
    session = requests.session()
    url = "https://www.test.com/"
    html_data = https://www.cnblogs.com/titodata/archive/2020/12/15/session.get(url, headers=headers, timeout=180)
    html_data.raise_for_status()
    html_data.encoding ='utf-8-sig'
    data = https://www.cnblogs.com/titodata/archive/2020/12/15/html_data.text
    data_doc = lxml.html.document_fromstring(data)
    ...(對網頁資料進行決議、提取、存盤等)
    time.sleep(random.randint(3, 5))

3.使用代理IP來規避反爬：同一個ip大量請求了對方服務器，有更大的可能性會被識別為爬蟲，ip就有可能被暫時被封，

根據代理ip的匿名程度，代理ip可以分為下面四類：

透明代理（Transparent Proxy）Transparent Proxy)：透明代理雖然可以直接“隱藏”你的IP地址，但是還是可以查到你是誰，
匿名代理（Anonymous Proxy）：匿名代理比透明代理進步了一點：別人只能知道你用了代理，無法知道你是誰，
混淆代理（Distorting Proxies）：與匿名代理相同，如果使用了混淆代理，別人還是能知道你在用代理，但是會得到一個假的IP地址，偽裝的更逼真
高匿代理（Elite proxy或High Anonymity Proxy）：可以看出來，高匿代理讓別人根本無法發現你是在用代理，所以是最好的選擇，
在使用的使用，毫無疑問使用高匿代理效果最好

下面我采用免費的高匿代理IP進行采集：

#代理IP： https://www.xicidaili.com/nn
import requests
proxies = {
"http": "http://117.30.113.248:9999",
"https": "https://120.83.120.157:9999"
}
r=requests.get("https://www.baidu.com", proxies=proxies)
r.raise_for_status()
r.encoding = 'utf-8-sig'
print(r.text)

注意：踩坑經歷，之前誤把proxies里面的key設定成大寫的HTTP/HTTPS,導致請求不走代理，過了幾個月才發現這個問題，頭皮發麻啊

二、總結

之前也經常寫一些采集亞馬遜的爬蟲，但是采集沒多久就被識別出來是程式爬蟲，會默認跳到一個robotecheck頁面，也就是叫你輸入一個圖片驗證碼，只是為了驗證到底是不是人為在訪問他們的網站，

amazon的防爬蟲機制在只有ip (沒有cookie) 的時候防ip，在有cookie的時候，是防ip+cookie，也即對于一個ip，一個cookie被防了可以換一個cookie，
有cookie的時候觸發防爬蟲robotcheck的可能性小很多，觸發的機制個人猜測是有疊加效應的，即一次使用同一個ip+header短時間內訪問多次(1秒內訪問至少3次以上)是不會觸發robotecheck的，大概在積累了8到9次的短時間多訪問（理由是上面很多實驗都是在第9個請求后開始出現block），才會激發，而這個忍耐度在有cookie的時候會放得更寬，
所以我們在爬取某網站時，最好要做到IP輪詢變換，cookie會話最好也要有，再來就是頻率不要太快太頻，只要控制好個度，我相信被反爬的概率會大大降低，

TiToData：抖音，快手，小紅書資料采集介面，網址： TiToData

轉載請註明出處，本文鏈接：https://www.uj5u.com/shujuku/234811.html

標籤：其他

上一篇：抖音資料采集教程，最全python庫selenium自動化使用

下一篇：SQL：空值null判斷和操作