兩萬字零基礎爬蟲requests初階教程，手把手教你爬資料（建議收藏）

一、環境與工具

環境：jupyter
如果你沒有安裝該工具和不會使用，請看這一篇文章：pycharm安裝配置與使用詳細教程
你可能還會需要這兩篇文章：
1-親測jupyter打不開瀏覽器
2-設定默認打開檔案夾
模塊安裝：

！pip install requests

演示一下安裝：

安裝成功：

二、學爬蟲必備知識

如果你python基礎都不會，建議你先看看我寫了幾十萬字的python基礎專欄：python全堆疊基礎教程
我的基礎專欄包括最基本的基礎，re正則運算式,畫圖，檔案處理，django，mysql操作處理等，如果你基礎都不會，建議你先收藏本篇內容，去學完我寫的基礎，再來看本篇文章，

三、requests體驗

以百度為例子：

import requests  

r = requests.get('https://www.baidu.com/')  
print(type(r))  
print(r.status_code)  
print(type(r.text))  
print(r.text)  
print(r.cookies)

列印結果如下：

得到一個 Response 物件，然后分別輸出了 Response 的型別、狀態碼、回應體的型別、內容以及 Cookies，在這里僅僅是體驗，如果你看不懂，并沒有關系，

四、get 請求

3.1 基礎講解一

現在以百度為例子：

https://www.baidu.com/

我們用get請求網址，列印txt則獲取到百度頁面原始碼：

import requests 
r = requests.get('https://www.baidu.com/') 
print(r.text)

運行：

為什么我這里只演示了百度？因為這個不會被反扒，如果被反扒，則會回傳為空，大家可以試試別的網址，比如我的博客地址，基本回傳為空，不必擔心，后續教大家反扒，

3.3 基礎講解二

我們以CSDN我自己的博客為例：
這里就直接使用requests模塊的get函式直接來獲取（get和urlopen是相同的），主要是這個更方便：

import requests
u=requests.get('https://mp.csdn.net/console/article')
print(u.status_code)#列印狀態碼
print(u.text)#列印文本
print(u.cookies)#列印cookie

運行：

再舉例子：

import requests
r=requests.post('https://www.csdn.net/?spm=1011.2124.3001.5359')
s=requests.put('https://www.csdn.net/?spm=1011.2124.3001.5359')
print(r.status_code)
print(r.text)
print(s.status_code)
print(s.text)

運行：

雖然請求失敗但不影響，主要是介紹下用requests模塊的話，可以很簡單的方式請求，比如說put,post,delete這些之間換一下就換了一個請求方法，這里請求失敗因為我們被反扒了，

3.2 基礎講解三

首先，構建一個最簡單的 GET 請求，請求的鏈接為 http://httpbin.org/get，該網站會判斷如果客戶端發起的是 GET 請求的話，它回傳相應的請求資訊.
代碼：

import requests  
r = requests.get('http://httpbin.org/get')
print(r.text)

運行：

可以發現，我們成功發起了 GET 請求，回傳結果中包含請求頭、URL、IP 等資訊，
那么，對于 GET 請求，如果要附加額外的資訊，一般怎樣添加呢？比如現在想添加兩個引數，其中 name 是 germey，age 是 22，要構造這個請求鏈接，是不是要直接寫成：

r = requests.get('http://httpbin.org/get?name=germey&age=22')

這同樣很簡單，利用 params 這個引數就好了，示例如下：

import requests  

data = {  
    'name': 'germey',  
    'age': 22  
}  
r = requests.get("http://httpbin.org/get", params=data)  
print(r.text)

運行：

通過回傳資訊我們可以判斷，請求的鏈接自動被構造成了：http://httpbin.org/get?age=22&name=germey
另外，網頁的回傳型別實際上是 str 型別，但是它很特殊，是 JSON 格式的，所以，如果想直接決議回傳結果，得到一個字典格式的話，可以直接呼叫 json 方法，示例如下：

import requests  

r = requests.get("http://httpbin.org/get")  
print(type(r.text))  
print(r.json())  
print(type(r.json()))

運行：

可以發現，呼叫 json 方法，就可以將回傳結果是 JSON 格式的字串轉化為字典，

3.4 獲取cookie

import requests
headers={
    'User-Agent':'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/39.0.2171.71 Safari/537.36'
}#請求頭
url='https://www.csdn.net/?spm=1011.2124.3001.5359'
r=requests.get(url=url,headers=headers)
print(r.cookies)#直接列印

運行：

3.5 獲取請求頭

手動獲取：
點擊右鍵，選擇檢查，再選擇network，重繪一下，隨機選其中一個內容，如下：

復制出來就行，

3.6 添加請求頭

我們也可以通過 headers 引數來傳遞頭資訊，比如，在下面我們的面 “知乎” 的例子中，如果不傳遞 headers，就不能正常請求,請求結果為403：

import requests

r = requests.get("https://www.zhihu.com/explore")
print(r.text)

運行：

但如果加上 headers 并加上 User-Agent 資訊，那就沒問題了：

import requests

headers = {'User-Agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_11_4) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/52.0.2743.116 Safari/537.36'
}
r = requests.get("https://www.zhihu.com/explore", headers=headers)
print(r.text)

運行：

可以看到加請求頭成功了，
為什么加請求頭？可以模擬正常瀏覽器，防止被反扒，

3.5 知乎爬取+反扒技術

先獲取cookies:

import requests
headers={
    'User-Agent':'Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.11 (KHTML, like Gecko) Chrome/23.0.1271.64 Safari/537.11'
}
url='http://www.zhihu.com'
r=requests.get(url=url,headers=headers)
print(r.cookies)

運行：

或者登錄知乎,找到cookie:

用這里的cookie來獲取網頁：

import requests
headers={
    'Cookie':'_zap=f4cf1039-988d-4506-86b0-4a66e741c6b1; d_c0="AGDcaFGHGRKPTutiDmNxGnxfi7VhsfQ0wI8=|1603730839"; _xsrf=01xnSvUI1MkWP715R02yeXnThs2EHIXu; Hm_lvt_98beee57fd2ef70ccdd5ca52b9740c49=1610911317,1611507538,1611565882,1611566000; SESSIONID=EQPbneOhTXEKEWzoKhctFGCvXtNsbB6hgyaptDJMHfy; JOID=UFoUAUOmDkyYr9xFaaZkkCC9KVZ441wf8Mu5CQL4VgrQ4IE_BWQiVfil30VgxKKpzSBYFUbBpzXzd2z2Km1WeDs=; osd=WloUBkysDkyfoNZFaaFrmiC9Llly41wY_8G5CQX3XArQ5441BWQlWvKl30JvzqKpyi9SFUbGqD_zd2v5IG1WfzQ=; Hm_lpvt_98beee57fd2ef70ccdd5ca52b9740c49=1611673785; capsion_ticket="2|1:0|10:1611673806|14:capsion_ticket|44:N2ExMGExOTQ3YWIwNGE1YzliMTc1Mzk0ZmEwMjAyYTE=|5aecaa59c17c237af06b47a7b1402eb5b996139c8a6e1d15490899fab3c17108"; KLBRSID=031b5396d5ab406499e2ac6fe1bb1a43|1611673848|1611672766; z_c0="2|1:0|10:1611673849|4:z_c0|92:Mi4xUkFJd0lnQUFBQUFBWU54b1VZY1pFaVlBQUFCZ0FsVk4tWDc5WUFCQmZYWFB4ZkM5Z3l6ZlRNSENUUHVhR0lmYy1B|6d89241fc554ad378bce7f27715f2a4cc63cf87028c2da1e4104423b99ee14ee"; unlock_ticket="APBUrbfKXhImAAAAYAJVTQE4EGCaxoSZiXGfIktWFZReL6J3wOaKOQ=="',
    'User-Agent':'Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.11 (KHTML, like Gecko) Chrome/23.0.1271.64 Safari/537.11',
    'host':'www.zhihu.com',
}
url='http://www.zhihu.com'
r=requests.get(url=url,headers=headers)
print(r.text)

運行：

回傳結果有知乎里的相關內容，這樣就是成功登錄知乎了
再提一點session,它可以實作同一個站點進去不同頁面：

import requests
s=requests.Session()
s.get('http://httpbin.org/cookies/set/number/147258369')
r=s.get('http://httpbin.org/cookies')
print(r.text)

運行：

3.6 抓取二進制資料

如果想抓取圖片、音頻、視頻等檔案，應該怎么辦呢？
圖片、音頻、視頻這些檔案本質上都是由二進制碼組成的，由于有特定的保存格式和對應的決議方式，我們才可以看到這些形形色色的多媒體，所以，想要抓取它們，就要拿到它們的二進制碼，

3.6.1 示例一

下面以 GitHub 的站點圖示為例來看一下：

import requests

r = requests.get("https://github.com/favicon.ico")
print(r.text)
print(r.content)

這里列印了 Response 物件的兩個屬性，一個是 text，另一個是 content，輸出如下：

可以注意到，前者出現了亂碼，后者結果前帶有一個 b，這代表是 bytes 型別的資料，由于圖片是二進制資料，所以前者在列印時轉化為 str 型別，也就是圖片直接轉化為字串，這理所當然會出現亂碼，
接著，我們將剛才提取到的圖片保存下來：

import requests

r = requests.get("https://github.com/favicon.ico")
with open('favicon.ico', 'wb') as f:
    f.write(r.content)

運行即可保存，

3.6.2 示例二

以爬取我自己的頭像為例子：

import requests
headers={
    'User-Agent':'Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.11 (KHTML, like Gecko) Chrome/23.0.1271.64 Safari/537.11',
}
url='https://avatar.csdnimg.cn/9/1/6/1_weixin_46211269_1629324723.jpg'
r = requests.get(url=url,headers=headers)
with open('phpto.jpg', 'wb') as f:
    f.write(r.content)

運行即可保存，

3.7 美女私房照爬取（ 準備發車）

第一部分：定義要爬取的標簽和正在爬取的頁數

def UserUrl(theme,pagenum):
    url = "https://tuchong.com/rest/tags/%(theme)s/posts?page=%(pagenum)s&count=20&order=weekly" % {'theme': urllib.parse.quote(theme), 'pagenum': pagenum}
    #print(url)
    return url

第二部分：防止反扒

def GetHtmltext(url):
    head = {
        "User-Agent": "Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/55.0.2883.87 Safari/537.36"
    }
    try:
        r = requests.get(url, headers=head, timeout=30)
        r.raise_for_status()  #如果回傳的狀態碼不是200，就到except中
        return r
    except:
        pass

第三部分：定義獲取一個pagenum頁面中的所有圖集的URL鏈接的函式

def PictureFatherUrl(user_url):
    try:
        raw_data = GetHtmltext(user_url)
        j_raw_data = json.loads(raw_data.text)   #將獲取的網頁轉化為Python資料結構
        # print(j_raw_data)
        father_url = []                    #將每個圖集的url定義為father_url的一個串列
        for i in j_raw_data['postList']:   #決議出的j_raw_data是一個多重字典，在這里先將postList字典的內容取出來
            father_url.append(i['url'])     #然后再取出鍵為“url”的值
        return father_url
    except:
        return

第四部分：定義獲取一個圖集中所有圖片的url鏈接

def PictureUrl(url):
    try:
        html = GetHtmltext(url)
        #利用正則運算式來匹配
        url_list = list(re.findall('<img id="image\d+" class="multi-photo-image" src="([a-zA-z]+://[^\s]*)" alt="">', html.text))
        return url_list
    except:

第五部分：

#定義一個圖集中所有圖片的下載
def Download(url):
    url_list = PictureUrl(url)
    for i in url_list:
        r = GetHtmltext(i)
        file_name = os.path.join(save_path, i.split('/')[-1])
        with open(file_name, 'wb') as f:
            f.write(r.content)
            f.close()
        time.sleep(random.uniform(0.3, 0.5))  #為防止被反爬，在這里random了0.3-0.5的數，然后在下載一張圖片后，sleep一下
        print('下載成功保存至 %s' % file_name)

主函式：

if __name__ == '__main__':
    theme = input("你選擇的標簽（如果你不知道有什么標簽，去https://tuchong.com/explore/去看看有什么標簽吧，輸入不存在的標簽無法下載哦）：")
    pagenum_all = int(input("你要爬取的頁數(不要太貪心哦，數字太大會被封IP的）："))
    save_path = os.path.join(theme)
    m = 0
    if not os.path.exists(save_path):
        os.makedirs(save_path)
        print("我知道你沒有創建保存路徑，我把檔案存在和此腳本同樣的路徑下的叫做“ %s ”的檔案夾下面了" % theme)
    for i in range(1, pagenum_all+1):
        n = 0
        m += 1
        print("正在下載第%d頁，一共%d頁" % (m, pagenum_all))
        user_url = UserUrl(theme, i)
        father_url = PictureFatherUrl(user_url)
        for j in father_url:
            n += 1
            print("正在下載第%d套圖，一共%d套圖" % (n, len(father_url)))
            Download(j)
            time.sleep(random.randint(6, 10))  #同樣為了反爬，也random了6-10之間的數，更真實的模擬人的操作

完整源代碼：

#coding=gbk
"""
作者：川川
時間：2021/10/11
"""
#study group：428335755

import os
import re
import json
import requests
import time
import urllib.parse
import random


#定義要爬取的標簽和正在爬取的頁數
def UserUrl(theme,pagenum):
    url = "https://tuchong.com/rest/tags/%(theme)s/posts?page=%(pagenum)s&count=20&order=weekly" % {'theme': urllib.parse.quote(theme), 'pagenum': pagenum}
    #print(url)
    return url

#利用requests使用get方法請求url，使用User-Agent是為了防止被反爬，這樣使得我們的爬取行為更像人的行為
def GetHtmltext(url):
    head = {
        "User-Agent": "Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/55.0.2883.87 Safari/537.36"
    }
    try:
        r = requests.get(url, headers=head, timeout=30)
        r.raise_for_status()  #如果回傳的狀態碼不是200，就到except中
        return r
    except:
        pass

#定義獲取一個pagenum頁面中的所有圖集的URL鏈接的函式
def PictureFatherUrl(user_url):
    try:
        raw_data = GetHtmltext(user_url)
        j_raw_data = json.loads(raw_data.text)   #將獲取的網頁轉化為Python資料結構
        # print(j_raw_data)
        father_url = []                    #將每個圖集的url定義為father_url的一個串列
        for i in j_raw_data['postList']:   #決議出的j_raw_data是一個多重字典，在這里先將postList字典的內容取出來
            father_url.append(i['url'])     #然后再取出鍵為“url”的值
        return father_url
    except:
        return

#定義獲取一個圖集中所有圖片的url鏈接
def PictureUrl(url):
    try:
        html = GetHtmltext(url)
        #利用正則運算式來匹配
        url_list = list(re.findall('<img id="image\d+" class="multi-photo-image" src="([a-zA-z]+://[^\s]*)" alt="">', html.text))
        return url_list
    except:
        pass

#定義一個圖集中所有圖片的下載
def Download(url):
    url_list = PictureUrl(url)
    for i in url_list:
        r = GetHtmltext(i)
        file_name = os.path.join(save_path, i.split('/')[-1])
        with open(file_name, 'wb') as f:
            f.write(r.content)
            f.close()
        time.sleep(random.uniform(0.3, 0.5))  #為防止被反爬，在這里random了0.3-0.5的數，然后在下載一張圖片后，sleep一下
        print('下載成功保存至 %s' % file_name)

#定義主函式
if __name__ == '__main__':
    theme = input("你選擇的標簽（如果你不知道有什么標簽，去https://tuchong.com/explore/去看看有什么標簽吧，輸入不存在的標簽無法下載哦）：")
    pagenum_all = int(input("你要爬取的頁數(不要太貪心哦，數字太大會被封IP的）："))
    save_path = os.path.join(theme)
    m = 0
    if not os.path.exists(save_path):
        os.makedirs(save_path)
        print("我知道你沒有創建保存路徑，我把檔案存在和此腳本同樣的路徑下的叫做“ %s ”的檔案夾下面了" % theme)
    for i in range(1, pagenum_all+1):
        n = 0
        m += 1
        print("正在下載第%d頁，一共%d頁" % (m, pagenum_all))
        user_url = UserUrl(theme, i)
        father_url = PictureFatherUrl(user_url)
        for j in father_url:
            n += 1
            print("正在下載第%d套圖，一共%d套圖" % (n, len(father_url)))
            Download(j)
            time.sleep(random.randint(6, 10))  #同樣為了反爬，也random了6-10之間的數，更真實的模擬人的操作

運行：按照提示輸入回車

當然，難道我的心只有小姐姐私房照？NONONO！你只要輸入該網任意一個標簽的都可給下載下來,比如模特？你可以測驗一下，

四、 POST 請求

前面我們了解了最基本的 GET 請求，另外一種比較常見的請求方式是 POST，

4.1 資料表單提交

使用 requests 實作 POST 請求同樣非常簡單，示例如下：

import requests

data = {'name': 'germey', 'age': '22'}
r = requests.post("http://httpbin.org/post", data=data)
print(r.text)

這里還是請求 http://httpbin.org/post，該網站可以判斷如果請求是 POST 方式，就把相關請求資訊回傳，
運行結果如下：

可以發現，我們成功獲得了回傳結果，其中 form 部分就是提交的資料，這就證明 POST 請求成功發送了，

4.2 添加請求頭

代碼如下：

import requests
import json
 
host = "http://httpbin.org/"
endpoint = "post"
 
url = ''.join([host,endpoint])
headers = {"User-Agent":"test request headers"}
 

r = requests.post(url,headers=headers)
print(r.text)

運行：

可以看到User-Agent部分為我們添加的自定義請求頭，

4.3 提交json

假設我想提交json格式的內容：

# -*- coding:utf-8 -*-
import requests
import json
 
host = "http://httpbin.org/"
endpoint = "post"
 
url = ''.join([host,endpoint])
data = {
    "sites": [
                { "name":"test" , "url":"https://blog.csdn.net/weixin_46211269?spm=1000.2115.3001.5343" },
                { "name":"google" , "url":"https://blog.csdn.net/weixin_46211269/article/details/120703631?spm=1001.2014.3001.5501" },
                { "name":"weibo" , "url":"https://blog.csdn.net/weixin_46211269/article/details/120659923?spm=1001.2014.3001.5501" }
    ]
}
 
r = requests.post(url,json=data)
# r = requests.post(url,data=json.dumps(data))
response = r.json()
print(response)

運行如下：

4.4 普通檔案上傳

代碼：

# -*- coding:utf-8 -*-
import requests
import json
 
host = "http://httpbin.org/"
endpoint = "post"
 
url = ''.join([host,endpoint])
#普通上傳
files = {
            'file':open('test.txt','rb')
        }
 
r = requests.post(url,files=files)
print (r.text)

不要忘了自己定義一個test.txt檔案

內容為：川川帥哥，保存即可，

選中重命名：


運行如下：

五、總結

看一下最終的檔案夾：

本篇為requests基礎篇，如果本篇內容大家支持多，我盡快出高級篇，有的人要問我為啥不教urlib?個人倒是覺得這個有點被淘汰了，所以我就不講了，大家覺得有必要講urlib可以留言，我看人數要不要補充，