requests模塊的入門使用
注意是requests不是request.
1、為什么使用requests模塊，而不是用python自帶的urllib
- requests的底層實作就是urllib
- requests在python2 和python3中通用，方法完全一樣
- requests簡單易用
- requests能夠自動幫助我們解壓(gzip壓縮的等)回應內容
作用：發送網路請求，回傳回應資料
中文檔案 ：http://docs.python-requests.org/zh_CN/latest/index.html
通過觀察檔案來學習：如何使用requests來發送網路請求
2、requests模塊發送簡單的get請求，獲取回應，
需求：通過requests向百度首頁發送請求，獲取百度首頁的資料
import requests
# 目標url
url = 'https://www.baidu.com'
# 向目標url發送get請求
response = requests.get(url)
# 列印回應內容
print(response.text)
response的常用屬性：
- response.text 回應體 str型別
- respones.content 回應體 bytes型別
- response.status_code 回應狀態碼
- response.request.headers 回應對應的請求頭
- response.headers 回應頭
- response.request.cookies 回應對應請求的cookie
- response.cookies 回應的cookie（經過了set-cookie動作）
2.1 response.text 和response.content的區別
- response.text
型別：str
解碼型別：requests模塊自動根據HTTP 頭部對回應的編碼作出有根據的推測，推測的文本編碼 - response.content
型別：bytes
解碼型別：沒有指定
如果在回應的response.text出現亂碼,將下面的三個方式按個試一遍，一般就能解決問題
- response.content.decode()
- response.content.decode('GBK')
- response.content.decode('unicode-escape')
2.2 把網路上的圖片保存到本地
我們來把網路上的圖片保存到本地
分析：
- 圖片的url:https://timgsa.baidu.com/timg?image&quality=80&size=b9999_10000&sec=1591375146706&di=43effd06a8da881890c639b392db48cd&imgtype=0&src=https://www.cnblogs.com/hhh188764/p/http%3A%2F%2F5b0988e595225.cdn.sohucs.com%2Fimages%2F20171108%2F3fe473acfc39476db58fadd7fbaf97ff.jpeg
- 利用requests模塊發送請求獲取回應
- 以2進制寫入的方式打開檔案，并將response回應的二進制內容寫入
import requests
# 圖片的url
img_url = 'https://timgsa.baidu.com/timg?image&quality=80&size=b9999_10000&sec=1591375146706&di=43effd06a8da881890c639b392db48cd&imgtype=0&src=https://www.cnblogs.com/hhh188764/p/http%3A%2F%2F5b0988e595225.cdn.sohucs.com%2Fimages%2F20171108%2F3fe473acfc39476db58fadd7fbaf97ff.jpeg'
# 回應本身就是一個圖片,并且是二進制型別
response = requests.get(img_url)
img = response.content
# 以二進制+寫入的方式打開檔案
with open('first.jpg', 'wb') as f:
# 寫入response.content bytes二進制型別
f.write(img)
3、發送帶header的請求
我們先寫一個獲取百度首頁的代碼
import requests
url = 'https://www.baidu.com'
response = requests.get(url)
# 列印回應對應請求的請求頭資訊
print(response.request.headers)
# 列印回應的資料長度
print(len(response.content.decode()))
輸出：
{'User-Agent': 'python-requests/2.22.0', 'Accept-Encoding': 'gzip, deflate', 'Accept': '/', 'Connection': 'keep-alive'}
2349
可以看出，請求頭是python-requests，服務器很容易就發現是python而不是瀏覽器在訪問，所以回傳的資料非常少，
3.1 為什么請求需要帶上header？
模擬瀏覽器，欺騙服務器，獲取和瀏覽器一致的內容
3.2 header的形式：字典
headers = {"User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/54.0.2840.99 Safari/537.36"}
3.3 用法
requests.get(url, headers=headers)
3.4 帶上請求頭的完整代碼
import requests
url = "https://www.baidu.com"
headers = {
"User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/54.0.2840.99 Safari/537.36"
}
response = requests.get(url,headers=headers)
print(response.request.headers)
print(len(response.content.decode()))
輸出：
{'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/54.0.2840.99 Safari/537.36', 'Accept-Encoding': 'gzip, deflate', 'Accept': '/', 'Connection': 'keep-alive'}
286046
4、發送帶引數的請求
我們在使用百度搜索的時候經常發現url地址中會有一個 ?，那么該問號后邊的就是請求引數，又叫做查詢字串
4.1 什么叫做請求引數：
例1：https://www.sohu.com/a/128244875_623785
例2：https://www.baidu.com/s?wd=python
例1中沒有請求引數！例2中?后邊的就是請求引數
4.2 請求引數的形式：字典
kw = {'wd':'長城'}4.3 請求引數的用法
requests.get(url,params=kw)4.4 關于引數的注意點
在url地址中， 很多引數是沒有用的，比如百度搜索的url地址，其中引數只有一個欄位有用，其他的都可以洗掉 如何確定那些請求引數有用或者沒用：挨個嘗試！對應的,在后續的爬蟲中，遇到很多引數的url地址，都可以嘗試洗掉引數，
4.5 兩種方式：發送帶引數的請求
1.對https://www.baidu.com/s?wd=python發起請求可以使用requests.get(url, params=kw)的方式，
# 方式一：利用params引數發送帶引數的請求
import requests
headers = {"User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/54.0.2840.99 Safari/537.36"}
# 這是目標url
# url = 'https://www.baidu.com/s?wd=python'
# 最后有沒有問號結果都一樣
url = 'https://www.baidu.com/s?'
# 請求引數是一個字典 即wd=python
kw = {'wd': 'python'}
# 帶上請求引數發起請求，獲取回應
response = requests.get(url, headers=headers, params=kw)
# 當有多個請求引數時，requests接收的params引數為多個鍵值對的字典，比如 '?wd=python&a=c'-->{'wd': 'python', 'a': 'c'}
print(response.content)2.也可以直接對https://www.baidu.com/s?wd=python完整的url直接發送請求，不使用params引數
# 方式二：直接發送帶引數的url的請求
import requests
headers = {"User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/54.0.2840.99 Safari/537.36"}
url = 'https://www.baidu.com/s?wd=python'
# kw = {'wd': 'python'}
# url中包含了請求引數，所以此時無需params
response = requests.get(url, headers=headers)4.6 爬取指定貼吧
import requests
# 爬取指定名稱的貼吧，然后把網頁保存在本地
url="https://tieba.baidu.com/f?"
headers = {
"User-Agent": "Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/83.0.4103.97 Safari/537.36"
}
word = input("請輸入想保存的貼吧名稱：")
for i in range(int(input("請輸入需要保存的頁碼："))):
params = {
"kw": word,
"pn": i*50
}
response = requests.get(url,headers=headers,params=params)
with open(f"{word}{i+1}.html",'wb') as f:
f.write(response.content)
print(f"{word}{i+1}.html保存完成")二、requests模塊的深入使用
1、使用requests發送POST請求
哪些地方我們會用到POST請求？
- 登錄注冊（ POST 比 GET 更安全）
- 需要傳輸大文本內容的時候（ POST 請求對資料長度沒有要求）
所以同樣的，我們的爬蟲也需要在這兩個地方回去模擬瀏覽器發送post請求
1.1 requests發送post請求語法：
- 用法：
response = requests.post("http://www.baidu.com/", data = data,headers=headers)- data 的形式：字典
1.2 POST請求練習
下面我們通過百度翻譯的例子看看post請求如何使用：
思路分析
1、確定請求的url地址
2、確定請求的引數
百度翻譯獲取翻譯結果在另外一個url,也是post請求，但是引數很多，需要自己去構建，后面再說，這里簡單的展示一個例子，獲取輸入的語言型別，
url = "https://fanyi.baidu.com/langdetect"
word = input("請輸入查詢的關鍵字：")
#構造表單
data = {
"query": word
}
# 發送請求
print(eval(requests.post(url,data=https://www.cnblogs.com/hhh188764/p/data).text)["lan"])
輸出：
請輸入查詢的關鍵字：睡覺
zh
出現了eval,順便說一下，eval自動調整資料的格式，
str_data = '{"name":"張三","password":"zhangsanzhenshuai"}'
print(type(str_data))
print(eval(str_data))
print(type(eval(str_data)))
輸出：
<class 'str'>
{'name': '張三', 'password': 'zhangsanzhenshuai'}
<class 'dict'>2、使用代理
2.1 為什么要使用代理
- 讓服務器以為不是同一個客戶端在請求，
- 防止我們的真實地址被泄露，防止被追究，
2.2 理解使用代理的程序
2.3 理解正向代理和反向代理的區別
通過上圖可以看出：
- 正向代理：對于瀏覽器知道服務器的真實地址，例如VPN
- 反向代理：瀏覽器不知道服務器的真實地址，例如nginx
2.4 代理的使用
- 用法：
requests.get("http://www.baidu.com", proxies = proxies)
- proxies的形式：字典
proxies = {
"http": "http://12.34.56.79:9527",
"https": "https://12.34.56.79:9527",
}
2.5 代理IP的分類
根據代理ip的匿名程度，代理IP可以分為下面四類：
- 透明代理(Transparent Proxy)：透明代理雖然可以直接“隱藏”你的IP地址，但是還是可以查到你是誰，
- 匿名代理(Anonymous Proxy)：使用匿名代理，別人只能知道你用了代理，無法知道你是誰，
- 高匿代理(Elite proxy或High Anonymity Proxy)：高匿代理讓別人根本無法發現你是在用代理，所以是最好的選擇，
在使用的時候，毫無疑問使用高匿代理效果最好，
從請求使用的協議可以分為：
- http代理
- https代理
- socket代理等
不同分類的代理，在使用的時候需要根據抓取網站的協議來選擇，
2.6 代理IP使用的注意點
1、反反爬
使用代理ip是非常必要的一種 反反爬 的方式
但是即使使用了代理ip，對方服務器仍然會有很多的方式來檢測我們是否是一個爬蟲，比如：
- 一段時間內，檢測IP訪問的頻率，訪問太多頻繁會屏蔽，
- 檢查Cookie，User-Agent，Referer等header引數，若沒有則屏蔽，
- 服務方購買所有代理提供商，加入到反爬蟲資料庫里，若檢測是代理則屏蔽，
所以更好的方式在使用代理ip的時候使用隨機的方式進行選擇使用，不要每次都用一個代理ip，
2、代理ip池的更新
購買的代理ip很多時候大部分(超過60%)可能都沒辦法使用，這個時候就需要通程序式去檢測哪些可用，把不能用的洗掉掉，
PS：如有需要Python學習資料的小伙伴可以加下方的群去找免費管理員領取
可以免費領取原始碼、專案實戰視頻、PDF檔案等
本文的文字及圖片來源于網路,僅供學習、交流使用,不具有任何商業用途,著作權歸原作者所有,如有問題請及時聯系我們以作處理，
以上文章來源于海洋紀 ，作者劉夏橙
轉載請註明出處，本文鏈接：https://www.uj5u.com/houduan/36402.html
標籤：Python
上一篇：ThinkPHP6.0 門面