【Python自學筆記】10個爬蟲入門實體，附原始碼，注釋對新手友好

涉及知識點:

1. web是如何互動的
2. requests庫的get、post函式的應用
3. response物件的相關函式，屬性
4. Python檔案的打開，保存

代碼中給出了注釋，并且可以直接運行哦

如何安裝requests庫，沒有的，建議先裝一下Python環境，windows用戶，Linux用戶幾乎一樣:

1.打開cmd輸入以下命令即可，如果python的環境在C盤的目錄，會提示權限不夠，只需以管理員方式運行cmd視窗

pip install -i https://pypi.tuna.tsinghua.edu.cn/simple requests

2.Linux用戶類似(ubantu為例): 權限不夠的話在命令前加入sudo即可

sudo pip install -i https://pypi.tuna.tsinghua.edu.cn/simple requests

1.爬取強大的BD頁面，列印頁面資訊

# 第一個爬蟲示例,爬取百度頁面
 
import requests #匯入爬蟲的庫，不然呼叫不了爬蟲的函式
 
response = requests.get("http://www.baidu.com") #生成一個response物件
 
response.encoding = response.apparent_encoding #設定編碼格式
 
print("狀態碼:"+ str( response.status_code ) ) #列印狀態碼
 
print(response.text)#輸出爬取的資訊

2.常用方法之get方法實體

# 第二個get方法實體
 
import requests #先匯入爬蟲的庫，不然呼叫不了爬蟲的函式
 
response = requests.get("http://httpbin.org/get") #get方法
 
print( response.status_code ) #狀態碼
 
print( response.text )

3. 常用方法之post方法實體

# 第三個 post方法實體
 
import requests #先匯入爬蟲的庫，不然呼叫不了爬蟲的函式
 
response = requests.post("http://httpbin.org/post") #post方法訪問
 
print( response.status_code ) #狀態碼
 
print( response.text )

4. put方法實體

# 第四個 put方法實體
 
import requests #先匯入爬蟲的庫，不然呼叫不了爬蟲的函式
 
response = requests.put("http://httpbin.org/put") # put方法訪問
 
print( response.status_code ) #狀態碼
 
print( response.text )

5.常用方法之get方法(1)

如果需要傳多個引數只需要用&符號連接即可如下

# 第五個 get傳參方法實體
 
import requests #先匯入爬蟲的庫，不然呼叫不了爬蟲的函式
 
response = requests.get("http://httpbin.org/get?name=hezhi&age=20") # get傳參
 
print( response.status_code ) #狀態碼
 
print( response.text )

6.常用方法之get方法(2)

params用字典可以傳多個

# 第六個 get傳參方法實體
 
import requests #先匯入爬蟲的庫，不然呼叫不了爬蟲的函式
 
data = {
    "name":"hezhi",
    "age":20
}
response = requests.get( "http://httpbin.org/get" , params=data ) # get傳參
 
print( response.status_code ) #狀態碼
 
print( response.text )

7.常用方法之post方法

和上一個有沒有很像

# 第七個 post傳參方法實體
 
import requests #先匯入爬蟲的庫，不然呼叫不了爬蟲的函式
 
data = {
    "name":"hezhi",
    "age":20
}
response = requests.post( "http://httpbin.org/post" , params=data ) # post傳參
 
print( response.status_code ) #狀態碼
 
print( response.text )

8.關于繞過反爬機制，以zh爸爸為例

# 第好幾個方法實體
 
import requests #先匯入爬蟲的庫，不然呼叫不了爬蟲的函式
 
response = requests.get( "http://www.zhihu.com") #第一次訪問知乎，不設定頭部資訊
 
print( "第一次,不設頭部資訊,狀態碼:"+response.status_code )# 沒寫headers，不能正常爬取，狀態碼不是 200
 
#下面是可以正常爬取的區別，更改了User-Agent欄位
 
headers = {
 
        "User-Agent":"Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/80.0.3987.122 Safari/537.36"
 
}#設定頭部資訊,偽裝瀏覽器
 
response = requests.get( "http://www.zhihu.com" , headers=headers ) #get方法訪問,傳入headers引數，
 
print( response.status_code ) # 200！訪問成功的狀態碼
 
print( response.text )

9.爬取資訊并保存到本地

因為目錄關系，在D盤建立了一個叫做爬蟲的檔案夾，然后保存資訊，注意檔案保存時的encoding設定

# 爬取一個html并保存
 
import requests
 
url = "http://www.baidu.com"
 
response = requests.get( url )
 
response.encoding = "utf-8" #設定接收編碼格式
 
print("\nr的型別" + str( type(response) ) )
 
print("\n狀態碼是:" + str( response.status_code ) )
 
print("\n頭部資訊:" + str( response.headers ) )
 
print( "\n回應內容:" )
 
print( response.text )
 
#保存檔案
file = open("D:\\爬蟲\\baidu.html","w",encoding="utf") #打開一個檔案，w是檔案不存在則新建一個檔案，這里不用wb是因為不用保存成二進制
 
file.write( response.text )
 
file.close()

10.爬取圖片，保存到本地

#保存百度圖片到本地
 
import requests #先匯入爬蟲的庫，不然呼叫不了爬蟲的函式
 
response = requests.get("https://www.baidu.com/img/baidu_jgylogo3.gif") #get方法的到圖片回應
 
file = open("D:\\爬蟲\\baidu_logo.gif","wb") #打開一個檔案,wb表示以二進制格式打開一個檔案只用于寫入
 
file.write(response.content) #寫入檔案
 
file.close()#關閉操作，運行完畢后去你的目錄看一眼有沒有保存成功

自學的道路很枯燥，但堅持下來眼前會一片光明與希望，咸魚與翻身就在一念之間，但能堅持下來的才最可怕，加油，

感謝觀看，更多Python精彩內容可以看小編主頁，