文章目錄
- 文章知識點
- 一、異步爬蟲概述
- 二、執行緒池的基本使用
- 三、異步爬取執行緒池案例使用??
- 3.1 代碼
- 3.2 代碼講解
- 四、協程概念
- 4.1 單執行緒+異步協程（推薦）
- 4.2 單任務協程
- 4.3 多任務協程
- 測驗代碼
- 應用案例
- aiohttp模塊
- 總結
文章知識點
- 單執行緒、多執行緒
- 執行緒池
- 單協程、多協程
- headers中Refere的作用
- 異步模塊aiohttp使用
一、異步爬蟲概述
高性能異步爬蟲 :在爬蟲中使用異步實作高性能的資料爬取操作
傳統爬取資料的操作是順序操作，下面看一個實體
- 代碼
分析上述代碼可知 for回圈中的get方法會阻塞程式，只有請求到的資料獲取后，才可以進行下一條url中對應的資料
上述可知，使用異步會提高爬蟲程式的資料獲取效率
- 異步爬蟲的方式
- 多執行緒，多行程
好處：可以為相關阻塞的操作單獨開啟執行緒或行程，阻塞操作就可以異步進行
弊端：無法無限制的開啟多執行緒或者多行程- 執行緒池、行程池（適當的使用）
好處：我們可以降低系統對行程或者執行緒創建和銷毀的一個頻率，從而很好的降低系統的開銷
弊端：池中執行緒或行程的數量是有上限的，
二、執行緒池的基本使用
- 單執行緒串行方式使用
import time
# 單執行緒串行方式運行
def get_page(str):
print("正在下載：",str)
time.sleep(2)
print("下載成功：",str)
name_list = ['xiaozi','aa','bb','cc']
start_time = time.time()
for i in range(len(name_list)):
get_page(name_list[i])
end_time = time.time()
print('%d second' % (end_time - start_time))
- 執行緒池的使用
import time
# 匯入執行緒池模塊對應的類
from multiprocessing.dummy import Pool
# 使用執行緒池方式執行
# Pool一定是應用在阻塞操作中的 get_page
start_time = time.time()
def get_page(str):
print("正在下載：",str)
time.sleep(2)
print("下載成功：",str)
name_list = ['xiaozi','aa','bb','cc']
# 實體化一個執行緒池物件
pool = Pool(4) # 4個執行緒物件
# 將串列中每一個串列元素傳遞給get_page進行處理
# pool.map的回傳值就是方法get_page()的回傳值
pool.map(get_page,name_list)
end_time = time.time()
print(end_time-start_time)
三、異步爬取執行緒池案例使用??
本例爬取梨視頻網站：梨視頻官網
以上視頻是我們需要爬取的具體視頻，鍵盤上F12查看并且分析相關的detail_url和name，
- 資訊分析
到此你可能認為使用xpath進行地址獲取下載即可，但是這樣就錯了，你使用etree進行決議出來的是空值，因為這個頁面的有些資料就是動態加載出來的，如下進行驗證：
到此為止，我們發現資料是動態加載出來的，因此我們就需要找出真正要下載的地址鏈接在哪里？
在此感謝這兩位博主提供的思路：
- python爬蟲-執行緒池案例(梨視頻短視頻爬取)
- [python]梨視頻生活板塊最熱視頻爬取
- 地址資訊對比
- 報錯404：
https://video.pearvideo.com/mp4/adshort/20210927/1632790695959-15774345_adpkg-ad_hd.mp4- 正確的路徑：
https://video.pearvideo.com/mp4/adshort/20210927/cont-1742572-15774345_adpkg-ad_hd.mp4
此外多次實驗發現獲取報錯404地址的網址有一部分數字是隨機產生的,
- 真實資訊地址
- 寶藏老師｜數學老師的浪漫：用函式講述自己的愛情故事：
https://www.pearvideo.com/videoStatus.jsp?contId=1742617&mrd=0.6446715186101781- 小伙腫瘤醫院旁開共享廚房，宣傳5元吃飽虧本運營：
https://www.pearvideo.com/videoStatus.jsp?contId=1742572&mrd=0.5091336020577668
通過以上兩個視頻的地址不難發現它們網址都有共同的特點包含contId,我們再回到原始的視頻網頁資料查看：
后來由于個人水平問題這個屬性值決議出錯，因此換了思路：
- 決議地址
https://www.pearvideo.com/videoStatus.jsp?contId=1742572&mrd=0.8749545784196235
https://www.pearvideo.com/videoStatus.jsp?contId=1742572&mrd=0.5510063831062151
https://www.pearvideo.com/videoStatus.jsp?contId=1742572&mrd=0.5091336020577668
3.1 代碼
- 源代碼
import requests
from lxml import etree
import random
import json
from multiprocessing.dummy import Pool
# 需求：安去梨視頻的視頻資料
headers = {
'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/90.0.4430.72 Safari/537.36'
}
# 原則：執行緒池處理的是阻塞且耗時的操作
# 對下述url發起請求決議出視頻詳情頁的url和視頻的名稱
url = "https://www.pearvideo.com/"
page_text = requests.get(url=url, headers=headers).text
tree = etree.HTML(page_text)
# xpath回傳的是串列 ['video_1742557']
all_addresses = tree.xpath("//div[@id='vervideoTlist']//a[@class='vervideo-lilink actplay']/@href")
# print(all_addresses)
# ['video_1742557', 'video_1742534', 'video_1742545', 'video_1733739', 'video_1718659']
all_names = tree.xpath('//div[@id="vervideoTlist"]//div[@class="vervideo-name"]/text()')
# print(all_names)
urls = []
for i in range(len(all_addresses)):
video_url = 'https://www.pearvideo.com/' + all_addresses[i]
mp4_name = all_names[i] + '.mp4'
video_page_text = requests.get(url=video_url,headers=headers).text
video_tree = etree.HTML(video_page_text)
# https://www.pearvideo.com/videoStatus.jsp?contId=1742572&mrd=0.8749545784196235
contId = video_tree.xpath('//div[@class="fav"]/@data-id')[0]
# print(contId)
mrd = random.random() # random.random() 0.5330239801324711
new_headers={
'Referer':video_url,
'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/90.0.4430.72 Safari/537.36'
}
ajax_url = 'https://www.pearvideo.com/videoStatus.jsp?contId='+str(contId)+'&mrd='+str(mrd)
real_video_content = requests.get(url=ajax_url,headers=new_headers).text # 回傳的是json字串
# 獲取偽地址
false_video_url = eval(real_video_content)['videoInfo']['videos']['srcUrl']
# 獲取真地址
old=false_video_url.split('/')[-1].split('-')[0]
new='cont-'+str(contId)
true_video_url=false_video_url.replace(old,new)
dic = {
'name':mp4_name,
'video_url':true_video_url
}
urls.append(dic)
#使用執行緒池對資料視頻進行請求
def get_video_data(dic):
print(dic['name']+'開始下載.....')
data_url=dic['video_url']
data=requests.get(url=data_url,headers=headers).content
with open(dic['name'],'wb') as f:
f.write(data)
print(dic['name']+'下載成功')
pool=Pool(4)
pool.map(get_video_data,urls)
pool.close()# 關閉pool，使其不在接受新的（主行程）任務
pool.join() # 主行程阻塞后，讓子行程繼續運行完成，子行程運行完后，再把主行程全部關掉
# print(video_url,mp4_name):
# https://www.pearvideo.com/video_1742572 小伙腫瘤醫院旁開共享廚房，宣傳5元吃飽虧本運營.mp4
# https://www.pearvideo.com/video_1742617 寶藏老師｜數學老師的浪漫：用函式講述自己的愛情故事.mp4
# https://www.pearvideo.com/video_1742606 每一幀都如夢境！航拍神農架絕美秋季，云霧浩渺紅架絕美秋季，云霧浩渺紅葉爭艷.mp4
# https://www.pearvideo.com/video_1740575 89歲浙大教師拾破爛9年， 金全部捐助貧困生.mp4 資金全部捐助貧困生.mp4 丘菜刀嗎？18道工序，手
# https://www.pearvideo.com/video_1727677 聽說過章丘鐵鍋，聽說過章丘菜刀嗎？18道工序，手工鍛打.mp4
- 運行結果
3.2 代碼講解
- 亂數
回傳隨機生成的一個實數，它在
[0,1)范圍內
>>> import random
>>> random.random()
0.5330239801324711
- Referer的含義
Referer是HTTP請求Header的一部分，當瀏覽器向Web服務器發送請求的時候，請求頭資訊一般需要包含Referer，
該Referer會告訴服務器我是從哪個頁面鏈接過來的，服務器基此可以獲得一些資訊用于處理，
Referer作用是什么？
- 防盜鏈
比如辦事通服務器只允許網站訪問自己的靜態資源，那服務器每次都需要判斷Referer的值是否是>zwfw.yn.gov.cn，如果是就繼續訪問，不是就攔截，- 防止惡意請求
比如靜態請求是.html結尾的，動態請求是.shtml，那么所有的*.shtml請求，必須 Referer為我自己的>網站才可以訪問，這就是Referer的作用，
參考鏈接
- 關于Http請求header之Referer
- Headers之Referer設定??
- 獲取真正的地址
切片目的：獲取地址中需要替換的內容
報錯404：https://video.pearvideo.com/mp4/adshort/20210927/1632790695959-15774345_adpkg-ad_hd.mp4
正確的路徑：https://video.pearvideo.com/mp4/adshort/20210927/cont-1742572-15774345_adpkg-ad_hd.mp4
# 獲取真地址
old=false_video_url.split('/')[-1].split('-')[0]
new='cont-'+str(contId)
true_video_url=false_video_url.replace(old,new)
>>> url = "https://video.pearvideo.com/mp4/adshort/20210927/1632790695959-15774345_adpkg-ad_hd.mp4"
>>> url.split('/')
['https:', '', 'video.pearvideo.com', 'mp4', 'adshort', '20210927', '1632790695959-15774345_adpkg-ad_hd.mp4']
>>> str = url.split('/')[-1]
>>> str
'1632790695959-15774345_adpkg-ad_hd.mp4'
>>> str.split('-')
['1632790695959', '15774345_adpkg', 'ad_hd.mp4']
>>> str.split('-')[0]
'1632790695959'
>>>
- 處理json字串
print('-----eval-----')
print(eval(real_video_content))
print('-----json.loads()-----')
print(json.loads(real_video_content))
-----eval-----
{'resultCode': '1', 'resultMsg': 'success', 'reqId': 'c44f6eb1-971a-410a-9959-a92d2afeb05f', 'systemTime': '1632799446578', 'videoInfo': {'playSta': '1', 'video_image': 'https://image2.pearvideo.com/cont/20210927/cont-1742572-12624944.jpg', 'videos': {'hdUrl': '', 'hdflvUrl': '', 'sdUrl': '', 'sdflvUrl': '', 'srcUrl': 'https://video.pearvideo.com/mp4/adshort/20210927/1632799446578-15774345_adpkg-ad_hd.mp4'}}}
-----json.loads()-----
{'resultCode': '1', 'resultMsg': 'success', 'reqId': 'c44f6eb1-971a-410a-9959-a92d2afeb05f', 'systemTime': '1632799446578', 'videoInfo': {'playSta': '1', 'video_image': 'https://image2.pearvideo.com/cont/20210927/cont-1742572-12624944.jpg', 'videos': {'hdUrl': '', 'hdflvUrl': '', 'sdUrl': '', 'sdflvUrl': '', 'srcUrl': 'https://video.pearvideo.com/mp4/adshort/20210927/1632799446578-15774345_adpkg-ad_hd.mp4'}}}
-----eval-----
{'resultCode': '1', 'resultMsg': 'success', 'reqId': 'e488637c-0200-41f0-a259-9493913f1d11', 'systemTime': '1632799446898', 'videoInfo': {'playSta': '1', 'video_image': 'https://image1.pearvideo.com/cont/20210927/cont-1742617-12625072.jpg', 'videos': {'hdUrl': '', 'hdflvUrl': '', 'sdUrl': '', 'sdflvUrl': '', 'srcUrl': 'https://video.pearvideo.com/mp4/adshort/20210927/1632799446898-15774709_adpkg-ad_hd.mp4'}}}
-----json.loads()-----
{'resultCode': '1', 'resultMsg': 'success', 'reqId': 'e488637c-0200-41f0-a259-9493913f1d11', 'systemTime': '1632799446898', 'videoInfo': {'playSta': '1', 'video_image': 'https://image1.pearvideo.com/cont/20210927/cont-1742617-12625072.jpg', 'videos': {'hdUrl': '', 'hdflvUrl': '', 'sdUrl': '', 'sdflvUrl': '', 'srcUrl': 'https://video.pearvideo.com/mp4/adshort/20210927/1632799446898-15774709_adpkg-ad_hd.mp4'}}}
-----eval-----
{'resultCode': '1', 'resultMsg': 'success', 'reqId': 'b2b607e8-9685-4f3f-8c16-e10aedad97d0', 'systemTime': '1632799447261', 'videoInfo': {'playSta': '1', 'video_image': 'https://image2.pearvideo.com/cont/20210927/cont-1742606-12625013.png', 'videos': {'hdUrl': '', 'hdflvUrl': '', 'sdUrl': '', 'sdflvUrl': '', 'srcUrl': 'https://video.pearvideo.com/mp4/adshort/20210927/1632799447261-15774653_adpkg-ad_hd.mp4'}}}
-----json.loads()-----
{'resultCode': '1', 'resultMsg': 'success', 'reqId': 'b2b607e8-9685-4f3f-8c16-e10aedad97d0', 'systemTime': '1632799447261', 'videoInfo': {'playSta': '1', 'video_image': 'https://image2.pearvideo.com/cont/20210927/cont-1742606-12625013.png', 'videos': {'hdUrl': '', 'hdflvUrl': '', 'sdUrl': '', 'sdflvUrl': '', 'srcUrl': 'https://video.pearvideo.com/mp4/adshort/20210927/1632799447261-15774653_adpkg-ad_hd.mp4'}}}
-----eval-----
{'resultCode': '1', 'resultMsg': 'success', 'reqId': '16929bb3-257e-4c01-94df-4343a42b99d9', 'systemTime': '1632799447584', 'videoInfo': {'playSta': '1', 'video_image': 'https://image1.pearvideo.com/cont/20210227/cont-1721628-12558949.png', 'videos': {'hdUrl': '', 'hdflvUrl': '', 'sdUrl': '', 'sdflvUrl': '', 'srcUrl': 'https://video.pearvideo.com/mp4/adshort/20210227/1632799447584-15618162_adpkg-ad_hd.mp4'}}}
-----json.loads()-----
{'resultCode': '1', 'resultMsg': 'success', 'reqId': '16929bb3-257e-4c01-94df-4343a42b99d9', 'systemTime': '1632799447584', 'videoInfo': {'playSta': '1', 'video_image': 'https://image1.pearvideo.com/cont/20210227/cont-1721628-12558949.png', 'videos': {'hdUrl': '', 'hdflvUrl': '', 'sdUrl': '', 'sdflvUrl': '', 'srcUrl': 'https://video.pearvideo.com/mp4/adshort/20210227/1632799447584-15618162_adpkg-ad_hd.mp4'}}}
-----eval-----
{'resultCode': '1', 'resultMsg': 'success', 'reqId': '34db5053-02f9-40c1-98c8-4d83a0e7d50f', 'systemTime': '1632799447961', 'videoInfo': {'playSta': '1', 'video_image': 'https://image.pearvideo.com/cont/20210521/cont-1729993-12587145.png', 'videos': {'hdUrl': '', 'hdflvUrl': '', 'sdUrl': '', 'sdflvUrl': '', 'srcUrl': 'https://video.pearvideo.com/mp4/adshort/20210521/1632799447961-15678629_adpkg-ad_hd.mp4'}}}
-----json.loads()-----
{'resultCode': '1', 'resultMsg': 'success', 'reqId': '34db5053-02f9-40c1-98c8-4d83a0e7d50f', 'systemTime': '1632799447961', 'videoInfo': {'playSta': '1', 'video_image': 'https://image.pearvideo.com/cont/20210521/cont-1729993-12587145.png', 'videos': {'hdUrl': '', 'hdflvUrl': '', 'sdUrl': '', 'sdflvUrl': '', 'srcUrl': 'https://video.pearvideo.com/mp4/adshort/20210521/1632799447961-15678629_adpkg-ad_hd.mp4'}}}
通過以上測驗不難發現json.loads()方式和eval方式都可以將json處理為相同的結果，但是既然是不同的方法，終究會有區別
- python處理json字串(使用json.loads而不是eval())
- Python 中的json字串以及使用
- 使用python決議Json字串-獲取Json字串關鍵字?
四、協程概念
4.1 單執行緒+異步協程（推薦）
event_loop：事件回圈，相當于一個無限回圈，我們可以把一些函式注冊到這個事件回圈上，當滿足某些條件的時候，函式就會被回圈執行
coroutine：協程物件，我們可以將協程物件注冊到事件回圈中，它會被事件回圈呼叫，我們可以使用async關鍵字來定義一個方法，這個方法在呼叫時不會立即被執行，而是回傳一個協程物件，
task：任務，它是對協程物件的進一步封裝，包含了任務的各個狀態，
future：代表將來執行或還沒有執行的任務，實際上和task沒有本質區別，
async：定義一個協程
await：用來掛起阻塞方法的執行，
4.2 單任務協程
- async的使用
import asyncio # 提供async、await關鍵字
async def request(url):
print('正在請求的url是',url)
print('請求成功，',url)
# async修飾的函式，呼叫之后回傳一個協程物件
c = request('www.baidu.com')
# 創建一個事件回圈物件
loop = asyncio.get_event_loop()
# 將協程物件注冊到loop中，然后啟動loop
loop.run_until_complete(c) # run_until_complete即可以實作注冊又可以啟動
正在請求的url是 www.baidu.com
請求成功， www.baidu.com
- task的使用
import asyncio # 提供async、await關鍵字
async def request(url):
print('正在請求的url是',url)
print('請求成功，',url)
# async修飾的函式，呼叫之后回傳一個協程物件
c = request('www.baidu.com')
loop = asyncio.get_event_loop()
# 基于loop創建了一個task物件
task = loop.create_task(c) # 需要封裝協程物件
print(task) # 協程狀態還未被執行
loop.run_until_complete(task)
print(task) # 協程狀態已經被執行
<Task pending coro=<request() running at f:/python/python2021/python_spider/第三章：異步爬蟲/2.協程應用.py:3>>
正在請求的url是 www.baidu.com
請求成功， www.baidu.com
<Task finished coro=<request() done, defined at f:/python/python2021/python_spider/第三章 ：異步爬蟲/2.協程應用.py:3> result=None>
- future的使用
import asyncio # 提供async、await關鍵字
async def request(url):
print('正在請求的url是',url)
print('請求成功，',url)
# async修飾的函式，呼叫之后回傳一個協程物件
c = request('www.baidu.com')
loop = asyncio.get_event_loop()
task = asyncio.ensure_future(c) # 需要封裝協程物件
print(task)
loop.run_until_complete(task)
print(task)
<Task pending coro=<request() running at f:/python/python2021/python_spider/第三章：異步爬蟲/2.協程應
用.py:3>>
正在請求的url是 www.baidu.com
請求成功， www.baidu.com
<Task finished coro=<request() done, defined at f:/python/python2021/python_spider/第三章：異步爬蟲/2.協程應用.py:3> result=None>
- 回呼函式
import asyncio # 提供async、await關鍵字
async def request(url):
print('正在請求的url是',url)
print('請求成功，',url)
return url
# async修飾的函式，呼叫之后回傳一個協程物件
c = request('www.baidu.com')
def callback_func(task):
# result回傳的就是任務物件中所封裝的協程物件對應函式的回傳值
print(task.result())
# 系結回呼
loop = asyncio.get_event_loop()
task = asyncio.ensure_future(c)
# 將回呼函式被系結到任務物件中
task.add_done_callback(callback_func)
loop.run_until_complete(task)
# 正在請求的url是 www.baidu.com
# 請求成功， www.baidu.com
# www.baidu.com
4.3 多任務協程
測驗代碼
協程應用中的案例是單任務的，只是創建了一個協程物件，將該協程物件封裝到了一個任務之中，將這一個任務物件注冊到了一個事件回圈當中
- 多任務協程
import asyncio
import time
async def request(url):
print('正在下載',url)
time.sleep(2) # 這是一個同步模塊代碼
print('下載完畢',url)
start = time.time()
urls = {
'www.baidu.com',
'www.sogou.com',
'www.goubanjia.com'
}
# 任務串列：存放多個任務物件
stasks = []
for url in urls:
c = request(url)
task = asyncio.ensure_future(c)
stasks.append(task)
# 創建一個事件回圈物件
loop = asyncio.get_event_loop()
# 需要將任務串列封裝到wait中
loop.run_until_complete(asyncio.wait(stasks))
print(time.time() - start)
正在下載 www.goubanjia.com
下載完畢 www.goubanjia.com
正在下載 www.sogou.com
下載完畢 www.sogou.com
正在下載 www.baidu.com
下載完畢 www.baidu.com
6.008122205734253
- 記過發現程式是同步執行，這是為什么？
原因出現在time.sleep(2), 在異步協程中如果出現了同步模塊相關的代碼，那么無法實作異步
- 使用異步模塊阻塞掛起
import asyncio
import time
async def request(url):
print('正在下載',url)
# 在異步協程中如果出現了同步模塊相關的代碼，那么無法實作異步
# time.sleep(2) # 這是一個同步模塊代碼
# 當在asyncio中遇到阻塞操作必須進行手動掛起
await asyncio.sleep(2) # 這是一個異步模塊代碼
print('下載完畢',url)
start = time.time()
urls = {
'www.baidu.com',
'www.sogou.com',
'www.goubanjia.com'
}
# 任務串列：存放多個任務物件
stasks = []
for url in urls:
c = request(url)
task = asyncio.ensure_future(c)
stasks.append(task)
# 創建一個事件回圈物件
loop = asyncio.get_event_loop()
# 需要將任務串列封裝到wait中
loop.run_until_complete(asyncio.wait(stasks))
print(time.time() - start)
正在下載 www.baidu.com
正在下載 www.goubanjia.com
正在下載 www.sogou.com
下載完畢 www.baidu.com
下載完畢 www.goubanjia.com
下載完畢 www.sogou.com
2.0053040981292725
應用案例
- 搭建Flask服務
- 多任務異步協程爬蟲
import requests
import asynico
import time
start = time.time()
urls = [
'http://127.0.0.1:5000/bobo',
'http://127.0.0.1:5000/jay',
'http://127.0.0.1:5000/tom'
]
async def get_page(url):
print('正在下載'，url)
# requests是基于同步的，必須使用基于異步的網路請求模塊進行指定url的請求發送
# aiohttp：基于異步網路請求的模塊
response = requests.get(url=url) # 這是基于同步模塊的代碼
print('下載完畢'，response.text)
# 使用async修飾，呼叫get_page會回傳協程物件
tasks = []
for url in urls:
c = get_page(url)
task = asyncio.ensure_future(c) # 將協程物件封裝到任務物件當中
tasks.append(task)
loop = asyncio.get_event_loop() # 創建回圈事件
loop.run_until_complete(asyncio.wait(tasks))
end = time.time()
print('總耗時：',end-start)
分析耗時時常：查看Flask服務檔案可以發起請求2秒即可，一共發起三個，若是串行應該是6秒，異步2秒，
為什么沒有實作異步？
是由于出現了同步模塊的使用:requsets.get()方法，
aiohttp：基于異步網路請求的模塊
在異步協程中如果出現了同步模塊相關的代碼，那么無法實作異步!
aiohttp模塊
- 環境安裝
pip install aiohttp
使用該模塊中的ClientSession
- 主要代碼
# get()、post():
# headers,params[get] / data[post],proxy='http://ip:port'
async def get_page(url):
async with aiohttp.ClientSession() as session:
async with await session.get(url) as response:#response回應物件
# text()回傳字串形式的回應資料
# read()回傳的是二進制形式回應資料
# json()飯hi的是json物件
# 注意：獲取回應資料操作之前一定要使用await進行手動掛起
page_text = await response.text()
print(page_text)
- 結果
- page_text = response.text()
- page_text = await response.text()
總結
- xpath獲取不到想要的屬性資料
有小伙伴知道的，留言告訴我，謝謝大家！
2. Refere的作用
轉載請註明出處，本文鏈接：https://www.uj5u.com/houduan/304333.html
標籤：python