前言
requests是Python發送介面請求非常好用的一個三方庫,由K神撰寫,簡單,方便上手快,但是requests發送請求是串行的,即阻塞的,發送完一條請求才能發送另一條請求,
為了提升測驗效率,一般我們需要并行發送請求,這里可以使用多執行緒,或者協程,gevent或者aiohttp,然而使用起來,都相對麻煩,
grequests是K神基于gevent+requests撰寫的一個并發發送請求的庫,使用起來非常簡單,
安裝方法: pip install gevent grequests
專案地址:https://github.com/spyoungtech/grequests
grequests簡單使用
首先構造一個請求串列,使用grequests.map()并行發送,得到一個回應串列,示例如下,
import grequests
req_list = [ # 請求串列
grequests.get('http://httpbin.org/get?a=1&b=2'),
grequests.post('http://httpbin.org/post', data={'a':1,'b':2}),
grequests.put('http://httpbin.org/post', json={'a': 1, 'b': 2}),
]
res_list = grequests.map(req_list) # 并行發送,等最后一個運行完后回傳
print(res_list[0].text) # 列印第一個請求的回應文本
grequests支持get、post、put、delete等requests支持的HTTP請求方法,使用引數和requests一致,發送請求非常簡單,
通過遍歷res_list可以得到所有請求的回傳結果,
grequests和requests性能對比
我們可以對比下requests串行和grequests并行請求100次github.com的時間,示例如下,
使用requests發送請求
import requests
import time
start = time.time()
res_list = [requests.get('https://github.com') for i in range(100)]
print(time.time()-start)
實際耗時約100s+
使用grequests發送
import grequests
import time
start = time.time()
req_list = [grequests.get('https://github.com') for i in range(100)]
res_list = grequests.map(req_list)
print(time.time()-start)
實際耗時約3.58s
例外處理
在批量發送請求時難免遇到某個請求url無法訪問或超時等例外,grequests.map()方法還支持自定義例外處理函式,示例如下,
import grequests
def err_handler(request, exception):
print("請求出錯")
req_list = [
grequests.get('http://httpbin.org/delay/1', timeout=0.001), # 超時例外
grequests.get('http://fakedomain/'), # 該域名不存在
grequests.get('http://httpbin.org/status/500') # 正常回傳500的請求
]
res_list = grequests.map(reqs, exception_handler=err_handler)
print(res_list)
運行結果:
請求出錯
請求出錯
[None, None, <Response [500]>]

我是個自動化測驗人員,上面是我收集的一些視瞥澩,在這個程序中幫到了我很多,如果你不想再體驗一次自學時找不到資料,沒人解答問題,堅持幾天便放棄的感受的話,可以加入我們扣扣群【313782132 】,里面有各種軟體測驗資源和技術討論,
軟體測驗是IT相關行業中最容易入門的學科~不需要開發人員燒腦的邏輯思維、不需要運維人員24小時的隨時待命,需要的是細心認真的態度和IT相關知識點廣度的了解,每個測驗人員從入行到成為專業大牛的成長路線可劃分為:軟體測驗、自動化測驗、測驗開發工程師 3個階段,
如果你不想再體驗一次自學時找不到資料,沒人解答問題,堅持幾天便放棄的感受的話,可以加我們的軟體測驗交流群,里面有各種軟體測驗資料和技術交流,
轉載請註明出處,本文鏈接:https://www.uj5u.com/qianduan/188486.html
標籤:其他
上一篇:視頻面試跟傳統面試的區別及優點
下一篇:java面向物件4-代碼塊
