使用HTTP Client 提高Locust性能
- 1、什么是 FastHttpUser
- 1.1、 geventhttpclient厲害之處
- 1.1.1 初識 geventhttpclient
- 1.1.2 geventhttpclient實體展示
- 1.1.3 高并發 代碼實戰
- 1.1.4 資料流 代碼實戰
- 2、如何使用FastHttpUser
- 3、FastHttp 的API 類
- 3.1、FastHttpUser類
- 3.2、 FastHttpSession類
- 3.3、FastResponse類
1、什么是 FastHttpUser
在介紹FastHttpUser之前，我們先看一下，Locust默認客戶端使用的是啥？
Locust 默認客戶端使用的是python-requests，
>> 如果不了解 python-requests，可以看一下小魚的這篇：《requests庫常用到的7個主要方法及控制訪問引數》
或者官方檔案，如果有足夠耐心的話：《Requests》
我們接著說，使用requests是Pyhton維護非常方便的包，并且在python應用中非常廣泛，栗如：爬蟲，介面等，
所以，官網是非常推薦我們使用HttpUser，
但是，如果我們的測驗規模非常大，資料量非常大，那么這個時候，我們就可以使用 Http客戶端，該客戶端使用的是geventhttpclient 而不是請求，好處呢，就是進行HTTP請求的性能提高了5~6倍，是不是很厲(尿)害(性) ！！！
注：
1、提高 5~6倍，這并不意味著每個CPU內核可以模擬的用戶數量將自動增加到5至6倍，因為這不去取決于負載測驗腳本的其他功能；
2、如果locust腳本在執行HTTP請求時花費大量的CPU時間，那么將會得到顯著的性能提升！
1.1、 geventhttpclient厲害之處
1.1.1 初識 geventhttpclient
1、geventhttpclient專門為高并發、流傳輸和支持HTTP 1.1持久連接而設計，
2、它旨在有效地從REST API和Twitter之類的流API中提取資訊，
3、默認情況下，提供SSL支持，
>>>① geventhttpclient取決于證書CA Bundle，
>>>② 這是與Requests代碼庫一起提供的相同的CA Bundle，它是從Mozilla Firefox的規范集衍生而來的，
4、支持Python 2.7和Python 3.4+，不再支持Python 2.6，
注
官方不建議將SSL / TLS與python 2.7.9一起使用，
1.1.2 geventhttpclient實體展示
很簡答的一段代碼，就是通過geventhttpclient 來獲取 請求，回應資訊，狀態碼等資料，
老規矩，上代碼
# -*- coding: utf-8 -*-
"""
@ auth : carl_DJ
@ time : 2020-9-30
"""
from geventhttpclient import HTTPClient
from geventhttpclient.url import URL
url = URL('http://baidu.com')
http =HTTPClient(url.host)
#獲取一個請求
response = http.get(url.request_uri)
#讀取狀態碼
response.status_code
#讀取回傳內容
body = response.read()
#關閉鏈接
http.close()
1.1.3 高并發 代碼實戰
HTTPClient具有內置的連接池，可以在多個并發執行緒中使用同一個實體，
上代碼，
# -*- coding: utf-8 -*-
"""
@ auth : carl_DJ
@ time : 2020-9-30
"""
import gevent.pool
import json
from geventhttpclient import HTTPClient
from geventhttpclient.url import URL
#獲取某網站的token
Token = '<go to http://developers.xxx.com/tools/explorer and copy the access token>'
url = URL('https://xxx.com/me/friends')
url['access_token'] = Token
#設定 10個并發和10和連接數
http = HTTPClient.from_url(url,concurrency =10)
#設定回應請求
response = http.get(url.request_uri)
#拋出 狀態
assert response.status_code == 200
#將讀取的資訊流，傳遞到json決議器中
data = json.loads(response)['data']
#定義方法，來列印friend_username
def print_friend_username(http,friend_id):
#設定 http，friend_id 兩個引數
#url地址拼接
fiend_url = URL('/'+str(friend_id))
fiend_url['access_token'] = Token
#在鏈接之前，執行緒會處于阻塞狀態
response = http.get(fiend_url.request_uri)
assert response.status_code ==200
friend = json.load(response)
#判斷是否存在username
if friend.has_key('username'):
print (f"{firend['username']} :{friend['name']}")
else:
print(f"{friend['name'] has no username}")
#設定一次運行20個執行緒
pool = gevent.pool.Pool(20)
#回圈讀取
for item in data:
friend_id = item['id']
pool.spawn(print_friend_username,http,friend_id)
pool.json()
#關閉
http.close()
這里小魚在強調幾點：
1、資訊最好是使用json決議器，快捷方便；
2、執行緒數根據自己是實際業務量來撰寫；
3、每次執行完，在最后，需要關閉http，不然耗資源，
4、小魚自認為，注釋還算明白，不明白的，可要補基礎知識了！
1.1.4 資料流 代碼實戰
geventhttpclient支持流，這是一大特色，
回應狀態具有：read()，readline()方法，他們都是以增量的方式讀取，
我們來個例子，看看牛在啥地方
# -*- coding: utf-8 -*-
"""
@ auth : carl_DJ
@ time : 2020-9-30
"""
from geventhttpclient import HTTPClient
from geventhttpclient.url import URL
#本地的檔案地址
url = URL('http://127.0.0.1:80/100.dat')
#獲取請求
http = HTTPClient.from_url(url)
#獲取回應資訊
response = http.get(url.query_string)
#拋出200的說明OK的
assert response.status_code == 200
#檔案的大小
CHUNK_SIZE = 1024 * 16 # 16KB
#with方法打開檔案
with open('/data/100.dat', 'w') as f:
while data:
f.write(data)
data = response.read(CHUNK_SIZE)
小屌絲：魚哥，這不就是一個下載大檔案的方法嗎？
小魚：是啊，
小屌絲：那這有啥稀奇的，我到沒看出來啥道道，
小魚：那你知道，下載大檔案的方法那么多，我為啥偏偏喜歡用 gevent 來下載？
小屌絲：因為你現在不就是在講 geventhttpclient嘛！(很裝叉的樣子)
小魚：還有呢？？
小屌絲：額…
小魚：因為 使用geventhttpclient ，可以節省記憶體啊 ！！！！
小屌絲：挖草~ 這也可以！！
2、如何使用FastHttpUser
我們直接上代碼，
在代碼中，理解如何使用
# -*- coding: utf-8 -*-
"""
@ auth : carl_DJ
@ time : 2020-9-30
"""
from locust import task,between
from locust.contrib.fasthttp import FastHttpUser
class MyUser(FastHttpUser):
#設定時間間隔在 1~5秒之間
wite_time = (1,5)
@task
def index(self):
response = self.client.get("/")
看到沒有，就是這么簡單，
如果沒理解@task的用法，可以參照小魚的上一篇文章，
《深聊性能測驗，從入門到放棄之：Locust性能自動化(二)代碼實戰》
這里有詳細介紹 @task的用法，在本篇不多闡述，
注：
因為 FastHttpUser 使用的是不同的客戶端(geventhttpclient)及API來實作，所以， 并不總能代替HttpUser，但是偶爾可以代替一下！！！！
3、FastHttp 的API 類
3.1、FastHttpUser類
剛剛小魚也提到了， FastHttpUser與HttpUser（python-requests）相比，
使用的是 (geventhttpclient) 這個客戶端，所以：
① 速度比HttpUser 快；
②功能比HttpUser 弱，
由于該用戶的行為由其任務定義，可以通過使用 @task decorator 方法或通過設定來直接在類上宣告 ，takss attribute，
此類在實體化時創建一個客戶端屬性，該屬性是一個HTTPClient，支持在請求之間保持用戶會話，
接下來，詳細看一下：
1、定義FastHttpUser 類
#定義FastHttpUser 類
class FastHttpUser(environment)
2、引數及定義
# 傳遞給FastHttpSession的引數
connection_timeout: float= 60.0
#引數傳遞給FastHttpSession，默認值為True，表示不進行SSL驗證，
insecure: bool= True
#引數傳遞給FastHttpSession，默認值5，表示4次重定向，
max_retries: int= 1
#引數傳遞給FastHttpSession，默認值1，表示零重試，
max_redirects: int= 5
#傳遞給FastHttpSession的引數
network_timeout: float= 60.0
3.2、 FastHttpSession類
關于 FastHttpSession類的內容，我們直接代碼中決議：
1、定義FastHttpSession 類
#定義FastHttpSession 類
class FastHttpUser(environment，base_url，insecure = True，** kwargs)
2、引數及定義
# 發送get請求
get(Path,**kwargs)
# 發送head請求
head(Path,**kwargs)
# 發送option請求
option(Path,**kwargs)
# 發送patch請求
patch(Path,data = None,**kwargs)
# 發送post請求
post(Path,data = None,**kwargs)
# 發送put請求
put(Path,data = None,**kwargs)
#發送http請求并回傳loucst.contrib.fasthttp.FastResponse 物件
request(method, path, name=None, data=None, catch_response=False, stream=False, headers=None, auth=None, json=None, allow_redirects=True, **kwargs)
這里我們單獨決議一下 request方法里面的引數：
①method： 新的request 方法；
②path：請求主機地址，url；
③name：可選引數，可以指定為在Locust的統計資訊中用作標簽，而不是URL路徑；
④data：可選引數，要在請求正文中發送的字串/位元組；
⑤catch_response：可選引數，如果已設定，則可用于發出請求，以回傳背景關系管理器以用作with陳述句的引數，可自行進行標記，例如200可以設定Success，也可以設定成Fail，
⑥stream：可選引數，
>>>>如果設定成Ture，則不會立即使用回應主體，而是可以通過訪問Response物件上的stream屬性來使用它；
>>>>如果設定成False，在Locust報告的請求時間中不會考慮下載回應內容的時間，
⑦headers：與請求一起發送的HTTP headers字典；
⑧auth：可選引數，身份認證(用戶名、密碼等)；
⑨json：可選引數，在請求正文中發送的字典，
3.3、FastResponse類
1、定義FastResponse 類
#定義FastResponse 類
classFastResponse(ghc_response, request=None, sent_request=None)
2、引數及定義
① content屬性：
必要時解壓縮并緩沖接收到的正文，注意大檔案的情況！
②headers：
包含回應標頭的類物件字典；
③json()：
將回應決議為json并回傳一個dict；
④text屬性：
以解碼的字串形式回傳回應的文本內容，
小屌絲： 魚哥，我想從頭學習locust，能不能給我推薦一下哪些博文好呢？
小魚：那你就看你魚哥我的博文啊
小屌絲：哪些博文，快快說說，迫不及待了~~！！
小魚：莫急，可不是莫言，且看以下幾篇文章：
①、《深聊性能測驗，從入門到放棄之：Locust性能自動化(一)初識Locust》
帶你認識 locust，從此不再僅限于 Loadrunner、Jmeter性能功能，
②、《深聊性能測驗，從入門到放棄之：Locust性能自動化(二)代碼實戰》
讓你了解locust的內涵，自己也可以動手寫性能測驗腳本
③、《深聊性能測驗，從入門到放棄之：Locust性能自動化(三)提高locust性能》
讓你提高性能，遨游性能的海洋，
轉載請註明出處，本文鏈接：https://www.uj5u.com/qukuanlian/147186.html
標籤：區塊鏈
上一篇：【詳細】Python基礎（二）