初識Locust
- 1. Locust基本介紹
- 1.1 引言
- 1.2 簡介
- 2. Locsut安裝方式
- 2.1 安裝 locust
- 2.2 安裝pyzmq
- 2.3 安裝成功確認
- 3. Locust 引數說明
- 3.1 引數資訊
- 3.2 引數資訊決議
- 3.3 Locust主要庫
- 4. Locust類說明
- 4.1 client屬性
- 4.2 其他屬性
- 4.2.1 task_set
- 4.2.2 max_wait/min_wait
- 4.2.3 host
- 4.2.4 weight
- 5. Loucst執行流程
- 6. 性能測驗工具比較
- 7. Locust代碼實戰
1. Locust基本介紹
1.1 引言
現在不管是互聯網行業或者是傳統行業,對性能的要求,都日漸增多,
為了能更快更準確的定位問題,發現問題,解決問題,
市面上出現了越來越多的性能測驗工具,例如Jmeter,Loadrunner,Locus等,而今天,我們主要介紹的,就是Locust!
很多人并不知道什么是Locust,包括使用python的人,因為不涉及到,所以不會去可以了解,
那么,什么是Loucst,以及Locust的功能,有點是啥呢,
跟著小魚,往下看~
1.2 簡介
Locust是開源的使用Python開發,基于事件,支持分布式并且提供Web UI進行測驗執行和結果展示的性能測驗工具,
1.Locust 與Jmeter占用資源比較
Locust之所以在資源占用方面完勝開源的Jmeter,
主要是因為:
>>兩者的模式用戶方式不同:
①Jmeter是通過執行緒來作為虛擬用戶
②Locust借助gevent庫對協程的支持,以greenlet來實作對用戶的模擬你,
所以,在相同配置下,Locust能支持的并發用戶數相比Jmeter,就不止提升了一個Level,
2.Locust使用語言
Locust使用的是Python代碼定義測驗場景,目前支持Python2.7,3.3~3.7,
它自帶一個Web UI,用于定義用戶模型,發起測驗,實時測驗資料,錯誤統計等,
3.官方檔案
更多更詳細的內容,可以參考:
1.檔案內容,點擊:官方檔案
2.源代碼,點擊:Github
2. Locsut安裝方式
同樣,我們直接 pip安裝即可
2.1 安裝 locust
pip install locust
2.2 安裝pyzmq
如果打算運行Locust 分布在多個行程/行程,需要安裝pyzmq
同樣使用pip安裝
pip install pyzmq
注:
如果安裝 locust-1.2.3 版本,可能就不需要再次安裝pyzmq了,
好像直接附帶安裝 pyzmq
2.3 安裝成功確認
打開cmd視窗,直接輸入
locust --help
如果出現下圖,則說明安裝成功

3. Locust 引數說明
針對上圖的安裝成功后,我們來進行引數決議
3.1 引數資訊
我們先把locust --help 里面的所有資訊,copy出來
Common options:
-h, --help show this help message and exit
-f LOCUSTFILE, --locustfile LOCUSTFILE
Python module file to import, e.g. '../other.py'.
Default: locustfile
--config CONFIG Config file path
-H HOST, --host HOST Host to load test in the following format:
http://10.21.32.33
-u NUM_USERS, --users NUM_USERS
Number of concurrent Locust users. Primarily used
together with --headless
-r SPAWN_RATE, --spawn-rate SPAWN_RATE
The rate per second in which users are spawned.
Primarily used together with --headless
-t RUN_TIME, --run-time RUN_TIME
Stop after the specified amount of time, e.g. (300s,
20m, 3h, 1h30m, etc.). Only used together with
--headless
-l, --list Show list of possible User classes and exit
Web UI options:
--web-host WEB_HOST Host to bind the web interface to. Defaults to '*'
(all interfaces)
--web-port WEB_PORT, -P WEB_PORT
Port on which to run web host
--headless Disable the web interface, and instead start the load
test immediately. Requires -u and -t to be specified.
--web-auth WEB_AUTH Turn on Basic Auth for the web interface. Should be
supplied in the following format: username:password
--tls-cert TLS_CERT Optional path to TLS certificate to use to serve over
HTTPS
--tls-key TLS_KEY Optional path to TLS private key to use to serve over
HTTPS
Master options:
Options for running a Locust Master node when running Locust distributed. A Master node need Worker nodes that connect to it before it can run load tests.
--master Set locust to run in distributed mode with this
process as master
--master-bind-host MASTER_BIND_HOST
Interfaces (hostname, ip) that locust master should
bind to. Only used when running with --master.
Defaults to * (all available interfaces).
--master-bind-port MASTER_BIND_PORT
Port that locust master should bind to. Only used when
running with --master. Defaults to 5557.
--expect-workers EXPECT_WORKERS
How many workers master should expect to connect
before starting the test (only when --headless used).
Worker options:
Options for running a Locust Worker node when running Locust distributed.
Only the LOCUSTFILE (-f option) need to be specified when starting a Worker, since other options such as -u, -r, -t are specified on the Master node.
--worker Set locust to run in distributed mode with this
process as worker
--master-host MASTER_NODE_HOST
Host or IP address of locust master for distributed
load testing. Only used when running with --worker.
Defaults to 127.0.0.1.
--master-port MASTER_NODE_PORT
The port to connect to that is used by the locust
master for distributed load testing. Only used when
running with --worker. Defaults to 5557.
Tag options:
Locust tasks can be tagged using the @tag decorator. These options let specify which tasks to include or exclude during a test.
-T [TAG [TAG ...]], --tags [TAG [TAG ...]]
List of tags to include in the test, so only tasks
with any matching tags will be executed
-E [TAG [TAG ...]], --exclude-tags [TAG [TAG ...]]
List of tags to exclude from the test, so only tasks
with no matching tags will be executed
Request statistics options:
--csv CSV_PREFIX Store current request stats to files in CSV format.
Setting this option will generate three files:
[CSV_PREFIX]_stats.csv, [CSV_PREFIX]_stats_history.csv
and [CSV_PREFIX]_failures.csv
--csv-full-history Store each stats entry in CSV format to
_stats_history.csv file. You must also specify the '--
csv' argument to enable this.
--print-stats Print stats in the console
--only-summary Only print the summary stats
--reset-stats Reset statistics once spawning has been completed.
Should be set on both master and workers when running
in distributed mode
Logging options:
--skip-log-setup Disable Locust's logging setup. Instead, the
configuration is provided by the Locust test or Python
defaults.
--loglevel LOGLEVEL, -L LOGLEVEL
Choose between DEBUG/INFO/WARNING/ERROR/CRITICAL.
Default is INFO.
--logfile LOGFILE Path to log file. If not set, log will go to
stdout/stderr
Step load options:
--step-load Enable Step Load mode to monitor how performance
metrics varies when user load increases. Requires
--step-users and --step-time to be specified.
--step-users STEP_USERS
User count to increase by step in Step Load mode. Only
used together with --step-load
--step-time STEP_TIME
Step duration in Step Load mode, e.g. (300s, 20m, 3h,
1h30m, etc.). Only used together with --step-load
Other options:
--show-task-ratio Print table of the User classes' task execution ratio
--show-task-ratio-json
Print json data of the User classes' task execution
ratio
--version, -V Show program's version number and exit
--exit-code-on-error EXIT_CODE_ON_ERROR
Sets the process exit code to use when a test result
contain any failure or error
-s STOP_TIMEOUT, --stop-timeout STOP_TIMEOUT
Number of seconds to wait for a simulated user to
complete any executing task before exiting. Default is
to terminate immediately. This parameter only needs to
be specified for the master process when running
Locust distributed.
User classes:
UserClass Optionally specify which User classes that should be
used (available User classes can be listed with -l or
--list)
3.2 引數資訊決議
這里,只寫了大部分,至于缺少的部分,小魚覺得不太常用,就不浪費浪費電了~畢竟1度電 1塊多錢 ! !
還有,就是小魚要吃午飯~
-h, --help 查看幫助
-H HOST, --host=HOST 指定被測驗的主機,采用以格式:http://10.21.32.33
--web-host=WEB_HOST 指定運行 Locust Web 頁面的主機,默認為空 '',
-P PORT, --port=PORT, --web-port=PORT 指定 --web-host 的埠,默認是8089
-f LOCUSTFILE, --locustfile=LOCUSTFILE 指定運行 Locust 性能測驗檔案,默認為: locustfile.py
--csv=CSVFILEBASE, --csv-base-name=CSVFILEBASE 以CSV格式存盤當前請求測驗資料,
--master Locust 分布式模式使用,當前節點為 master 節點,
--slave Locust 分布式模式使用,當前節點為 slave 節點,
--master-host=MASTER_HOST 分布式模式運行,設定 master 節點的主機或 IP 地址,只在與 --slave 節點一起運行時使用,默認為:127.0.0.1.
--master-port=MASTER_PORT 分布式模式運行, 設定 master 節點的埠號,只在與 --slave 節點一起運行時使用,默認為:5557,注意,slave 節點也將連接到這個埠+1 上的 master 節點,
--master-bind-host=MASTER_BIND_HOST Interfaces (hostname, ip) that locust master should bind to. Only used when running with --master. Defaults to * (all available interfaces).
--master-bind-port=MASTER_BIND_PORT Port that locust master should bind to. Only used when running with --master. Defaults to 5557. Note that Locust will also use this port + 1, so by default the master node will bind to 5557 and 5558.
--expect-slaves=EXPECT_SLAVES How many slaves master should expect to connect before starting the test (only when --no-web used).
--no-web no-web 模式運行測驗,需要 -c 和 -r 配合使用.
-c NUM_CLIENTS, --clients=NUM_CLIENTS 指定并發用戶數,作用于 --no-web 模式,
-r HATCH_RATE, --hatch-rate=HATCH_RATE 指定每秒啟動的用戶數,作用于 --no-web 模式,
-t RUN_TIME, --run-time=RUN_TIME 設定運行時間, 例如: (300s, 20m, 3h, 1h30m). 作用于 --no-web 模式,
-L LOGLEVEL, --loglevel=LOGLEVEL 選擇 log 級別(DEBUG/INFO/WARNING/ERROR/CRITICAL). 默認是 INFO.
--logfile=LOGFILE 日志檔案路徑,如果沒有設定,日志將去 stdout/stderr
--print-stats 在控制臺中列印資料
--only-summary 只列印摘要統計
--no-reset-stats Do not reset statistics once hatching has been completed,
-l, --list 顯示測驗類, 配置 -f 引數使用
--show-task-ratio 列印 locust 測驗類的任務執行比例,配合 -f 引數使用.
--show-task-ratio-json 以 json 格式列印 locust 測驗類的任務執行比例,配合 -f 引數使用.
-V, --version 查看當前 Locust 工具的版本.
3.3 Locust主要庫
①gevent
gevent是一種基于協程的Python網路庫,它用到Greenlet提供的,封裝了libevent事件回圈的高層同步API,
②flask
Python撰寫的輕量級Web應用框架,
如果想了解flask及代碼實戰,看小魚的這篇文章:
《Python3,網站搭建之構建Flask專案》
③requests
Python的HTTP庫
可以參考小魚的這篇文章《requests庫常用到的7個主要方法及控制訪問引數》
④msgpack-python
MessagePack是一種快速、緊湊的二進制序列化格式,適用于類似JSON的資料格式,msgpack-python主要提供MessagePack資料序列化及反序列化的方法,
⑤six
Python2和3兼容庫,用來封裝Python2和Python3之間的差異性
⑥ pyzmq
pyzmq是zeromq(一種通信佇列)的Python系結,主要用來實作Locust的分布式模式運行,
4. Locust類說明
4.1 client屬性
①在Locust類中,靜態欄位client即客戶端的請求方法,這里的client欄位沒有系結客戶端請求方法,因此在使用Locust時,需要先繼承Locust類class HttpLocust(Locust),然后在self.client =HttpSession(base_url=self.host)系結客戶端請求方法;
②對于常見的HTTP(s)協議,Locust已經實作了HttpLocust類,其self.client=HttpSession(base_url=self.host),而HttpSession繼承自requests.Session,
③在測驗HTTP(s)的Locust腳本中,可以通過client屬性來使用Python requests庫的所 有方法,呼叫方式與 reqeusts完全一致,
④由于requests.Session的使用,client的方法呼叫之間就自動具有了狀態記憶功能,
⑤常見的場景就是,在登錄系統后可以維持登錄狀態的Session,從而后續HTTP請求操作都能帶上登錄狀態,
4.2 其他屬性
4.2.1 task_set
指向一個TaskSet類,TaskSet類定義了用戶的任務資訊,該靜態欄位為必填,
4.2.2 max_wait/min_wait
每個用戶執行兩個任務間隔的上下限(毫秒),具體數值在上下限中隨機取值,若不指定則默認間隔時間為1秒,
4.2.3 host
被測驗系統的host,當在終端中啟動locust時沒有指定–host引數時才會用到,
4.2.4 weight
同時運行多個Locust類時,用于控制不同型別的任務執行權重,
5. Loucst執行流程
具體流程如下:
①先執行WebsiteTasks中的on_start(只執行一次),作為初始化;
②從WebsiteTasks中隨機挑選(如果定義了任務間的權重關系,那么就按照權重關系隨機挑選)一個任務執行;
③根據Locust類中min_wait和max_wait定義的間隔時間范圍(如果TaskSet類中也定義了min_wait或者max_wait,以TaskSet中的優先),在時間范圍中隨機取一個值,休眠等待;
④重復2~3步驟,直到測驗任務終止,
6. 性能測驗工具比較
關于如何選擇性能測驗工具,小魚在《深聊性能測驗,從入門到放棄之:初識性能測驗》寫過,
每個工具,都有自己存在的價值,即,存在即有意義
接下來,小魚給大家分析一下,Jmeter、Loadrunner、Locust這三個工具,
| 專案 | Jmeter | Loadrunner | Locust |
|---|---|---|---|
| 授權方式 | 開源 | 商業收費 | 開源 |
| 開發語言 | Java | C/Java | Pyhton |
| 測驗腳本形式 | GUI | C/Java | Python |
| 并發機制 | 執行緒 | 行程/執行緒 | 協程 |
| 單機并發能力 | 低 | 低 | 高 |
| 分布式壓力 | 支持 | 支持 | 支持 |
| 資源監控 | 不支持 | 支持 | 不支持 |
| 報告與分析 | 簡單圖表 | 完善 | 簡單圖表 |
| 支持二次開發 | 支持 | 不支持 | 支持 |
通過對比,可以看到,Locust并不占優,但是,小魚喜歡用這個的原因,
是因為:
1、首先是模擬用戶操作
①Locust采用Pure Python腳本描述,并且HTTP請求完全基于Requests庫,
②Requests這個庫非常簡潔易用,但功能十分強大,很多其它編程語言的HTTP庫都借鑒了它的思想和模式,如果將其評選為最好用的HTTP庫之一(不限語言),應該也不會有太大的爭議,
③除了HTTP(S)協議,Locust也可以測驗其它任意協議的系統,只需要采用Python呼叫對應的庫進行請求描述即可,
2、并發機制
①Locust的并發機制采用協程(gevent)的機制,
②采用多執行緒來模擬多用戶時,執行緒數會隨著并發數的增加而增加,而執行緒之間的切換是需要占用資源的,IO的阻塞和執行緒的sleep會不可避免的導致并發效率下降;正因如此,LoadRunner和Jmeter這類采用行程和執行緒的測驗工具,都很難在單機上模擬出較高的并發壓力,
③而協程和執行緒的區別在于:協程避免了系統級資源調度,由此大幅提高了性能,
④正常情況下,單臺普通配置的測驗機可以生產數千并發壓力,這是LoadRunner和Jmeter都無法實作的,
7. Locust代碼實戰
代碼實戰部分,我放到了第二章節來展示,
可以直接點擊傳送
《深聊性能測驗,從入門到放棄之:Locust性能自動化(二)代碼實戰》
小屌絲:魚哥,你能不能先分享一點,Locust的界面是啥樣子?
小魚:額, 就不能等等嘛~~
小屌絲: 我覺得不能,你就給個圖,看看,到底牛X的地方是啥?
小魚:好的,等著明天! 我得吃飯去了!!!
轉載請註明出處,本文鏈接:https://www.uj5u.com/qita/64540.html
標籤:其他
上一篇:Educational Codeforces Round 95 (Rated for Div. 2)
下一篇:漢諾塔問題(遞回寫法)
