Sysbench使用總結
實踐環境
CentOS 7.8
Sysbench 1.0.20
下載地址：https://github.com/akopytov/sysbench/archive/refs/tags/1.0.20.tar.gz
用法介紹
sysbench [options]... [testname] [command]
具體說明：
-
testname可選的內置測驗型別名稱、或者是和工具捆綁的
lua腳本名稱(不帶后綴.lua)，形如oltp_read_only，或者是指定lua腳本的路徑，形如sysbench-1.0.20/tests/include/oltp_legacy/oltp.lua，可選內置測驗名稱如下：fileio檔案I/O測驗cpuCPU性能測驗memory記憶體測驗threadsPOSIX執行緒性能測驗mutex執行Mutext性能測驗(調度程式性能測驗)說明：當
testname指定為lua腳本名稱時，實際執行時，會到sysbench_installation_home/share/sysbench目錄下查找對應名稱的腳本，找到后再執行腳本，可通過
sysbench <testname> help查看每種測驗支持的選項問題：如果
testname為lua腳本名稱、lua腳本路徑時，咋知道該腳本支持的選項有哪些，選項引數默認值為多少呢？解答：這個就要看
testname對應腳本參考的common.lua腳本檔案，該檔案中定義的set_vars函式定義了命令支持的選項，以及對應的默認值，具體參見下文，然后，分析待執行的腳本中用到了哪些選項， -
command命令會被傳遞給內置測驗名稱或者由testname指定的腳本，其定義了測驗必須執行的動作，可用命令串列取決于特定的測驗，有些測驗也實作了自己的命令，以下為典型的測驗命令的描述：-
prepare測驗前的準備操作，比如為fileio測驗創建必要的檔案，或者為資料庫測驗基線填充測驗資料庫， -
run運行由testname引數指定的測驗，所有測驗都支持該命令， -
cleanup測驗運行完成后，移除測驗創建的臨時資料，比如洗掉創建的表 -
help顯示testname使用幫助
-
-
options可選項，常見選項許下常用一般命令列選項
--threads需要創建的worker執行緒數量 默認值 1--events=N設定期望執行的事件總數，0表示不限制 默認值 0--time=N設定總執行時間，單位秒，0表示不限制， 默認值 10--forced-shutdown=STRING超過--time限制后，關閉程式之前需要等待的秒數，如果設定為off則表示不啟用， 默認值 off--rate=N平均事務速率， 0表示不限制，默認值 0
--report-interval=N設定定期報告中間統計的時間間隔為N，單位為秒 ， 0表示不設定，默認值 0注意：
- 如果運行程式命令時，如果當前總執行時間已經達到
--time選項引數值(默認10秒)，不管當前已執行事件總數是否達到--events選項引數值，都會停止運行程式，所以如果需要為程式命令顯示指定--events選項時，需要合理的設定--time選項引數值， - 如果運行程式命令時，如果當前已執行事件總數已達到
--events選項引數值，不管當前總執行時間是否達到--time選項引數值，都會停止測驗
常用日志選項
--verbosity=N日志詳細級別 {5 - debug, 0 - 僅critical messages} 默認值 3--percentile=N延時統計(latency statistics)中，需要計算的百分比 (1-100)，設定為0表示禁用百分比值計算， Use the special常用資料庫選項
--db-driver=STRING設定程式使用的資料庫驅動，默認值 mysql常用mysql 選項:
--mysql-host=hostmysql服務主機地址 默認localhost
--mysql-port=3306mysql服務埠 默認值 3306
--mysql-user=STRINGmysql用戶名稱 默認值 sbtest
--mysql-password=STRINGmysql密碼，默認值 []
--mysql-db=STRINGmysql資料庫名稱 默認 sbtest - 如果運行程式命令時，如果當前總執行時間已經達到
應用實踐
mysql資料庫性能基準測驗
創建資料庫
CREATE DATABASE `sbtest` DEFAULT CHARACTER SET utf8;
注意：如果不事先創建資料庫，則運行一下測驗腳本時，會報錯：FATAL: error 1049: Unknown database 'sbtest'
插入資料測驗
運行壓測準備命令
# sysbench --oltp-tables-count=5 --oltp_table_size=0 --mysql-host=10.118.80.88 --mysql-user=testacc --mysql-password=test1234 sysbench-1.0.20/tests/include/oltp_legacy/insert.lua prepare
說明：
1、執行以上命令后，會自動創建5張空表
2、sysbench-1.0.20/tests/include/oltp_legacy/insert.lua是sysbench工具壓縮包中自帶腳本，下文所用到的腳本皆非自定義腳本，不再贅述
運行插入資料測驗
# sysbench --threads=80 --time=600 --events=50000000 --oltp-tables-count=5 --oltp_table_size=10000000 --mysql-host=10.118.80.88 --mysql-user=testacc --mysql-password=test1234 sysbench-1.0.20/tests/include/oltp_legacy/insert.lua run > result.txt
查看運行結果
略
混合操作測驗
# sysbench --threads=300 --time=1200 --oltp-tables-count=5 --oltp_table_size=10000000 mysql-host=10.118.80.88 --mysql-user=testacc --mysql-password=test1234 sysbench-1.0.20/tests/include/oltp_legacy/oltp.lua run > result.txt
運行清理命令
# sysbench --oltp-tables-count=5 --mysql-host=10.118.80.88 --mysql-user=testacc --mysql-password=test1234 sysbench-1.0.20/tests/include/oltp_legacy/insert.lua cleanup
注意：執行prepare和cleanup命令時的--oltp-tables-count選項引數值要保持一致
lua腳本分析
sysbench-1.0.20/tests/include/oltp_legacy/oltp.lua
具體分析參見中文注釋
pathtest = string.match(test, "(.*/)") # 首先，正則匹配當前測驗名稱(sysbench命令列提供的testname)
if pathtest then # 如果測驗名稱正則匹配 .*/
# 說明測驗名稱為腳本，形如sysbench-1.0.20/tests/include/oltp_legacy/oltp.lua，因為測驗腳本和common.lua位于同一層級目錄，所以，拼接腳本所在目錄路徑和"common.lua"得到common.lua檔案路徑，然后，加載檔案
dofile(pathtest .. "common.lua")
else # 否則，加載工具捆綁的common腳本，即sysbench_installation_home/share/sysbench/common.lua
require("common")
end
function thread_init() # 執行緒初始化函式定義
set_vars() # 呼叫common中的set_vars函式設定變數
# 如果資料庫驅動為mysql、attachsql，并且mysql表引擎為myisam
if (((db_driver == "mysql") or (db_driver == "attachsql")) and mysql_table_engine == "myisam") then
# 則走下述邏輯
local i
local tables = {}
# 根據命令列oltp_tables_count引數值，初始化tables陣列元素為表名，格式形如sbtestN WRITE，其中N從1開始，最大值等于oltp_tables_count，即表數量
for i=1, oltp_tables_count do
tables[i] = string.format("sbtest%i WRITE", i)
end
begin_query = "LOCK TABLES " .. table.concat(tables, " ,")
commit_query = "UNLOCK TABLES"
else # 否則定義事務起始查詢陳述句為 begin_query為BEGIN，結束查詢陳述句為 COMMIT
begin_query = "BEGIN"
commit_query = "COMMIT"
end
end
# 定義函式 用于獲取查詢條件
function get_range_str()
local start = sb_rand(1, oltp_table_size) # 隨機獲取 [1, 單表記錄總數] 范圍內的整數，作為范圍查詢條件起始值
return string.format(" WHERE id BETWEEN %u AND %u",
start, start + oltp_range_size - 1) # 回傳查詢條件WHERE id BETWEEN start AND (start + 99) (oltp_range_size默認為100
end
定義待執行的“事件”函式
function event()
local rs # 查詢回傳結果
local i
local table_name
# 以下變數用于存放欄位值和查詢
local c_val
local pad_val
local query
table_name = "sbtest".. sb_rand_uniform(1, oltp_tables_count) # 隨機獲取表名，格式形如 sbtestN，其中N為從[1，表數量]范圍內的隨機整數
if not oltp_skip_trx then # 如果不跳過事務，
db_query(begin_query) # 則執行do_query（oltp_skip_trx默認為false，所以這里會執行do_query），即標記事務開始
end
if not oltp_write_only then # 如果not oltp_write_only為真（oltp_write_only默認為false）
# 則執行以下for回圈（oltp_point_selects默認為10次，所以，會執行10次for回圈查詢，查詢陳述句為：
# SELECT c FROM table_name WHERE id=id_value
# 說明：
# table_name 上述獲取的隨機表名，下同，不再贅述
# c 非索引列
# id 主鍵列
# id_value 目標id值，隨機獲取已存在記錄ID
for i=1, oltp_point_selects do
rs = db_query("SELECT c FROM ".. table_name .." WHERE id=" ..
sb_rand(1, oltp_table_size))
end
if oltp_range_selects then # 如果oltp_range_selects為true,（oltp_range_selects默認為true）
# 執行按范圍簡單查詢 1次（oltp_simple_ranges默認為1次，所以只會執行1次for回圈查詢）
# SQL陳述句為：
# SELECT c FROM table_name WHERE id BETWEEN id_value1 AND id_value2
# 說明：
# id_value1 隨機獲取已存在記錄ID，下同，不再贅述
# id_value2 id_value1 + 99，下同，不再贅述
for i=1, oltp_simple_ranges do
rs = db_query("SELECT c FROM ".. table_name .. get_range_str())
end
# 執行 按范圍sum查詢 1次 (oltp_sum_ranges默認值為 1，所以只會執行1次for回圈查詢）
# SQL陳述句為：
# SELECT sum(c) FROM table_name WHERE id BETWEEN id_value1 AND id_value2
for i=1, oltp_sum_ranges do
rs = db_query("SELECT SUM(K) FROM ".. table_name .. get_range_str())
end
# 執行 按范圍排序查詢 1次 (oltp_order_ranges默認值為 1，所以只會執行1次for回圈查詢）
# SQL陳述句為：
# SELECT c FROM table_name WHERE id BETWEEN id_value1 AND id_value2 ORDER BY c
for i=1, oltp_order_ranges do
rs = db_query("SELECT c FROM ".. table_name .. get_range_str() ..
" ORDER BY c")
end
# 執行 DISTINCT 排序查詢 1次 (oltp_distinct_ranges默認值為 1，所以只會執行1次for回圈查詢）
# SQL陳述句為：
# SELECT DISTINCT c FROM table_name WHERE id BETWEEN id_value1 AND id_value2 ORDER BY c
for i=1, oltp_distinct_ranges do
rs = db_query("SELECT DISTINCT c FROM ".. table_name .. get_range_str() ..
" ORDER BY c")
end
end
end
if not oltp_read_only then # not oltp_read_only為真（oltp_read_only默認為false）
# 執行 更新索引列欄位操作 1次 (oltp_index_updates默認值為 1，所以只會執行1次for回圈查詢）
# SQL陳述句為：
# UPDATE table_name SET k=k+1 WHERE id=id_value
# 說明：
# k為索引列欄位
for i=1, oltp_index_updates do
rs = db_query("UPDATE " .. table_name .. " SET k=k+1 WHERE id=" .. sb_rand(1, oltp_table_size))
end
# 執行 更新非索引列欄位操作 1次 (oltp_index_updates默認值為 1，所以只會執行1次for回圈查詢）
# SQL陳述句為：
# UPDATE table_name SET c="c_val" WHERE id=id_value
# 說明：
# c_val 長度為119位字符的隨機字串
for i=1, oltp_non_index_updates do
c_val = sb_rand_str("###########-###########-###########-###########-###########-###########-###########-###########-###########-###########") # 長度為119位字符的隨機字串
query = "UPDATE " .. table_name .. " SET c='" .. c_val .. "' WHERE id=" .. sb_rand(1, oltp_table_size)
rs = db_query(query)
if rs then
print(query) # 列印查詢結果
end
end
# 執行 洗掉指定記錄操作 1次 (oltp_delete_inserts默認值為 1，所以只會執行1次for回圈查詢）
# SQL陳述句為：
# DELETE FROM table_name WHERE id=id_value1
for i=1, oltp_delete_inserts do
i = sb_rand(1, oltp_table_size)
rs = db_query("DELETE FROM " .. table_name .. " WHERE id=" .. i)
c_val = sb_rand_str([[
###########-###########-###########-###########-###########-###########-###########-###########-###########-###########]])
pad_val = sb_rand_str([[
###########-###########-###########-###########-###########]]) # 64位隨機字串
# 執行 插入資料操作 1次
# SQL陳述句為：
# INSERT INTO table_name（id, K, c, pad）VALUES(id_value, num, field_value1, field_value2 )
# 說明：
# num [1，表記錄數] 范圍內的隨機整數
# field_value1 119位隨機字串
# field_value2 64位隨機字串
rs = db_query("INSERT INTO " .. table_name .. " (id, k, c, pad) VALUES " .. string.format("(%d, %d, '%s', '%s')",i, sb_rand(1, oltp_table_size) , c_val, pad_val))
end
end -- oltp_read_only
if not oltp_skip_trx then
db_query(commit_query)
end
end
sysbench-1.0.20/tests/include/oltp_legacy/common.lua
具體分析參見中文注釋
-- Input parameters
-- oltp-tables-count - number of tables to create
-- oltp-secondary - use secondary key instead PRIMARY key for id column
--
--
# 定義插入函式
function create_insert(table_id)
local index_name
local i
local j
local query
if (oltp_secondary) then
index_name = "KEY xid"
else
index_name = "PRIMARY KEY"
end
if (pgsql_variant == 'redshift') then
auto_inc_type = "INTEGER IDENTITY(1,1)"
else
auto_inc_type = "SERIAL"
end
i = table_id
print("Creating table 'sbtest" .. i .. "'...")
# 根據不同驅動，執行對應建表陳述句，表名格式 sbtestN，其中N從1開始，最大值為oltp_tables_count
if ((db_driver == "mysql") or (db_driver == "attachsql")) then
query = [[
CREATE TABLE sbtest]] .. i .. [[ (
id INTEGER UNSIGNED NOT NULL ]] ..
((oltp_auto_inc and "AUTO_INCREMENT") or "") .. [[,
k INTEGER UNSIGNED DEFAULT '0' NOT NULL,
c CHAR(120) DEFAULT '' NOT NULL,
pad CHAR(60) DEFAULT '' NOT NULL,
]] .. index_name .. [[ (id)
) /*! ENGINE = ]] .. mysql_table_engine ..
" MAX_ROWS = " .. myisam_max_rows .. " */ " ..
(mysql_table_options or "")
elseif (db_driver == "pgsql") then
query = [[
CREATE TABLE sbtest]] .. i .. [[ (
id ]] .. auto_inc_type .. [[ NOT NULL,
k INTEGER DEFAULT '0' NOT NULL,
c CHAR(120) DEFAULT '' NOT NULL,
pad CHAR(60) DEFAULT '' NOT NULL,
]] .. index_name .. [[ (id)
) ]]
elseif (db_driver == "drizzle") then
query = [[
CREATE TABLE sbtest (
id INTEGER NOT NULL ]] .. ((oltp_auto_inc and "AUTO_INCREMENT") or "") .. [[,
k INTEGER DEFAULT '0' NOT NULL,
c CHAR(120) DEFAULT '' NOT NULL,
pad CHAR(60) DEFAULT '' NOT NULL,
]] .. index_name .. [[ (id)
) ]]
else
print("Unknown database driver: " .. db_driver)
return 1
end
db_query(query)
print("Inserting " .. oltp_table_size .. " records into 'sbtest" .. i .. "'")
if (oltp_auto_inc) then
db_bulk_insert_init("INSERT INTO sbtest" .. i .. "(k, c, pad) VALUES")
else
db_bulk_insert_init("INSERT INTO sbtest" .. i .. "(id, k, c, pad) VALUES")
end
local c_val
local pad_val
# for回圈，往表插入資料，直到插入oltp_table_size條記錄
for j = 1,oltp_table_size do
c_val = sb_rand_str([[
###########-###########-###########-###########-###########-###########-###########-###########-###########-###########]])
pad_val = sb_rand_str([[
###########-###########-###########-###########-###########]])
if (oltp_auto_inc) then
db_bulk_insert_next("(" .. sb_rand(1, oltp_table_size) .. ", '".. c_val .."', '" .. pad_val .. "')")
else
db_bulk_insert_next("("..j.."," .. sb_rand(1, oltp_table_size) .. ",'".. c_val .."', '" .. pad_val .. "' )")
end
end
db_bulk_insert_done()
if oltp_create_secondary then
print("Creating secondary indexes on 'sbtest" .. i .. "'...")
db_query("CREATE INDEX k_" .. i .. " on sbtest" .. i .. "(k)")
end
end
# 定義執行prepare命令時呼叫的函式
function prepare()
local query
local i
local j
set_vars() # 設定變數
db_connect() # 連接資料庫
# for回圈插入資料，回圈次數為 oltp_tables_count，
for i = 1,oltp_tables_count do
create_insert(i)
end
return 0
end
# 定義執行clean命令時呼叫的函式
function cleanup()
local i
set_vars() # 呼叫set_vars函式，設定變數
for i = 1,oltp_tables_count do
print("Dropping table 'sbtest" .. i .. "'...")
db_query("DROP TABLE IF EXISTS sbtest".. i ) # 洗掉表sbtestN,其中N從1~ oltp_tables_count，即表數量
end
end
function set_vars()
# 以下非本地變數的默認值都為 nil
oltp_table_size = tonumber(oltp_table_size) or 10000 # 單表記錄總數 默認值10000
oltp_range_size = tonumber(oltp_range_size) or 100 # between and 范圍查詢 默認值100
oltp_tables_count = tonumber(oltp_tables_count) or 1 # 表數量 默認值 1
oltp_point_selects = tonumber(oltp_point_selects) or 10 # 按點查詢次數（where id=） 默認值 10
oltp_simple_ranges = tonumber(oltp_simple_ranges) or 1 # 簡單查詢次數 默認值 1
oltp_sum_ranges = tonumber(oltp_sum_ranges) or 1 # sum查詢次數 默認值 1
oltp_order_ranges = tonumber(oltp_order_ranges) or 1 # order by排序查詢次數 默認值 1
oltp_distinct_ranges = tonumber(oltp_distinct_ranges) or 1 # distinct范圍查詢次數 默認值 1
oltp_index_updates = tonumber(oltp_index_updates) or 1 # 更新索引列操作次數 默認值 1
oltp_non_index_updates = tonumber(oltp_non_index_updates) or 1 # 更新索引列欄位操作次數 默認值 1
oltp_delete_inserts = tonumber(oltp_delete_inserts) or 1 # 執行洗掉記錄操作次數 默認值 1
if (oltp_range_selects == 'off') then
oltp_range_selects = false
else
oltp_range_selects = true
end
if (oltp_auto_inc == 'off') then
oltp_auto_inc = false
else
oltp_auto_inc = true
end
if (oltp_read_only == 'on') then
oltp_read_only = true
else
oltp_read_only = false
end
if (oltp_write_only == 'on') then
oltp_write_only = true
else
oltp_write_only = false
end
if (oltp_read_only and oltp_write_only) then
error("--oltp-read-only and --oltp-write-only are mutually exclusive")
end
if (oltp_skip_trx == 'on') then
oltp_skip_trx = true
else
oltp_skip_trx = false
end
if (oltp_create_secondary == 'off') then
oltp_create_secondary = false
else
oltp_create_secondary = true
end
if (pgsql_variant == 'redshift') then
oltp_create_secondary = false
oltp_delete_inserts = 0
end
end
運行結果說明
混合操作壓測結果為例
# cat result.txt
sysbench 1.0.20 (using bundled LuaJIT 2.1.0-beta2)
Running the test with following options:
Number of threads: 300
Initializing random number generator from current time
Initializing worker threads...
Threads started!
SQL statistics:
queries performed:
read: 34507228
write: 9859208
other: 4929604
total: 49296040
transactions: 2464802 (2053.74 per sec.)
queries: 49296040 (41074.74 per sec.)
ignored errors: 0 (0.00 per sec.)
reconnects: 0 (0.00 per sec.)
General statistics:
total time: 1200.1525s
total number of events: 2464802
Latency (ms):
min: 129.86
avg: 146.06
max: 806.70
95th percentile: 155.80
sum: 360014005.42
Threads fairness:
events (avg/stddev): 8216.0067/329.90
execution time (avg/stddev): 1200.0467/0.04
結果項說明：
SQL statistics:
queries performed: 執行的SQL查詢：
read: 讀請求次數
write: 寫請求次數
other: 其它請求次數
total: 總請求次數
transactions: 執行的事務總數 (每秒事務數.)
queries: 執行的查詢總次數 (每秒查詢次數.)
ignored errors: 忽略錯誤數 (每秒忽略錯誤次數.)
reconnects: 資料庫重連次數 (每秒重連次數.)
General statistics:
total time: 總運行時間，以秒為單位
total number of events: 總執行事件數
Latency (毫秒為單位):
min: 最小請求回應時間
avg: 平均請求回應時間
max: 最大請求回應時間
95th percentile: 95%的請求回應時間
sum: 總請求回應時間
Threads fairness:
events (avg/stddev): 執行的事件總數(平均每個執行緒執行的事件總數/標準差）
execution time (avg/stddev): 執行耗時(平均每個執行緒執行事件耗時/標準差）
參考連接
https://github.com/akopytov/sysbench#general-command-line-options
轉載請註明出處，本文鏈接：https://www.uj5u.com/qita/272767.html
標籤：其他