文章目錄
- 1.生產者壓力測驗kafka-producer-perf-test.sh
- 2.消費者壓力測驗kafka-consumer-perf-test.sh
- More
日常運維 、問題排查 怎么能夠少了滴滴開源的
滴滴開源LogiKM一站式Kafka監控與管控平臺
1.生產者壓力測驗kafka-producer-perf-test.sh
1. 發送1024條訊息--num-records 100并且每條訊息大小為1KB--record-size 1024 最大吞吐量每秒10000條--throughput 100
sh bin/kafka-producer-perf-test.sh --topic test_create_topic4 --num-records 100 --throughput 100000 --producer-props bootstrap.servers=localhost:9092 --record-size 1024
你可以通過LogIKM查看磁區是否增加了對應的資料大小
從LogIKM 可以看到發送了1024條訊息; 并且總資料量=1M; 1024條*1024byte = 1M;
2. 用指定訊息檔案--payload-file發送100條訊息最大吞吐量每秒100條--throughput 100
-
先配置好訊息檔案
batchmessage.txt
-
然后執行命令
發送的訊息會從batchmessage.txt里面隨機選擇; 注意這里我們沒有用引數--payload-delimeter指定分隔符，默認分隔符是\n換行;bin/kafka-producer-perf-test.sh --topic test_create_topic4 --num-records 1024 --throughput 100 --producer-props bootstrap.servers=localhost:9090 --payload-file config/batchmessage.txt
-
驗證訊息，可以通過 LogIKM 查看發送的訊息
相關可選引數
| 引數 | 描述 | 例子 |
|---|---|---|
--topic | 指定消費的topic | |
--num-records | 發送多少條訊息 | |
--throughput | 每秒訊息最大吞吐量 | |
--producer-props | 生產者配置, k1=v1,k2=v2 | --producer-props bootstrap.servers= localhost:9092,client.id=test_client |
--producer.config | 生產者組態檔 | --producer.config config/producer.propeties |
--print-metrics | 在test結束的時候列印監控資訊,默認false | --print-metrics true |
--transactional-id | 指定事務 ID，測驗并發事務的性能時需要，只有在 --transaction-duration-ms > 0 時生效，默認值為 performance-producer-default-transactional-id | |
--transaction-duration-ms | 指定事務持續的最長時間，超過這段時間后就會呼叫 commitTransaction 來提交事務，只有指定了 > 0 的值才會開啟事務，默認值為 0 | |
--record-size | 一條訊息的大小byte; 和 --payload-file 兩個中必須指定一個，但不能同時指定 | |
--payload-file | 指定訊息的來源檔案，只支持 UTF-8 編碼的文本檔案，檔案的訊息分隔符通過 --payload-delimeter指定,默認是用換行\nl來分割的，和 --record-size 兩個中必須指定一個，但不能同時指定 ; 如果提供的訊息 | |
--payload-delimeter | 如果通過 --payload-file 指定了從檔案中獲取訊息內容，那么這個引數的意義是指定檔案的訊息分隔符，默認值為 \n，即檔案的每一行視為一條訊息；如果未指定--payload-file則此引數不生效；發送訊息的時候是隨機送檔案里面選擇訊息發送的; |
2.消費者壓力測驗kafka-consumer-perf-test.sh
消費100條訊息--messages 100
sh bin/kafka-consumer-perf-test.sh -topic test_create_topic4 --bootstrap-server localhost:9090 --messages 100
相關可選引數
| 引數 | 描述 | 例子 |
|---|---|---|
--bootstrap-server | ||
--consumer.config | 消費者組態檔 | |
--date-format | 結果列印出來的時間格式化 | 默認：yyyy-MM-dd HH:mm:ss:SSS |
--fetch-size | 單次請求獲取資料的大小 | 默認1048576 |
--topic | 指定消費的topic | |
--from-latest | ||
--group | 消費組ID | |
--hide-header | 如果設定了,則不列印header資訊 | |
--messages | 需要消費的數量 | |
--num-fetch-threads | feth 資料的執行緒數 | 默認：1 |
--print-metrics | 結束的時候列印監控資料 | |
--show-detailed-stats | ||
--threads | 消費執行緒數; | 默認 10 |
More
Kafka專欄持續更新中…(原始碼、原理、實戰、運維、視頻、面試視頻)
【kafka運維】Kafka全網最全最詳細運維命令合集(精品強烈建議收藏!!!)_石臻臻的雜貨鋪-CSDN博客
【kafka實戰】磁區重分配可能出現的問題和排查問題思路(生產環境實戰,干貨!!!非常干!!!建議收藏)
【kafka例外】kafka 常見例外處理方案(持續更新! 建議收藏)
【kafka運維】磁區從分配、資料遷移、副本擴縮容 (附教學視頻)
【kafka原始碼】ReassignPartitionsCommand原始碼分析(副本擴縮、資料遷移、副本重分配、副本跨路徑遷移
【kafka】點擊更多…
轉載請註明出處，本文鏈接：https://www.uj5u.com/qita/292172.html
標籤：其他
上一篇：訊息佇列之Kafka從入門到小牛