系列歷史文章

2021年大資料Kafka（十二）：??Kafka配額限速機制??

2021年大資料Kafka（十一）：??Kafka的消費者負載均衡機制和資料積壓問題??

2021年大資料Kafka（十）：kafka生產者資料分發策略

2021年大資料Kafka（九）：kafka訊息存盤及查詢機制原理

2021年大資料Kafka（八）：Kafka如何保證資料不丟失

2021年大資料Kafka（七）：Kafka的分片和副本機制

2021年大資料Kafka（六）：??安裝Kafka-Eagle??

2021年大資料Kafka（五）：??Kafka的java API撰寫??

2021年大資料Kafka（四）：??kafka的shell命令使用??

2021年大資料Kafka（三）：??Kafka的集群搭建以及shell啟動命令腳本撰寫??

2021年大資料Kafka（二）：??Kafka特點總結和架構??

2021年大資料Kafka（一）：??訊息佇列和Kafka的基本介紹??

Kafka配額限速機制

生產者和消費者以極高的速度生產/消費大量資料或產生請求，從而占用broker上的全部資源，造成網路IO飽和，有了配額（Quotas）就可以避免這些問題，Kafka支持配額管理，從而可以對Producer和Consumer的produce&fetch操作進行流量限制，防止個別業務壓爆服務器，

限制producer端的速率

為所有client id設定默認值，以下為所有producer程式設定其TPS不超過1MB/s，即1048576/s，命令如下：

bin/kafka-configs.sh --zookeeper node1:2181 --alter --add-config 'producer_byte_rate=1048576' --entity-type clients --entity-default

運行基準測驗，觀察生產訊息的速率

bin/kafka-producer-perf-test.sh --topic test --num-records 50000 --throughput -1 --record-size 1000 --producer-props bootstrap.servers=node1:9092,node2:9092,node3:9092 acks=1

限制前：

限制后：

結果：

50000 records sent, 1120.222252 records/sec (1.07 MB/sec)

限制consumer端的速率

對consumer限速與producer類似，只不過引數名不一樣，

為指定的topic進行限速，以下為所有consumer程式設定topic速率不超過1MB/s，即1048576/s，命令如下：

bin/kafka-configs.sh --zookeeper node1:2181 --alter --add-config 'consumer_byte_rate=1048576' --entity-type clients --entity-default

運行基準測驗，觀察訊息消費的速率

bin/kafka-consumer-perf-test.sh --broker-list node1:9092,node2:9092,node3:9092 --topic test --fetch-size 1048576 --messages 50000

限制前：

限制后：

結果：

MB.sec： 0.9308

取消kafka的Quota配置

bin/kafka-configs.sh --zookeeper node1:2181 --alter --delete-config 'producer_byte_rate' --entity-type clients --entity-default

bin/kafka-configs.sh --zookeeper node1:2181 --alter --delete-config 'consumer_byte_rate' --entity-type clients --entity-default

📢博客主頁：https://lansonli.blog.csdn.net
📢歡迎點贊 👍 收藏 ?留言 📝 如有錯誤敬請指正！
📢本文由 Lansonli 原創，首發于 CSDN博客🙉
📢大資料系列文章會每天更新，停下休息的時候不要忘了別人還在奔跑，希望大家抓緊時間學習，全力奔赴更美好的生活?

轉載請註明出處，本文鏈接：https://www.uj5u.com/qita/297786.html

標籤：其他

上一篇：python 生產者消費者模式

下一篇：【MySQL從青銅到王者】第三篇:資料庫表的約束