全網最詳細的大資料Kafka文章系列，強烈建議收藏加關注！
新文章都已經列出歷史文章目錄，幫助大家回顧前面的知識重點，
目錄
系列歷史文章
Kafka的消費者負載均衡機制和資料積壓問題
一、kafka的消費者負載均衡機制
二、資料積壓問題
第一步: 使用kafka-eagle查看資料積壓情況
第二步: 解決資料積壓問題
系列歷史文章
2021年大資料Kafka（十一）：??Kafka的消費者負載均衡機制和資料積壓問題??
2021年大資料Kafka（十）：kafka生產者資料分發策略
2021年大資料Kafka（九）：kafka訊息存盤及查詢機制原理
2021年大資料Kafka（八）：Kafka如何保證資料不丟失
2021年大資料Kafka（七）：Kafka的分片和副本機制
2021年大資料Kafka（六）：??安裝Kafka-Eagle??
2021年大資料Kafka（五）：??Kafka的java API撰寫??
2021年大資料Kafka（四）：??kafka的shell命令使用??
2021年大資料Kafka（三）：??Kafka的集群搭建以及shell啟動命令腳本撰寫??
2021年大資料Kafka（二）：??Kafka特點總結和架構??
2021年大資料Kafka（一）：??訊息佇列和Kafka的基本介紹??
Kafka的消費者負載均衡機制和資料積壓問題
一、kafka的消費者負載均衡機制
問題: 請問如何通過kafka模擬點對點和發布訂閱模式呢?
點對點: 讓所有監聽這個topic的消費者, 都屬于同一個消費者組即可或者監聽這個topic消費者, 保證唯一
發布訂閱:定義多個消費者, 讓多個消費者屬于不同組即可
二、資料積壓問題
Kafka消費者消費資料的速度是非常快的，但如果由于處理Kafka訊息時，由于有一些外部IO、或者是產生網路擁堵，就會造成Kafka中的資料積壓（或稱為資料堆積），如果資料一直積壓，會導致資料出來的實時性受到較大影響，
第一步: 使用kafka-eagle查看資料積壓情況
第二步: 解決資料積壓問題
出現積壓的原因:
- 因為資料寫入目的容器失敗,從而導致消費失敗
- 因為網路延遲訊息消費失敗
- 消費邏輯過于復雜, 導致消費過慢,出現積壓問題
解決方案:
- 對于第一種, 我們常規解決方案, 處理目的容器,保證目的容器是一直可用狀態
- 對于第二種, 如果之前一直沒問題, 只是某一天出現, 可以調整消費的超時時間
- 對于第三種, 一般解決方案,調整消費代碼, 消費更快即可, 利于消費者的負載均衡策略,提升消費者數量
- 📢博客主頁：https://lansonli.blog.csdn.net
- 📢歡迎點贊 👍 收藏 ?留言 📝 如有錯誤敬請指正！
- 📢本文由 Lansonli 原創，首發于 CSDN博客🙉
- 📢大資料系列文章會每天更新，停下休息的時候不要忘了別人還在奔跑，希望大家抓緊時間學習，全力奔赴更美好的生活?
轉載請註明出處，本文鏈接：https://www.uj5u.com/qita/297537.html
標籤：其他
上一篇：看完還不會資料庫優化，你來找我！
下一篇：手把手教你做一個網頁