全網最詳細的大資料Kafka文章系列，強烈建議收藏加關注！
新文章都已經列出歷史文章目錄，幫助大家回顧前面的知識重點，
目錄
系列歷史文章
Kafka如何保證資料不丟失
一、如何保證生產者資料不丟失
1） 訊息生產分為同步模式和異步模式
2） 訊息確認分為三個狀態
3） 在同步模式下
4） 在異步模式下
二、如何保證broker端資料不丟失
broker端:
三、如何保證消費端資料不丟失
消費端：
四、總結
生產者端
broker端
消費端
系列歷史文章
2021年大資料Kafka（八）：Kafka如何保證資料不丟失
2021年大資料Kafka（七）：Kafka的分片和副本機制
2021年大資料Kafka（六）：??安裝Kafka-Eagle??
2021年大資料Kafka（五）：??Kafka的java API撰寫??
2021年大資料Kafka（四）：??kafka的shell命令使用??
2021年大資料Kafka（三）：??Kafka的集群搭建以及shell啟動命令腳本撰寫??
2021年大資料Kafka（二）：??Kafka特點總結和架構??
2021年大資料Kafka（一）：??訊息佇列和Kafka的基本介紹??
Kafka如何保證資料不丟失
一、如何保證生產者資料不丟失
1） 訊息生產分為同步模式和異步模式
2） 訊息確認分為三個狀態
- a) 0：生產者只負責發送資料
- b) 1：某個partition的leader收到資料給出回應
- c) -1：某個partition的所有副本都收到資料后給出回應
3） 在同步模式下
- a) 生產者等待10S，如果broker沒有給出ack回應，就認為失敗，
- b) 生產者重試3次，如果還沒有回應，就報錯，
4） 在異步模式下
- a) 先將資料保存在生產者端的Buffer中，Buffer大小是2萬條， 32M
- b) 滿足資料閾值或者時間閾值其中的一個條件就可以發送資料，
- c) 發送一批資料的大小是500條，16Kb
如果broker遲遲不給ack，而Buffer又滿了，開發者可以設定是否直接清空Buffer中的資料，
二、如何保證broker端資料不丟失
broker端:
- broker端的訊息不丟失，其實就是用partition副本機制來保證，
- Producer ack -1(all). 能夠保證所有的副本都同步好了資料，其中一臺機器掛了，并不影響資料的完整性，
三、如何保證消費端資料不丟失
消費端：
通過offset commit 來保證資料的不丟失，kafka自己記錄了每次消費的offset數值，下次繼續消費的時候，會接著上次的offset進行消費，
而offset的資訊在kafka0.8版本之前保存在zookeeper中，在0.8版本之后保存到topic中，即使消費者在運行程序中掛掉了，再次啟動的時候會找到offset的值，找到之前消費訊息的位置，接著消費，由于offset的資訊寫入的時候并不是每條訊息消費完成后都寫入的，所以這種情況有可能會造成重復消費，但是不會丟失訊息，
四、總結
生產者端
broker端
broker端主要是通過資料的副本和 ack為-1 來保證資料不丟失操作
消費端
- 📢博客主頁：https://lansonli.blog.csdn.net
- 📢歡迎點贊 👍 收藏 ?留言 📝 如有錯誤敬請指正！
- 📢本文由 Lansonli 原創，首發于 CSDN博客🙉
- 📢大資料系列文章會每天更新，停下休息的時候不要忘了別人還在奔跑，希望大家抓緊時間學習，全力奔赴更美好的生活?
轉載請註明出處，本文鏈接：https://www.uj5u.com/qita/295604.html
標籤：其他
下一篇：開發工具--常見注解