kafuka基礎知識
什么是kafka?
Kafka是分布式發布-訂閱訊息系統，它最初是由LinkedIn公司開發的，之后成為Apache專案的一部分，Kafka是一個分布式，可劃分的， 冗余備份的持久性的日志服務，它主要用于處理流式資料，
kafka的設計初衷:
? 1.能夠應對海量實時訊息資料–高吞吐,低延時
? 2.需要有分布式的系統特征:高可用,水平擴展
kafka的核心概念,名詞解釋
1.Broker:代理,就是kafka的一臺節點
2.Producer:生產者,向kafka推送訊息的角色
3.Consumer:消費者,從kafka拉取訊息的角色
4.ConsumerGroup:消費者組,對消費者進行管理
5.Topic:主題,用于區分訊息的,對不同的業務類別進行區分
? 6.Partition:磁區,類似于HDFS的分塊,目的是為了提高讀取效率
?7.Replication:副本,保證資料安全性
? 8.Leader:主副本,某一個主題可以有多個副本,但是只能有一個主副本,支持讀寫
?9.Follower:副本,某一個主題可以有多個副本,但是只能有一個主副本,剩下的都是副本,副本只負責同步資料進行備份,不支持讀寫,因為讀寫效 率的提高是依賴磁區如果要從副本讀取資料,就很難保證資料的一致性
? 10.Record:記錄,發送\消費的一條資料
?11.Offset:偏移量,可以理解為訊息的編號
? 12.Segment:分段/日欄位
? 13.ISR:In-Sync Replica:表示目前活著的且能夠和主副本盡量保持資料同步的從副本的集合
轉載請註明出處，本文鏈接：https://www.uj5u.com/qita/240507.html
標籤：其他