全網最詳細的大資料Kafka文章系列，強烈建議收藏加關注！

新文章都已經列出歷史文章目錄，幫助大家回顧前面的知識重點，

系列歷史文章

生產者資料分發策略

策略一:用戶指定了partition

策略二:用戶發生資料的時候指定了key沒有指定partition ,采用hash演算法

策略三: 當用戶既沒有指定partition也沒有key，采用粘性的劃分策略(Sticky Partitioning Strategy)方案(2.4以上版本新特性,老版本為輪詢)

總結

系列歷史文章

2021年大資料Kafka（十）：kafka生產者資料分發策略

2021年大資料Kafka（九）：kafka訊息存盤及查詢機制原理

2021年大資料Kafka（八）：Kafka如何保證資料不丟失

2021年大資料Kafka（七）：Kafka的分片和副本機制

2021年大資料Kafka（六）：??安裝Kafka-Eagle??

2021年大資料Kafka（五）：??Kafka的java API撰寫??

2021年大資料Kafka（四）：??kafka的shell命令使用??

2021年大資料Kafka（三）：??Kafka的集群搭建以及shell啟動命令腳本撰寫??

2021年大資料Kafka（二）：??Kafka特點總結和架構??

2021年大資料Kafka（一）：??訊息佇列和Kafka的基本介紹??

生產者資料分發策略

kafka在資料生產的時候，有一個資料分發策略，默認的情況使用DefaultPartitioner.class類，這個類中就是定義資料分發的策略

生產就不會呼叫DefaultPartitioner.partition() 方法 , 資料分發策略的時候，可以指定資料發往哪個 partition ，當ProducerRecord 的構造引數中有 partition 的時候，就可以發送到對應 partition 上

注意: 如果 key 一直不變，同一個 key 算出來的 hash 值是個固定值，如果是固定值，這種 hash 取模就沒有意義， Utils.toPositive(Utils.murmur2(keyBytes)) % numPartitions

Sticky Partitioning Strategy會隨機地選擇一個磁區并會盡可能地堅持使用該磁區——即所謂的粘住這個磁區，

原因：

kafka 在發送訊息的時候 , 采用批處理方案 , 當達到一批后進行分送 , 但是如果一批資料中有不同磁區的資料 , 就無法放置到一個批處理中, 而老版本中輪詢方案 , 就會導致一批資料被分到多個小的批次中 , 從而影響效率 , 故在新版本中 , 采用這種粘性的劃分策略

轉載請註明出處，本文鏈接：https://www.uj5u.com/qita/296525.html

標籤：其他