下載并解壓kafka
（前提是安裝并配置好jdk環境變數，原因是kafka依賴于zookeeper,而zookeeper使用java撰寫，kafka使用scala撰寫都需要JVM運行環境）
kafka下載地址：http://kafka.apache.org/downloads
zookeeper下載地址：https://zookeeper.apache.org/releases.html
注：自己是存放在/usr/local目錄下
使用自帶的簡版zookeeper搭建zookeeper集群
（也可使用自己下載的zookeeper搭建zookeeper及集群）
注：讀者可以把 kafka檔案夾復制多份來分別修改zookeeper.properties并運行各自的zookeeper或者僅把kafka檔案夾中的zookeeper.properties復制多份使用同一個zookeeper-server-start.sh+不同的組態檔來啟動多個zookeeper
在這里為了方便使用第二種方式
1. 修改zookeeper.properties檔案
clientPort=2181
dataDir=/usr/local/kafka_2.13-2.6.0/zk/data/zkdata-1
dataLogDir=/usr/local/kafka_2.13-2.6.0/zk/log/zklog-1
server.1=ljq:2888:3888
server.2=ljq:2889:3889
server.3=ljq:2890:3890
tickTime=2000
initLimit=10
syncLimit=5
maxClientCnxns=60
# 處理zookeeper日志，24小時清理一次
autopurge.purgeInterval=24
# 日志檔案個數
autopurge.snapRetainCount=3
2. 修改zookeeper2.properties檔案
clientPort=2182
dataDir=/usr/local/kafka_2.13-2.6.0/zk/data/zkdata-2
dataLogDir=/usr/local/kafka_2.13-2.6.0/zk/log/zklog-2
server.1=ljq:2888:3888
server.2=ljq:2889:3889
server.3=ljq:2890:3890
tickTime=2000
initLimit=10
syncLimit=5
maxClientCnxns=60
# 處理zookeeper日志，24小時清理一次
autopurge.purgeInterval=24
# 日志檔案個數
autopurge.snapRetainCount=3
3. 修改zookeeper3.properties檔案
clientPort=2183
dataDir=/usr/local/kafka_2.13-2.6.0/zk/data/zkdata-3
dataLogDir=/usr/local/kafka_2.13-2.6.0/zk/log/zklog-3
server.1=ljq:2888:3888
server.2=ljq:2889:3889
server.3=ljq:2890:3890
tickTime=2000
initLimit=10
syncLimit=5
maxClientCnxns=60
# 處理zookeeper日志，24小時清理一次
autopurge.purgeInterval=24
# 日志檔案個數
autopurge.snapRetainCount=3
- 在dataDir中創建myid檔案并寫入對應server后的數字（1-255）
- 啟動zookeeper
cd /usr/local/kafka_2.13-2.6.0
./bin/zookeeper-server-start.sh -daemon config/zookeeper1.properties
其他兩個同樣方式啟動（-daemon以守護執行緒運行）
搭建kafka集群
復制兩份server.properties并修改內容
1.修改server.properties
broker.id=0
listeners=PLAINTEXT://ljq:9092
log.dirs=/usr/local/kafka_2.13-2.6.0/kafka-data/broker-0
zookeeper.connect=ljq:2181,ljq:2182,ljq:2183
log.retention.hours=168
2.修改server1.properties
broker.id=1
listeners=PLAINTEXT://ljq:9093
log.dirs=/usr/local/kafka_2.13-2.6.0/kafka-data/broker-1
zookeeper.connect=ljq:2181,ljq:2182,ljq:2183
2.修改server2.properties
broker.id=2
listeners=PLAINTEXT://ljq:9094
log.dirs=/usr/local/kafka_2.13-2.6.0/kafka-data/broker-2
zookeeper.connect=ljq:2181,ljq:2182,ljq:2183
3.啟動kafka
cd /usr/local/kafka_2.13-2.6.0
./bin/kafka-server-start.sh -daemon config/server.properties
其它兩個同樣方式啟動（-daemon以守護執行緒運行）
4.創建話題
./bin/kafka-topics.sh --create --topic first --bootstrap-server ljq:9092,ljq:9093,ljq:9094 --partitions 3 --replication-factor 3
5.查看話題詳細資訊
./bin/kafka-topics.sh --describe --bootstrap-server ljq:9092 --topic first
6.啟動生產者
./bin/kafka-console-producer.sh --bootstrap-server ljq:9092,ljq:9093 --topic first
7.啟動消費者
./kafka-console-consumer.sh --bootstrap-server ljq:9093 --topic first --from-beginning
轉載請註明出處，本文鏈接：https://www.uj5u.com/qita/233610.html
標籤：其他
上一篇：k8s集群搭建步驟（全）