上篇文章我們簡單介紹了一下Kafka相關的知識，這篇文章我們來實際的安裝一下Kafka并進行一下基本的操作，關注專欄《破繭成蝶——大資料篇》，查看更多相關的內容~

一、安裝Kafka

1.1 安裝包準備

1.2 解壓

1.3 修改組態檔

1.4 配置環境變數

1.5 分發安裝包并配置其余節點的環境變數

1.6 修改其余節點的broker id

1.7 啟動Kafka集群

二、Kafka基本操作

一、安裝Kafka

1.1 安裝包準備

首先需要去Kafka的官網下載Kafka的安裝包，請戳這里進行下載，

將下載的好的tar包上傳到服務器中，這里我們放到/opt/software目錄下：

1.2 解壓

解壓安裝包，并修改名稱為kafka：

tar -zxvf ./kafka_2.11-0.11.0.2.tgz -C ../modules/

mv kafka_2.11-0.11.0.2 kafka

1.3 修改組態檔

在kafka的config目錄下修改server.properties組態檔：

############################# Server Basics #############################

# The id of the broker. This must be set to a unique integer for each broker.
broker.id=0

# Switch to enable topic deletion or not, default value is false
delete.topic.enable=true


############################# Log Basics #############################

# A comma seperated list of directories under which to store log files
log.dirs=/opt/modules/kafka/logs


############################# Zookeeper #############################

# Zookeeper connection string (see zookeeper docs for details).
# This is a comma separated host:port pairs, each corresponding to a zk
# server. e.g. "127.0.0.1:3000,127.0.0.1:3001,127.0.0.1:3002".
# You can also append an optional chroot string to the urls to specify the
# root directory for all kafka znodes.
zookeeper.connect=master:2181,slave01:2181,slave02:2181

在kafka目錄下新建logs目錄用來存放日志資訊：

mkdir logs

1.4 配置環境變數

vim /etc/profile


##KAFKA_HOME
export KAFKA_HOME=/opt/modules/kafka
export PATH=$PATH:$KAFKA_HOME/bin


source /etc/profile

1.5 分發安裝包并配置其余節點的環境變數

[root@master modules]# xsync kafka/

1.6 修改其余節點的broker id

1.7 啟動Kafka集群

這里需要注意的是：啟動Kafka集群之前，需要先啟動Zookeeper，使用如下命令啟動Zookeeper：

bin/zkServer.sh start

使用如下命令啟動Kafka集群：

bin/kafka-server-start.sh -daemon config/server.properties

使用如下命令停止Kafka集群：

bin/kafka-server-stop.sh stop

二、Kafka基本操作

1、查看集群中的topic

kafka-topics.sh --zookeeper master:2181 --list

2、創建topic

kafka-topics.sh --zookeeper master:2181 --create --replication-factor 3 --partitions 1 --topic test

3、查看topic的詳細情況

kafka-topics.sh --zookeeper master:2181 --describe --topic test

4、生產消費資料

使用如下命令啟動生產者：

kafka-console-producer.sh --broker-list master:9092 --topic test

使用如下命令啟動消費者：

kafka-console-consumer.sh --bootstrap-server master:9092 --from-beginning --topic test

生產消費資料如下所示：

其中需要注意的是，--from-beginning引數會把主題中以往所有的資料都讀取出來，

5、修改磁區數

kafka-topics.sh --zookeeper master:2181 --alter --topic test --partitions 6

這里需要注意的是，磁區數只能增加，不能減少，

6、洗掉topic

kafka-topics.sh --zookeeper master:2181 --delete --topic test

本文到此已經接近尾聲了，本文主要講述了Kafka的安裝以及一些基本操作，你們在此程序中遇到了什么問題，歡迎留言，讓我看看你們都遇到了哪些問題~

轉載請註明出處，本文鏈接：https://www.uj5u.com/qita/265371.html

標籤：其他

上一篇：java春招面試沖刺系列：linux面試問題大全！

下一篇：如何安裝idea社區版

四十三、Kafka的安裝部署與基本操作

一、安裝Kafka

1.1 安裝包準備

1.2 解壓

1.3 修改組態檔

1.4 配置環境變數

1.5 分發安裝包并配置其余節點的環境變數

1.6 修改其余節點的broker id

1.7 啟動Kafka集群

二、Kafka基本操作