目錄

一：安裝準備

二：單機安裝

三：集群安裝（全分布）

??????????????

一：安裝準備

1.必須安裝了zookeeper

zookeeper安裝操作：zookeeper單機和集群（全分布）的安裝程序_一個人的牛牛的博客-CSDN博客

2.下載kafka

可以通過這兩個網站下載想要的版本

http://kafka.apache.org/downloads

https://mirrors.tuna.tsinghua.edu.cn/apache/kafka/

或者下載和我一樣的版本（我用的是kafka_2.11-2.3.1.tgz）

百度網盤地址：

鏈接：https://pan.baidu.com/s/1uQTVMzg8E5QULQTAoppdcQ 
提取碼：58c5

二：單機安裝

1.上傳安裝包

把kafka_2.11-2.3.1.tgz上傳到hadoop001的/tools目錄下,
直接把kafka_2.11-2.3.1.tgz拖到MobaXterm_Portable的框框里就行，

操作參考：MobaXterm_Portable的簡單使用_一個人的牛牛的博客-CSDN博客

2.解壓

進入/tools目錄操作,我的安裝包放在/tools目錄下，軟體放在/training目錄下，沒有目錄的使用mkdir /tools和mkdir /training創建，

?tar -zvxf kafka_2.11-2.3.1.tgz -C /training/

3.配置環境變數

vi ~/.bash_profile

添加內容：

#kafka
export KAFKA_HOME=/training/kafka-2.3.1
export PATH=$PATH:$KAFKA_HOME/bin

環境變數生效

source ~/.bash_profile

4.組態檔

創建logs目錄（在kafka目錄下）

mkdir logs

配置server.properties(檔案在kafka路徑下的config目錄中)

vi server.properties

（hadoop001是我的主機名 ）

#broker的全域唯一編號，不能重復
broker.id=0
#洗掉topic功能使能 生產環境當中都是false
delete.topic.enable=true
#處理網路請求的執行緒數量
num.network.threads=3
#用來處理磁盤IO的執行緒數量
num.io.threads=8
#發送套接字的緩沖區大小
socket.send.buffer.bytes=102400
#接收套接字的緩沖區大小
socket.receive.buffer.bytes=102400
#請求套接字的緩沖區大小
socket.request.max.bytes=104857600
#kafka運行日志和資料存放的路徑   
log.dirs=/training/kafka-2.3.1/logs
#topic在當前broker上的磁區個數
num.partitions=1
#用來恢復和清理data下資料的執行緒數量
num.recovery.threads.per.data.dir=1
#segment檔案保留的最長時間，超時將被洗掉
log.retention.hours=24
#配置連接Zookeeper集群地址
zookeeper.connect=hadoop001:2181

5.啟動kafka（在kafka目錄下）（需要先啟動zookeeper）

bin/kafka-server-start.sh -daemon config/server.properties

6.驗證

jps查看行程

有kafka行程，安裝成功！！！

三：集群安裝（全分布）

我的虛擬機分別為：

hadoop001(192.168.17.131)（主節點）,

hadoop002(192.168.17.132)（從節點）,

hadoop003(192.168.17.133)（從節點），

以下操作都在主節點hadoop001上執行

1.上傳安裝包

把kafka_2.11-2.3.1.tgz上傳到hadoop001的/tools目錄下,
直接把kafka_2.11-2.3.1.tgz拖到MobaXterm_Portable的框框里就行，

操作參考：MobaXterm_Portable的簡單使用_一個人的牛牛的博客-CSDN博客

2.解壓

進入/tools目錄操作,我的安裝包放在/tools目錄下，軟體放在/training目錄下，沒有目錄的使用mkdir /tools和mkdir /training創建，

?tar -zvxf kafka_2.11-2.3.1.tgz -C /training/

3.配置環境變數

vi ~/.bash_profile

添加內容：

#kafka
export KAFKA_HOME=/training/kafka-2.3.1
export PATH=$PATH:$KAFKA_HOME/bin

環境變數生效

source ~/.bash_profile

4.組態檔

創建logs目錄（在kafka目錄下）

mkdir logs

配置server.properties(檔案在kafka路徑下的config目錄中)

vi server.properties

（hadoop001,hadoop002,hadoop003是我的主機名 ）

#broker的全域唯一編號，不能重復
broker.id=0
#洗掉topic功能使能 生產環境當中都是false
delete.topic.enable=true
#處理網路請求的執行緒數量
num.network.threads=3
#用來處理磁盤IO的執行緒數量
num.io.threads=8
#發送套接字的緩沖區大小
socket.send.buffer.bytes=102400
#接收套接字的緩沖區大小
socket.receive.buffer.bytes=102400
#請求套接字的緩沖區大小
socket.request.max.bytes=104857600
#kafka運行日志和資料存放的路徑   
log.dirs=/training/kafka-2.3.1/logs
#topic在當前broker上的磁區個數
num.partitions=1
#用來恢復和清理data下資料的執行緒數量
num.recovery.threads.per.data.dir=1
#segment檔案保留的最長時間，超時將被洗掉
log.retention.hours=24
#配置連接Zookeeper集群地址
zookeeper.connect=hadoop001:2181,hadoop002:2181,hadoop003:2181

5.將配置好的kafka拷貝到其他節點

scp -r /training/kafka-2.3.1/ hadoop002:/training/

scp -r /training/kafka-2.3.1/ hadoop003:/training/

在training目錄下用：

scp -r kafka-2.3.1/ hadoop002:/training/
scp -r kafka-2.3.1/ hadoop003:/training/

6.配置其他節點（hadoop002和hadoop003）的環境變數

操作和上面一樣！！！

7.修改broker.id

分別在hadoop002和hadoop004上修改組態檔training/kafka-2.3.1/config/server.properties中的broker.id，hadoop002修改為broker.id=1、hadoop003修改為broker.id=2

broker.id不得重復

8.啟動zookeeper

在所有節點上都需要執行啟動命令！！！

在/training/zookeeper-3.4.5目錄下執行：

bin/zkServer.sh start

jps看到QuorumPeerMain行程就已經啟動成功了！！！

9. 啟動kafka（在kafka目錄下）（需要先啟動zookeeper，每一臺都要啟動）

每一臺都要啟動kafka

bin/kafka-server-start.sh -daemon config/server.properties
bin/kafka-server-start.sh -daemon config/server.properties
bin/kafka-server-start.sh -daemon config/server.properties

驗證

jps查看行程

都有kafka行程，安裝成功！！！

關閉kafka（在kafka目錄下）

bin/kafka-server-stop.sh