Kakfa集群（2.11-0.10.1.0）版本滾動升級方案

Kafka集群版本升級（2.11-0.10.1.0）升級（2.11-0.10.2.2）

官網升級說明：

一、系統環境
Zookeeper集群：
172.16.2.10
172.16.2.11
172.16.2.12
Kafka集群：
172.16.2.10
172.16.2.11
172.16.2.12

現Kafka版本： 2.11-0.10.1.0，安裝目錄：/usr/local/kafka
計劃升級至版本：2.11-0.10.2.2，安裝目錄：/usr/local/kafka_2.11-0.10.2.2

二、創建測驗topic
1.創建測驗topic

/usr/local/kafka/bin/kafka-topics.sh --zookeeper 172.16.2.10:2181,172.16.2.11:2181,172.16.2.12:2181  --create --replication-factor 3  --partitions 2 --topic first

/usr/local/kafka/bin/kafka-topics.sh --zookeeper 172.16.2.10:2181,172.16.2.11:2181,172.16.2.12:2181  --create --replication-factor 2  --partitions 1 --topic second

2.查看測驗topic

/usr/local/kafka/bin/kafka-topics.sh --zookeeper 172.16.2.10:2181,172.16.2.11:2181,172.16.2.12:2181 --describe --topic first
Ls /data/kafka/

3.查看當前服務器中的所有topic

/usr/local/kafka/bin/kafka-topics.sh --zookeeper 172.16.2.10:2181,172.16.2.11:2181,172.16.2.12:2181 --list

三、升級步驟
1.安裝新版本kafka

tar  -xf  kafka_2.11-0.10.2.2.tgz  -C /usr/local/
cp /usr/local/kafka_2.10-0.10.1.0/config/server.properties  /usr/local/kafka_2.11-0.10.2.2/config/server.properties

2.修改配置
注：修改配置2.11-0.10.2.2(升級版本）的server.properties，添加2行，其他配置保持不變，特別是資料存盤目錄,cp 2.10-0.10.1.0（舊版本）的配置

cp /usr/local/kafka/config/server.properties /usr/local/kafka_2.11-0.10.2.2/config/server.properties
vim /usr/local/kafka_2.11-0.10.2.2/config/server.properties
inter.broker.protocol.version=0.10.1.0
log.message.format.version=0.10.1.0

3.停止原版本
注：停止原版本的kafka，使用kafka自帶stop腳本bin下的kafka-server-stop.sh或者kill掉, 然后啟動2.11-0.10.2.2，由于之前配置了環境變數，注意用2.11-0.10.2.2目錄下的程式去啟動kafka

usr/local/kafka/bin/kafka-server-stop.sh 
ps -ef|grep kafka

4.啟動新版本
第一臺kafka服務器后臺啟動

/usr/local/kafka_2.11-0.10.2.2/bin/kafka-server-start.sh -daemon /usr/local/kafka_2.11-0.10.2.2/config/server.properties 
tail -f /usr/local/kafka_2.11-0.10.2.2/logs/server.log

查看topic first：

/usr/local/kafka_2.11-0.10.2.2/bin/kafka-topics.sh --zookeeper 172.16.2.10:2181,172.16.2.11:2181,172.16.2.12:2181 --describe --topic first

測驗創建topic test1

/usr/local/kafka_2.11-0.10.2.2/bin/kafka-topics.sh --zookeeper 172.16.2.10:2181,172.16.2.11:2181,172.16.2.12:2181  --create --replication-factor 3  --partitions 2 --topic test1

 沒有例外，觀察半小時左右，將剩下的兩臺服務器都這樣操作，更新配置，關閉原版本，啟動新版本kafka

cp /usr/local/kafka/config/server.properties /usr/local/kafka_2.11-0.10.2.2/config/server.properties
vim /usr/local/kafka_2.11-0.10.2.2/config/server.properties
inter.broker.protocol.version=0.10.1.0
log.message.format.version=0.10.1.0

第二臺kafka

 第三臺kafka

 注意：替換新版broker后，注意查看新版broker是否已經注冊到zookeeper，所在機器上的的副本是否已經可用，確定可用之后再更新下一臺broker，

5.看kafka在zookeeper中節點資訊和查看方式
（1）.先到zookeeper的bin下面
Cd /usr/local/zookeeper/bin
（2）.執行命令./zkCli.sh
（3）.輸入命令 ls /，ls /consumers 這個命令是消費者 還沒有資料

（4）.輸入下圖中的命令就能看到了

 6.修改新版本配置

確定上訴步驟已經執行完畢，并且集群一切正常后，
再次更新broker間通訊版本和訊息格式版本，修改所有新版組態檔server.properties

vim /usr/local/kafka_2.11-0.10.2.2/config/server.properties
inter.broker.protocol.version=0.10.2.2
log.message.format.version=0.10.2.2  

再次依次重啟新版kafka集群

/usr/local/kafka_2.11-0.10.2.2/bin/kafka-server-stop.sh 
ps -ef|grep kafka
后臺啟動 ：
/usr/local/kafka_2.11-0.10.2.2/bin/kafka-server-start.sh  -daemon /usr/local//kafka_2.11-0.10.2.2/config/server.properties
tail -f /usr/local/kafka_2.11-0.10.2.2/logs/server.log

7.驗證升級完成

/usr/local/kafka_2.11-0.10.2.2/bin/kafka-topics.sh --zookeeper 172.16.2.10:2181,172.16.2.11:2181,172.16.2.12:2181 --describe --topic first
/usr/local/kafka_2.11-0.10.2.2/bin/kafka-topics.sh --zookeeper 172.16.2.10:2181,172.16.2.11:2181,172.16.2.12:2181 --describe --topic sencod
/usr/local/ kafka_2.11-0.10.2.2/bin/kafka-topics.sh --zookeeper 172.16.2.10:2181,172.16.2.11:2181,172.16.2.12:2181 --list

注：另外通過kafka-manager界面工具邊升級邊觀察消費者和生產者相關資料資訊，

因生產環境Kafka集群中個別kafka經常是掛掉，經過分析后是kafka版本BUG，故目前已在生產環境升級完成，僅供參考，

標籤：Linux

上一篇：Linux中screen命令

下一篇：nginx基礎（一）—— 安裝、啟動、停止