一.下載
kafka官網下載地址:http://kafka.apache.org/downloads.html,下載二進制的.
二.安裝
1.安裝zookeeper
windows環境下安裝zookeeper(單機版)
安裝并啟動后的界面:

2.安裝kafka
我下載的kafka_2.13-2.8.0.tgz,并解壓到D:\Tools\kafka_2.13-2.8.0目錄下

- 編輯檔案Kafka組態檔, D:\Tools\kafka_2.13-2.8.0\config\server.properties
- 找到并編輯log.dirs=D:\\Tools\\kafka_2.13-2.8.0\\kafka-logs, (自定義檔案夾)
- 找到并編輯zookeeper.connect=localhost:2181,表示本地運行(默認的可以不改)
- Kafka會按照默認,在9092埠上運行,并連接zookeeper的默認埠:2181,
三.啟動Kafka服務器
1.進入Kafka安裝目錄,新建cmd視窗:cd D:\Tools\kafka_2.13-2.8.0,輸入命令
.\bin\windows\kafka-server-start.bat .\config\server.properties
或者進入D:\Tools\kafka_2.13-2.8.0\bin\windows目錄下執行
kafka-server-start.bat ..\..\config\server.properties
或者填寫絕對路徑
D:\Tools\kafka_2.13-2.8.0\bin\windows\kafka-server-start.bat D:\Tools\kafka_2.13-2.8.0\config\server.properties

注意:不要關了這個視窗,啟用Kafka前請確保ZooKeeper實體已經準備好并開始運行
四.測驗
kafka專業術語介紹:Kafka的簡介
1.創建主題
新建cmd視窗,進入kafka的windows目錄下,cd D:\Tools\kafka_2.13-2.8.0\bin\windows,輸入以下命令,創建一個叫topic001的主題
kafka-topics.bat --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic topic001

可以關掉這個視窗
2.創建生產者
新建cmd視窗,進入kafka的windows目錄下,cd D:\Tools\kafka_2.13-2.8.0\bin\windows,輸入以下命令
kafka-console-producer.bat --broker-list localhost:9092 --topic topic001

3.創建消費者
新建cmd視窗,進入kafka的windows目錄下,cd D:\Tools\kafka_2.13-2.8.0\bin\windows,輸入以下命令
kafka-console-consumer.bat --bootstrap-server localhost:9092 --topic topic001 --from-beginning

4.生產訊息并消費

5.其他命令
新建cmd視窗,cd D:\Tools\kafka_2.13-2.8.0\bin\windows
1.列出主題:kafka-topics.bat –list –zookeeper localhost:2181
2.描述主題:kafka-topics.bat –describe –zookeeper localhost:2181 –topic [Topic Name]

6.操作日志的處理
kafka啟動后,如果你去查看kafka所在的根目錄,或者是kafka本身的目錄,會發現已經默認生成一堆操作日志(這樣看起來真心很亂):
而且會不斷生成不同時間戳的操作日志,剛開始不知所措,一番研究后,看了啟動的腳本內容,發現啟動的時候是會默認使用到這個log4j.properties檔案中的配置,而在zoo.cfg是不會看到本身的啟動會呼叫到這個,還以為只有那一個日志路徑:
在這里配置一下就可以了,找到config下的log4j.properties:
將路徑更改下即可,這樣就可以歸檔在一個檔案夾下邊了,路徑根據自己喜好定義:
另外如何消除不斷生成日志的問題,就是同一天的不同時間會不停生成,
修改這里,還是在log4j.properties中:
本身都為trace,字面理解為會生成一堆跟蹤日志,將其改為INFO即可,
五.將kafka安裝成windows的服務
nssm是一款windows 服務安裝工具,簡單方便, windows service wrapper 也是一個類似的工具,但是需要進行組態檔撰寫
下載的地址:http://nssm.cc/release/nssm-2.24.zip
1、將軟體解壓到D:\Tools\nssm-2.24,cmd進入D:\Tools\nssm-2.24\win64
2、輸入命令.\nssm install 會彈出一個nssm service installer
3、application path :D:\Tools\kafka_2.13-2.8.0\bin\windows\kafka-server-start.bat
4、startup directory : D:\Tools\kafka_2.13-2.8.0\bin\windows 上面選擇后會自動選擇出來
5、Arguments: D:\Tools\kafka_2.13-2.8.0\config\server.properties
6、然后記得寫服務名稱kafka就行了


6.kafka管理界面
kafka-manager 由 yahoo 公司開發,該工具可以方便查看集群 主題分布情況,同時支持對 多個集群的管理、磁區平衡以及創建主題等操作,不過雅虎已經將其更名為CMAK(Cluster Manager for Apache Kafka),下載地址:https://github.com/yahoo/CMAK/releases,目前最新版是3.0.05,Attached release asset was compiled with java 11.

如果你所部署的kafka集群不支持最新CMAK的要求,可以下載1.x版本試試,
網上很多方法是需要sbt構筑編譯的,還需要翻墻或組態檔使用鏡像,如果你是用于個人研究學習,這里我給了kafka-manager-1.3.3.17下載包,是編譯過的,可以直接使用,也可以自己上網找最新的編譯過的kafka-manager
百度云盤鏈接:https://pan.baidu.com/s/109CMP8u25ey7BOIIcikDZg
提取碼:cgfy
解壓到想要放到的目錄,找到其中的conf目錄,打開 application.conf檔案,修改其中的配置資訊(這里主要是連接你的zookeeper服務的埠)
kafka-manager.zkhosts="localhost:2181"
其他詳細的配置資訊參考官方檔案:https://github.com/yahoo/kafka-manager

啟動后瀏覽器訪問localhost:9000,出現如下管理界面.



退出的時候ctrl+c,會提示你是否終止

CMAK管理工具支持的范圍
支持 Kafka 0.8以上版本
Java 11+
zookeeper必須是3.5+版本,
修改配置
進入cmak-3.0.0.5/conf,修改組態檔application.conf
用上面的命令編輯打開檔案,將下面的兩個配置項配置成你實際的kafka集群對應的zookeeper地址,
kafka-manager.zkhosts="kafka-manager-zookeeper:2181"cmak.zkhosts="kafka-manager-zookeeper:2181"
啟動服務
默認使用9000埠,如果埠占用,可以通過引數指定埠,
$ bin/cmak -Dconfig.file=conf/application.conf -Dhttp.port=9001
參考博文:
https://www.cnblogs.com/coloz/p/10487679.html
https://blog.csdn.net/weixin_38004638/article/details/91893910
https://blog.csdn.net/qq_30261081/article/details/108057968
https://www.cnblogs.com/bayu/articles/14467738.html
https://blog.csdn.net/weixin_39928940/article/details/110802072
https://blog.csdn.net/chaoxiao1231/article/details/82900606
轉載請註明出處,本文鏈接:https://www.uj5u.com/qita/282894.html
標籤:其他
上一篇:Hive基礎知識 01
