本文分享自華為云社區《KAFKA EAGLE 監控MRS kafka之操作實踐》，作者： 啊喔YeYe ，
1.Kafka Eagle簡介
Kafka eagle 是一款分布式、高可用的kafka監控軟體，提供豐富的kafka監控指標，例如：Kafka集群的Broker數、Topic數、Consumer數、Topic LogSize Top10、Topic Capacity Top10、Lag擠壓，CPU/Memory監控等，
Eagle新版本中改名為EFAK，基于版本3.0.1對接監控MRS 3.1.0（普通集群）中的kafka集群，
2. Eagle安裝步驟
2.1 修改MRS kafka jmx服務的ip,重啟生效
MRS manager進入kafka配置頁面，輸入JMX搜索，修改KAFKA_JMX_IP為 ${BROKER_IP}
2.2 把efak安裝包放到集群目錄下，然后解壓
tar –xvf kafka-eagle-bin-3.0.1.tar.gz cd kafka-eagle-bin-3.0.1 tar –xvf efka-web-3.0.1-bin.tar.gz
2.3 在opt目錄下新建efak目錄
把efka-web-3.0.1復制到/opt/efka目錄下
2.4 新建環境變數
vim /etc/profile
export KE_HOME=/opt/efka/efka-web-3.0.1
PATH變數后面添加:$KE_HOME/bin
例如：
source /etc/profile
2.5 修改/opt/efka/efka-web-3.0.1/conf/system-config.properties組態檔
cluster1.zk.list的值改為kafka服務的metrics.reporter.zookeeper.url配置項的值
efak.zk.cluster.alias只保留一個cluster
efak.zk.cluster.alias=cluster1
cluster1.zk.list=XXX:2181,XXX:2181,XXX:2181/kafka
#cluster2.zk.list=xdn10:2181,xdn11:2181,xdn12:2181
修改kafka jmx uri的配置
cluster1.efak.jmx.uri=service:jmx:rmi:///jndi/rmi://%s/kafka修改kafka mysql jdbc driver address資料庫相關的配置
efak.driver=com.mysql.cj.jdbc.Driverefak.url=jdbc:mysql://127.0.0.1:3306/ke?useUnicode=true&characterEncoding=UTF-8&zeroDateTimeBehavior=convertToNull
efak.username=root
efak.password=XXX
2.6 啟動efka服務
sh /opt/efak/efak-web-3.0.1/bin/ke.sh start
如下啟動ok
2.7 訪問EFKA Webui 默認用戶密碼：admin/123456
kafka集群監控
Topic監控
Consumer監控
3. 常見問題
問題：無法獲取kafka cpu與記憶體監控資訊日志提示：
java.io.IOException cannot be cast to javax.management.remote.JMXConnector
原因：jmx地址配置錯誤，默認jmx地址為：
cluster1.efak.jmx.uri=service:jmx:rmi:///jndi/rmi://%s/jmxrmi
MRS內kafka jmx名稱為kafka，需要設定為：
cluster1.efak.jmx.uri=service:jmx:rmi:///jndi/rmi://%s/kafka
點擊關注，第一時間了解華為云新鮮技術~
轉載請註明出處，本文鏈接：https://www.uj5u.com/gongcheng/539562.html
標籤：其他