歡迎訪問我的GitHub
https://github.com/zq2599/blog_demos
內容：所有原創文章分類匯總及配套原始碼，涉及Java、Docker、Kubernetes、DevOPS等；
對于部署在K8S上的Kafka來說，Prometheus+Grafana是常用的監控方案，今天就來實戰通過Prometheus+Grafana監控K8S環境的Kafka；
準備作業
今天聚焦的是Kafka監控，因此需要K8S、Helm、Kafka、Prometheus、Grafana等服務都已就緒，下面提供了一些鏈接，在您做相關部署時可以作為參考：
- 搭建K8S：《kubespray2.11安裝kubernetes1.15》
- 搭建Helm：《部署和體驗Helm(2.16.1版本)》
- 搭建Prometheus和Grafana：《kubernetes1.15極速部署prometheus和grafana》
- 部署Kafka：《K8S環境快速部署Kafka(K8S外部可訪問)》
版本資訊
- Kubernetes：1.15
- Kubernetes宿主機：CentOS Linux release 7.7.1908
- NFS服務：IP地址192.168.50.135，檔案夾/volume1/nfs-storageclass-test
- Helm：2.16.1
- Kafka：2.0.1
- Zookeeper：3.5.5
- Prometheus：2.0.0
- Grafana：5.0.0
準備完畢就可以開始實戰了；
確認kafka-exporter引數
即將部署的kafka-exporter要從kafka取得資料，因此要準備kafka-exporter引數；
- 查看kafka的服務中TYPE是ClusterIP的那個，如下圖紅框所示：
- 上述紅框中的服務名字是kafka、埠是9092，因此稍后在kafka-exporter中配置的kafka資訊就是kafka:9092
實際操作
- 添加Helm倉庫(該倉庫中有我們需要的kafka-exporter)：helm repo add gkarthiks https://gkarthiks.github.io/helm-charts
- 下載kafka-exporter：helm fetch gkarthiks/prometheus-kafka-exporter
- 解壓下載的chart檔案：tar -zxvf prometheus-kafka-exporter-0.1.0.tgz
- 進入解壓后的目錄：cd prometheus-kafka-exporter
- 修改values.yaml檔案，如下圖紅框，kafka:9092就是同一namespace下訪問kafka的地址：
- 在values.yaml檔案所在目錄執行：helm install --name-template kafka-exporter -f values.yaml . --namespace kafka-test （kafka的namespace是kafka-test，這里的namespace要和kafka保持一致）
- 查看服務和pod是否就緒：
- 此時我們部署好了kafka-exporter，能給prometheus提供監控資料了，但prometheus并不知道要來這里采集資料，因此接下來要配置prometheus；
- 確認kafka-exporter服務的訪問地址，prometheus采集資料要用到，名字和埠如下圖紅框所示，因此可以拼接處跨namespace的訪問地址：kafka-exporter-prometheus-kafka-exporter.kafka-test.svc.cluster.local:9308
- 如果您是參照《kubernetes1.15極速部署prometheus和grafana》部署的prometheus，請打開部署時下載的configmap.yaml檔案，里面是prometheus的配置，如果是其他途徑部署的，請按照自己的部署情況找到prometheus.yml的位置；
- configmap.yaml中增加下圖紅框中的內容，這樣prometheus就可以采集kafka-exporter的資料了：
- 使得配置生效：kubectl apply -f configmap.yaml
- 此時的prometheus容器用的還是舊配置，為了讓配置生效，要把prometheus的pod洗掉，這樣K8S自動創建的新pod就用上了新的配置，找出prometheus的pod：kubectl get pods -n kube-system
- 洗掉舊的pod：kubectl delete pod prometheus-68545d4fd8-f5q2w -n kube-system
- 等待新的pod被自動創建；
- 接下來登錄Grafana，配置監控頁面，如下圖，做模板匯入操作：
- 在匯入模板的頁面輸入編號7589：
- 選擇資料源的時候，要選prometheus，如下圖：
- 此時如果您的kafka有訊息的收發，就可以立即看到資料了：
至此，K8S環境下的kafka監控已經部署完成，希望本文能給您一些參考；
歡迎關注公眾號：程式員欣宸
微信搜索「程式員欣宸」，我是欣宸，期待與您一同暢游Java世界...
https://github.com/zq2599/blog_demos
轉載請註明出處，本文鏈接：https://www.uj5u.com/houduan/202155.html
標籤：Java
上一篇：payjs對接eyoucms插件
下一篇：百萬年薪技術大佬的讀書之旅