EFK,ELK都是目前最為流行的分布式日志框架,主要實作了日志的收集,存盤,分析等,它可以與docker容器進行結合,來收集docker的控制臺日志,就是stdout日志.
elasticsearch.master_data_client說明
默認情況下，每個節點都有成為主節點的資格，也會存盤資料，還會處理客戶端的請求，在一個生產集群中我們可以對這些節點的職責進行劃分，
- 建議集群中設定 3臺 以上的節點作為 master 節點node.master: true node.data: false node.ingest:false，這些節點只負責成為主節點，維護整個集群的狀態，
- 再根據資料量設定一批 data節點node.master: false node.data: true node.ingest:false，這些節點只負責存盤資料，后期提供建立索引和查詢索引的服務，這樣的話如果用戶請求比較頻繁，這些節點的壓力也會比較大
- 所以在集群中建議再設定一批 ingest 節點也稱之為 client 節點node.master: false node.data: false node.ingest:true，這些節點只負責處理用戶請求，實作請求轉發，負載均衡等功能，
master節點：普通服務器即可(CPU 記憶體 消耗一般)
data 節點：主要消耗磁盤，記憶體
client | ingest 節點：普通服務器即可(如果要進行分組聚合操作的話，建議這個節點記憶體也分配多一點)
部署 elasticsearch
為elasticsearch打鏡像包,使用docker-elasticsearch-kubernetes-master里的Dockerfile即可,這在建立k8s的pod時需要用到
docker build -t quay.io/pires/docker-elasticsearch-kubernetes:6.1.1 .
可以依次執行k8s的yaml檔案,就可以部署elasticsearch集群到k8s了
kubectl create -f es-discovery-svc.yaml
kubectl create -f es-svc.yaml
kubectl create -f es-master.yaml
kubectl rollout status -f es-master.yaml
kubectl create -f es-client.yaml
kubectl rollout status -f es-client.yaml
kubectl create -f es-data.yaml
kubectl rollout status -f es-data.yaml
執行成功后,看一下是否啟來了
curl http://ip:9200
{
"name" : "es-client-76fb6ffdf4-nn5b2",
"cluster_name" : "myesdb",
"cluster_uuid" : "SEjviHIJQ8-SEloYYcez8w",
"version" : {
"number" : "6.1.1",
"build_hash" : "bd92e7f",
"build_date" : "2017-12-17T20:23:25.338Z",
"build_snapshot" : false,
"lucene_version" : "7.1.0",
"minimum_wire_compatibility_version" : "5.6.0",
"minimum_index_compatibility_version" : "5.0.0"
},
"tagline" : "You Know, for Search"
}
部署kibana
構建鏡像Dockerfile
FROM docker.elastic.co/kibana/kibana:6.4.2
RUN bin/kibana-plugin remove x-pack
生成鏡像
docker build -t cfontes/kibana-xpack-less:6.4.2 .
部署到k8s里
kubectl create -f kibana.yaml
kubectl create -f kibana-svc.yaml
注意:在這里有一個環境變數
SERVER_BASEPATH,如果沒有使用代理,這個值需要設為空,否則你的js,css和其它檔案都是404,這塊要注意一下;另外CLUSTER_NAME表示的是elasticsearch集群的名稱.
部署fluentd
有兩個yaml檔案,mapconfig為組態檔,另一個就是deploy檔案,我們先執行配置 ,再運行pod即可
kubectl create -f fluentd-es-configmap.yaml
kubectl create -f fluentd-es-ds.yaml
轉載請註明出處，本文鏈接：https://www.uj5u.com/ruanti/26008.html
標籤：架構設計
下一篇：資料庫分庫解決方案