基于docker的ELK+filebeat+kafka環境部署

ELK以及常用模式
環境部署
- 一、docker
- 二、centos
- 三、kafka
- 四、filebeat(centos容器中)
- 五、logstash
- 六、elasticsearch(es)
- 七、kibana
- 八、最后走一遍程序
- 九、docker-compose和dockerfile

ELK以及常用模式

什么是elk以及常用模式

環境部署

順序：和log走向一直filebeat->kafka->logstash

環境：centos7虛擬機(首先要關閉防火墻，然后要關閉防火墻，最后關閉防火墻)
centos6.x用的是iptable，centos7.x用的是firewall
不關閉防火墻會導致容器之間不能通訊

一、docker

1、安裝docker

yum install docker -y

2、啟動docker

systemctl start docker

二、centos

拉取centos鏡像
產生的log檔案和filebeat運行在這個centos容器中
拉取鏡像：

docker pull centos

完成之后可以使用docker images查看鏡像情況

制作centos容器

docker run -itd --name centos --privileged=true centos /sbin/init

這里需要使用–privileged=true獲得root權限，才能使用systemctl等指令
使用docker ps查看容器情況

三、kafka

主要參考了這篇文章
快速搭建kafka集群

可以再通過python操作一次kafka確定是可以正常作業的，同時要開啟一個終端運行kafka的消費者腳本

from kafka import KafkaProducer
producer = KafkaProducer(bootstrap_servers='10.211.55.4:32771')  # 連接kafka
msg = "hello python kafka"".encode('utf-8')  
producer.send('mykafka', msg)
producer.close()

遇到的坑：

創建容器，創建kafka的topic一切順利，就是在生產者生產訊息的時候報LEADER_NOT_AVALIBLE的錯誤，找了很多資料，無果，最后發現其實就是防火墻的問題，因為kafka基于zookeeper，需要在集群之間通訊，
在把防火墻設定為開機關閉后，重啟虛擬機之后啟動kafka容器，又報/var/run/docker.sock權限不足的問題，找了很多原因，也無果，回憶了一下，也就做了關閉防火墻這個操作，于是把防火墻又打開，重新創建了容器，又好了，具體為什么還不太清楚，

四、filebeat(centos容器中)

進入centos容器：

docker exec -it --privileged=true centos /bin/bash

安裝wget:

yum install wget -y

在elastic官網找到下載地址

進入自己filebeat的目錄
wget https://artifacts.elastic.co/downloads/beats/filebeat/filebeat-7.9.3-linux-x86_64.tar.gz

解壓即安裝
配置(.yml)如下：

filebeat.inputs:
- type: log
  enabled: true
  paths:
    - /usr/log/elk.log
output.kafka:
  hosts: ["10.211.55.4:32770","10.211.55.4:32771","10.211.55.4:32769"]
  topic: 'mykafka'

默認的output是elasticsearch，需要注釋掉
output.kafka里的hosts的ip就是虛擬機的ip，埠需要在虛擬機上docker ps看一下映射的埠，這個埠可能根據kafka啟動的情況變動，一定要注意，不然也會報錯，后續應該要改一下這個埠映射，不可能一直修改配置，

配置完成之后啟動filebeat

./filebeat -e -c filebeat.yml

然后向日志檔案里加東西試試

echo "filebeat test" >> /usr/log/elk.log

kafka這邊的消費者終端能收到東西就說明filebeat到kafka這里是好了

五、logstash

拉取logstash鏡像
logstash的鏡像沒法直接pull logstash來拉取
我們在dockerhub中找到需要的版本，找到對應的dockerfile中的版本全名，如：docker.elastic.co/logstash/logstash:7.9.3

docker pull docker.elastic.co/logstash/logstash:7.9.3

完成之后可以使用docker images查看鏡像情況

制作logstash容器

docker run -itd -p 5044:5044 -p 5045:5045 --name logstash -e ES_JAVA_OPTS="-Xms1G -Xmx1G" logstash:7.9.3

使用docker ps查看容器情況

進入logstash容器修改組態檔(也可以通過映射檔案，在外面直接修改然后再啟動容器)

logstash.yml:

http.host: "0.0.0.0"
xpack.monitoring.elasticsearch.hosts: [ "http://10.211.55.4:9200" ]

elk.config:

input {
  kafka {
    bootstrap_servers => ["10.211.55.4:32771,10.211.55.4:32769,10.211.55.4:32770"]
    consumer_threads => 1
    topics => ["mykafka"]
    auto_offset_reset => "earliest"
    auto_commit_interval_ms => 1000
  }
}
output {
  stdout{}
  elasticsearch {
    hosts => "http://10.211.55.4:9200"
    index => "%{[@metadata][beat]}-%{[@metadata][version]}-%{+YYYY.MM.dd}"
    #user => "elastic"
    #password => "changeme"
  }
}

測驗階段可以在input里面加一個stdin{}，可以通過控制臺輸入

啟動logstash：

bin/logstash -f config/elk.config

可能會遇到這個報錯

Logstash could not be started because there is already another instance using the 
configured data directory.  If you wish to run multiple instances, you must change
 the "path.data" setting.

到data目錄下洗掉.lock檔案即可

六、elasticsearch(es)

es的鏡像沒法直接pull elasticsearch來拉取
我們在dockerhub中找到需要的版本，找到對應的dockerfile中的版本全名，如：docker.elastic.co/elasticsearch/elasticsearch:7.9.3

docker pull docker.elastic.co/elasticsearch/elasticsearch:7.9.3

創建需要掛載的檔案夾和組態檔

mkdir -p /opt/es/config
mkdir -p /opt/es/data
echo "http.host: 0.0.0.0" >> /opt/es/config/elasticsearch.yml

docker run --name es --privileged=true -p 9200:9200 -p 9300:9300
 -e "discovery.type=single-node" -e ES_JAVA_OPTS="-Xms64m -Xmx128m" 
 -v /opt/es/config/elasticsearch.yml:/usr/share/elasticsearch/config/elasticsearch.yml 
 -v /opt/es/data:/usr/share/elasticsearch/data 
 -v /opt/es/plugins:/usr/share/elasticsearch/plugins 
 -d docker.elastic.co/elasticsearch/elasticsearch:7.9.3 /usr/sbin/init

要注意一點，這些相關的檔案夾和elasticsearch.yml一定要自己創建出來，不然docker會幫你創建一個叫elasticsearch.yml的檔案夾，又報一些莫名其妙的錯誤
data檔案夾需要給權限chmod -R 777不然沒法創建下面相應的檔案夾，大概就是會報node之類的檔案夾沒權限

其他沒什么了，可以直接訪問9200埠看看能不能用

七、kibana

和es一樣，拉鏡像，建容器

docker pull docker.elastic.co/kibana/kibana:7.9.3

docker run -d --restart=always --log-driver json-file 
--log-opt max-size=100m --log-opt max-file=2 --name xinyar-kibana -p 5601:5601 
-v /opt/elk/kibana.yml:/usr/share/kibana/config/kibana.yml 
docker.elastic.co/kibana/kibana::7.9.3

也是直接瀏覽器訪問5601埠即可，需要添加一些索引搜索之類的，需要自己研究一下，寫起來比較麻煩，略過，

八、最后走一遍程序

filebeat加入日志

echo "elktest" >> /usr/log/elk.log

kafka消費：

bash-4.4# kafka-console-consumer.sh --bootstrap-server kafka_kafka-cluster_1:9092 from-beginning --topic mykafka
{"@timestamp":"2020-11-04T11:14:13.688Z","@metadata":{"beat":"filebeat","type":"_doc","version":"7.9.3"},"input":{"type":"log"},"agent":{"type":"filebeat","version":"7.9.3","hostname":"a630f42b741e","ephemeral_id":"fa366576-e93b-4c97-bda3-8ee53078552a","id":"b523dfc7-956b-4b17-a272-50befeccbd38","name":"a630f42b741e"},"ecs":{"version":"1.5.0"},"host":{"hostname":"a630f42b741e","architecture":"x86_64","os":{"name":"CentOS Linux","kernel":"3.10.0-1127.el7.x86_64","codename":"Core","platform":"centos","version":"8 (Core)","family":"redhat"},"id":"a630f42b741edd05d37d5cf9bb264c66","containerized":true,"ip":["172.17.0.3","fe80::42:acff:fe11:3"],"name":"a630f42b741e","mac":["02:42:ac:11:00:03"]},"message":"elktest","log":{"file":{"path":"/usr/log/elk.log"},"offset":6}}

logstash的stdout:

{
    "@timestamp" => 2020-11-04T11:14:16.176Z,
      "@version" => "1",
       "message" => "{\"@timestamp\":\"2020-11-04T11:14:13.688Z\",\"@metadata\":{\"beat\":\"filebeat\",\"type\":\"_doc\",\"version\":\"7.9.3\"},\"input\":{\"type\":\"log\"},\"agent\":{\"type\":\"filebeat\",\"version\":\"7.9.3\",\"hostname\":\"a630f42b741e\",\"ephemeral_id\":\"fa366576-e93b-4c97-bda3-8ee53078552a\",\"id\":\"b523dfc7-956b-4b17-a272-50befeccbd38\",\"name\":\"a630f42b741e\"},\"ecs\":{\"version\":\"1.5.0\"},\"host\":{\"hostname\":\"a630f42b741e\",\"architecture\":\"x86_64\",\"os\":{\"name\":\"CentOS Linux\",\"kernel\":\"3.10.0-1127.el7.x86_64\",\"codename\":\"Core\",\"platform\":\"centos\",\"version\":\"8 (Core)\",\"family\":\"redhat\"},\"id\":\"a630f42b741edd05d37d5cf9bb264c66\",\"containerized\":true,\"ip\":[\"172.17.0.3\",\"fe80::42:acff:fe11:3\"],\"name\":\"a630f42b741e\",\"mac\":[\"02:42:ac:11:00:03\"]},\"message\":\"elktest\",\"log\":{\"file\":{\"path\":\"/usr/log/elk.log\"},\"offset\":6}}"
}

最后就是kibana的web界面，內容都差不多，截圖不太方便，就不發了

九、docker-compose和dockerfile

后續看看能不能把這些合并起來

轉載請註明出處，本文鏈接：https://www.uj5u.com/qita/204121.html

標籤：其他

上一篇：cgb2007-京淘day06

下一篇：Lvs負載均衡