Docker安裝單機版ELK日志收集系統
概述
現在Elasticsearch是比較火的, 很多公司都在用. 而Docker也正如火如荼, 所以我就使用了Docker來安裝ELK, 這里會詳細介紹下安裝的細節以及需要注意的地方. 先來強調一下, Elasticsearch和Kibana必須用相同版本, 這個可以避免很多坑，
日志主要包括系統日志、應用程式日志和安全日志，系統運維和開發人員可以通過日志了解服務器軟硬體資訊、檢查配置程序中的錯誤及錯誤發生的原因，經常分析日志可以了解服務器的負荷，性能安全性，從而及時采取措施糾正錯誤，
開源實時日志分析ELK平臺由ElasticSearch、Logstash和Kiabana三個開源工具組成：
1）ElasticSearch是一個基于Lucene的開源分布式搜索服務器，它的特點有：分布式，零配置，自動發現，索引自動分片，索引副本機制，restful風格介面，多資料源，自動搜索負載等，它提供了一個分布式多用戶能力的全文搜索引擎，基于RESTful web介面，Elasticsearch是用Java開發的，并作為Apache許可條款下的開放原始碼發布，是第二流行的企業搜索引擎，設計用于云計算中，能夠達到實時搜索，穩定，可靠，快速，安裝使用方便，在elasticsearch中，所有節點的資料是均等的，
2）Logstash是一個完全開源的工具，它可以對你的日志進行收集、過濾、分析，支持大量的資料獲取方法，并將其存盤供以后使用（如搜索），說到搜索，logstash帶有一個web界面，搜索和展示所有日志，一般作業方式為c/s架構，client端安裝在需要收集日志的主機上，server端負責將收到的各節點日志進行過濾、修改等操作在一并發往elasticsearch上去，
3）Kibana 是一個基于瀏覽器頁面的Elasticsearch前端展示工具，也是一個開源和免費的工具，Kibana可以為 Logstash 和 ElasticSearch 提供的日志分析友好的 Web 界面，可以幫助您匯總、分析和搜索重要資料日志，
ELK作業原理展示圖：
如上圖：Logstash收集AppServer產生的Log，并存放到ElasticSearch集群中，而Kibana則從ES集群中查詢資料生成圖表，再回傳給Browser，
ELK環境部署
CentOS7.8系統上安裝docker，并用docker安裝ELK單機日志手機系統平臺，
一、準備作業
1，系統環境
系統：CentOS7.8
防火墻：關閉
Centos7防火墻關閉方法與Centos6的有所區別
CentOS6關閉防火墻使用以下命令：
CentOS7中關閉防火墻使用以下命令：
selinux：關閉
selinux關閉方式有兩種，一種是臨時關閉，另一種是永久關閉，
臨時關閉方式：
永久關閉方式：
編輯組態檔/etc/selinux/config
首先執行yum update –y升級作業系統到最新版本，
[root@docker-srv ~]#cat /etc/redhat-release
CentOS Linux release 7.8.2003 (Core)
配置安裝docker-ce19.03.11的yum源，
yum install –y yum-utils device-mapper-persistent-data lvm2
yum-config-manager \
--add-repo \
https://download.docker.com/linux/centos/docker-ce.repo
執行yum install docker-ce-19.03.11* -y
驗證安裝
安裝完成后，運行下面的命令，驗證是否安裝成功，
docker version
docker info
配置docker加速器
vi /etc/docker/daemon.json
systemctl daemon-reload
systemctl restart docker
systemctl enable docker
docker安裝到此結束！
1,接下來用docker安裝ELK,拉取鏡像：
首先安裝elasticsearch
docker pull elasticsearch:7.6.2
敲完命令后回車, 只需要等鏡像下載完就成了. 一共791MB, 耐心等待.
2，啟動ES
安裝完成以后當然需要去啟動了, 啟動也很方便, 只需要一行命令即可.
docker run --name es1 -p 9200:9200 -p 9300:9300 -e "discovery.type=single-node" -d elasticsearch:7.6.2
啟動后可以先查看一下，名稱自定義！
3. 測驗安裝
我們可以去檢查ES是否安裝完成, 可以輸入命令:
curl http://localhost:9200
注意: 需要關閉防火墻或放行9200埠
安裝Kibana
Kibana是一個開源的分析和可視化平臺, 被設計用于和Elasticsearch一起作業. 我們可以通過Kibana來搜索, 查看, 并和存盤在Elasticsearch索引中的資料進行互動, 并輕松地執行高級資料分析, 以各種圖示, 表格和地圖的形式可視化資料.
Kibana使得理解大量資料變得很容易. 它簡單的, 基于瀏覽器的界面使你能夠快速創建和共享動態儀表板, 實時顯示Elasticsearch查詢的變化.
1. 拉取鏡像
同樣適用docker安裝Kibana命令如下:
docker pull kibana:7.6.2
這個比較大, 有1.01GB, 耐心等待…
2. 啟動Kibana
安裝完成以后需要啟動Kibana容器, 我們需要使用--link引數將Kibana連接到Elasticsearch容器, 命令如下:
docker run --name kibana --link es1:elasticsearch -p 5601:5601 -d kibana:7.6.2
其中, --link es:elasticsearch中的es是Docker中Elasticsearch容器名, 你也可以替換成對應的容器ID.
3. 配置漢化
默認情況下, Kibana界面是英文的, 不過Kibana 7中官方加入了中文的選項, 漢化包位置: /usr/share/kibana/x-pack/plugins/translations/translations/zh-CN.json
我們需要進入Kibana容器, 編輯/usr/share/kibana/config/kibana.yml檔案, 在末尾添加i18n.locale: zh-CN即可. 注意冒號后一定要有空格!
docker exec -it kibana /bin/bash
cd config/
vi kibana.yml
exit
然后重啟Kibana
docker restart kibana
4. 測驗安裝
啟動以后可以打開瀏覽器輸入http://你的IP:5601就可以打開Kibana的界面了. 上圖
ES的其他設定
在使用Elasticsearch時, 我們還需要進行一些設定. 例如解決跨域訪問和中文分詞.
1. 解決跨域訪問
首先進入到ES容器中, 然后進入到指定目錄修改elasticsearch.yml檔案
docker exec -it es /bin/bash
cd config/
vi elasticsearch.yml
在elasticsearch.yml的檔案末尾加上
http.cors.enabled: true
http.cors.allow-origin: "*"
修改配置后重啟容器即可
docker restart es1
2. 安裝IK中文分詞器
ES自帶的分詞器對中文分詞不友好, 所以我們下載開源的IK分詞器來解決這個問題. 首先進入到plugins目錄中下載分詞器, 下載完成后解壓, 再重啟ES即可. 具體步驟如下:
docker exec -it es /bin/bash
cd plugins/
elasticsearch-plugin install https://github.com/medcl/elasticsearch-analysis-ik/releases/download/v7.6.2/elasticsearch-analysis-ik-7.6.2.zip
exit
Elasticsearch的版本和IK分詞器的版本需要保持一致, 不然在重啟的時候會失敗. 可以點擊查看所有版本, 選擇合適的版本右鍵復制鏈接地址即可.
然后重啟容器, 可以在Kibana界面的dev tools中驗證是否安裝成功
安裝elasticsearch head插件監控管理
docker pull mobz/elasticsearch-head:5
docker run -d -p 9100:9100 docker.io/mobz/elasticsearch-head:5
在瀏覽器中打開elasticsearch-head頁面，填入ElasticSearch地址
安裝filebeat+logstash進行日志過濾
在客戶端機器上面安裝filebeat
配置yum源
cat /etc/yum.repos.d/filebeat.repo
[filebeat]
name=Elasticsearch repository for 7.x packages
baseurl=https://artifacts.elastic.co/packages/7.x/yum
gpgcheck=0
gpgkey=https://artifacts.elastic.co/GPG-KEY-elasticsearch
enabled=1
autorefresh=1
type=rpm-md
執行yum makecache && yum install filebeat* -y
vi /etc/filebeat/filebeat.yml
systemctl restart filebeat
docker pull logstash:7.6.2
docker run -itd --name logstash -p 5044:5044 -v /etc/logstash/config:/usr/share/logstash/config -v /etc/logstash/pipeline:/usr/share/logstash/pipeline logstash:7.6.2
cat /etc/logstash/config/logstash.conf
最后提醒：線上環境要求持續提供服務，即使在服務器出現問題時，及時修復及時提供服務，比如例外斷電宕機，或者重啟機器后，所以需要配置docker及各個服務器開機自動啟動！
Docker容器啟動時加入--restart=always 就ok啦！
白駒過隙，當看到比你優秀的人比你還努力的時候，你也會越來越優秀，相信越努力越幸運！
轉載請註明出處，本文鏈接：https://www.uj5u.com/caozuo/42930.html
標籤：Linux
上一篇：linux