一、ELK日志分析系統簡介

Elasticsearch介紹（必須構建出群集模式，沒有群集模式，不如不搭，兩個功能存盤日志資料和索引日志資料）
埠號9200
接近實時、群集、節點、索引（索引（庫）—型別（表）----檔案（記錄））、分片和副本，
Logstatsh介紹（只干一件事收集日志，隨時收集服務器日志變化，傳遞給ES存起來）
一款強大的資料處理工具
可實作資料傳輸、格式處理、格式化輸出
資料輸入、資料加工（如過濾，改寫等）以及資料輸出
主要組件：Shipper 、Indexer、Broker、Search and Storage 、 Web Interface
Kibana介紹（以視圖展現，以各種圖形化的方式展現出來,提供的是一個網站鏈接面，打開才能看到）
Elasticsearch無縫之集成
整合資料，復雜資料分析
介面靈活，分享更容易
配置簡單，可視化多資料源
簡單資料匯出
日志處理步驟
1、將日志進行集中化管理
2.將日志格式化(Logstash) 并輸出到Elasticsearch
3.對格式化后的資料進行索引|和存盤(Elasticsearch)
4.前端資料的展示(Kibana )

二、部署ELK日志系統

2.1 環境準備與需求描述

需求描述

配置ELK日志分析群集
使用Logstash收集日志
使用kibana查看分析日志
環境準備
防止干擾，關閉所有服務器的防火墻與核心防護

主機服務器	IP	主機名	服務器描述
CentOS7.6	192.168.233.127	node1	Elasticsearch 主機點
CentOS7.6	192.168.233.140	node2	Elasticsearch
CentOS7.6	192.168.233.130	apache	安裝apache服務和Logstash收集日志
CentOS7.6	192.168.233.200	kibana	視圖化展現日志分析資訊

在這里插入圖片描述

2.2 Elasticsearch 部署與相關插件安裝

2.2.1 Elasticsearch 的安裝

root@localhost ~]# hostnamectl set-hostname node1  ## 修改主機名   另一臺節點修改為node2
[root@localhost ~]# su
[root@node1 ~]# 

[root@node1 ~]# vim /etc/hosts
192.168.233.127 node1
192.168.233.140 node2
~                      
[root@node1 ~]# java -version      ## 查看java環境，用自帶的就行
openjdk version "1.8.0_181"
OpenJDK Runtime Environment (build 1.8.0_181-b13)
OpenJDK 64-Bit Server VM (build 25.181-b13, mixed mode)

[root@node1 ~]# cd /opt/
將elasticsearch-5.5.0.rpm 軟體包上傳
[root@node1 opt]# rpm -ivh elasticsearch-5.5.0.rpm 
[root@node1 opt]# systemctl daemon-reload     ## 重新加載環境
[root@node1 opt]# systemctl  enable elasticsearch.service

2.2.2 修改Elasticsearch組態檔

root@node1 opt]# cp /etc/elasticsearch/elasticsearch.yml /etc/elasticsearch/elasticsearch.yml.bak ## 留一個組態檔的備份

 [root@node1 opt]# vim /etc/elasticsearch/elasticsearch.yml
17 cluster.name: my-elk-cluster     ## 群集名稱要一樣，不然就是兩個群集
23 node.name: node1        ## node2節點 改為node2  與主機名一致
33 path.data: /data/elk_data      ## 資料存放路徑
37 path.logs: /var/log/elasticsearch/       ## 日志存放路徑
43 bootstrap.memory_lock: false      ## 引導記憶體鎖定  默認時鎖定，即資分配給服務用的資源之后系統不會再給新的資源，這里解開
55 network.host: 0.0.0.0 ## 監聽所有地址
59 http.port: 9200
68 discovery.zen.ping.unicast.hosts: ["node1", "node2"] ## 寫入群集服務的主機名
[root@node1 opt]# grep -v "^#" /etc/elasticsearch/elasticsearch.yml  ## 檢查組態檔
cluster.name: my-elk-cluster
node.name: node1
path.data: /data/elk_data
path.logs: /var/log/elasticsearch/
bootstrap.memory_lock: false
network.host: 0.0.0.0
http.port: 9200
discovery.zen.ping.unicast.hosts: ["node1", "node2"]
[root@node1 opt]# mkdir -p /data/elk_data      ## 創建資料存放路徑
[root@node1 opt]# chown elasticsearch.elasticsearch /data/elk_data/  ## 授權
[root@node1 opt]# systemctl start elasticsearch.service 
[root@node1 opt]# netstat -antp | grep 9200
tcp6       0      0 :::9200                 :::*                    LISTEN      10348/java

2.2.3 查看Elasticsearch群集資訊與健康測驗

查看群集健康狀況

http://192.168.233.140:9200/_cluster/health?pretty ## 查看群集健康情況
{
  "cluster_name" : "my-elk-cluster",
  "status" : "green",
  "timed_out" : false,
  "number_of_nodes" : 2,
  "number_of_data_nodes" : 2,
  "active_primary_shards" : 0,
  "active_shards" : 0,
  "relocating_shards" : 0,
  "initializing_shards" : 0,
  "unassigned_shards" : 0,
  "delayed_unassigned_shards" : 0,
  "number_of_pending_tasks" : 0,
  "number_of_in_flight_fetch" : 0,
  "task_max_waiting_in_queue_millis" : 0,
  "active_shards_percent_as_number" : 100.0
}

查看群集資訊

http://192.168.233.140:9200/_cluster/state?pretty   ## 查看群集狀態資訊
{
  "cluster_name" : "my-elk-cluster",
  "version" : 5,
  "state_uuid" : "G3B3azPEROaXv2EVH_hW8w",
  "master_node" : "y27xgCLnTpeZ9C7JtzH6tg",
  "blocks" : { },
  "nodes" : {
    "y27xgCLnTpeZ9C7JtzH6tg" : {
      "name" : "node1",
      "ephemeral_id" : "AlDxEWe3S0yZ7NAp_HCFMg",
      "transport_address" : "192.168.233.127:9300",
      "attributes" : { }
    },
    "mwtmWDrgRHau3r23Fdfw2w" : {
      "name" : "node2",
      "ephemeral_id" : "q2Tg7zKYRe2y5vsz6UgRRQ",
      "transport_address" : "192.168.233.140:9300",
      "attributes" : { }
    }
  },
  "metadata" : {
    "cluster_uuid" : "T9wpASvDQxuxDmfyOgHTDg",
    "templates" : { },
    "indices" : { },
    "index-graveyard" : {
      "tombstones" : [ ]
    }
  },
  "routing_table" : {
    "indices" : { }
  },
  "routing_nodes" : {
    "unassigned" : [ ],
    "nodes" : {
      "y27xgCLnTpeZ9C7JtzH6tg" : [ ],
      "mwtmWDrgRHau3r23Fdfw2w" : [ ]
    }
  }
}

2.2.4 安裝node 組件包插件

【安裝elasticsearch-head 插件】  上述查看群集的方式，極其不方便，我們可以通過安裝elasticsearch-head插件來管理群集
[root@node1 ~]# cd /opt/
將  node等 安裝包拖入node-v8.2.1.tar  phantomjs-2.1.1-linux-x86_64.tar   elasticsearch-head.tar
yum install  gcc gcc-c++ -y
[root@node1 opt]# tar zxvf node-v8.2.1.tar.gz 
[root@node1 opt]# cd node-v8.2.1/
[root@node1 node-v8.2.1]# ./configure 
[root@node1 node-v8.2.1]# make -j3     ## 呼叫三個核心數編譯
[root@node1 node-v8.2.1]# make install

2.2.5 安裝phantomjs前端框架

準備phantomjs-2.1.1-linux-x86_64.tar.bz2 軟體包

[root@node1 opt]# tar jxvf phantomjs-2.1.1-linux-x86_64.tar.bz2 
[root@node1 opt]# cd phantomjs-2.1.1-linux-x86_64/bin/
[root@node1 bin]# cp phantomjs /usr/local/bin/
[root@node1 opt]# mv phantomjs-2.1.1-linux-x86_64 /usr/local/src/

2.2.6 安裝elasticsearch-head資料化可視工具

[root@node1 opt]# tar zxvf elasticsearch-head.tar.gz -C /usr/local/src/
[root@node1 opt]# cd /usr/local/src/elasticsearch-head/
[root@node1 elasticsearch-head]# npm install

2.2.7修改elasticsearch-head組態檔并啟動服務

root@node1 elasticsearch-head]# cd 
[root@node1 ~]# vim /etc/elasticsearch/elasticsearch.yml   ## 組態檔，插入末尾
http.cors.enabled: true  ## 開啟跨域訪問支持，默認為faluse
http.cors.allow-origin: "*"      ## 跨域訪問允許的域名地址
[root@node1 ~]# systemctl restart elasticsearch.service  ## 重啟服務

[root@node1 ~]# cd /usr/local/src/elasticsearch-head/     ## 啟動服務器
[root@node1 elasticsearch-head]# npm run start &      ## 切換到后臺運行
[1] 111596
[root@node1 elasticsearch-head]# 
> elasticsearch-head@0.0.0 start /usr/local/src/elasticsearch-head
> grunt server

Running "connect:server" (connect) task
Waiting forever...
Started connect web server on http://localhost:9100

[root@node1 elasticsearch-head]# netstat -lnutp | grep 9100
tcp        0      0 0.0.0.0:9100            0.0.0.0:*               LISTEN      111606/grunt        
[root@node1 elasticsearch-head]# netstat -lnutp | grep 9200
tcp6       0      0 :::9200                 :::*                    LISTEN      111489/java

2.2.8 測驗

真機上打開
192.168.233.127:9100
在Elasticsearch 后面輸入 192.168.233.127:9200 ## 可以看見集群很健康是綠色

192.168.233.140:9100
在Elasticsearch 后面輸入 192.168.233.140:9200 ## 可以看見集群很健康是綠色
在這里插入圖片描述

網站登錄node1 節點創建索引為index-dex，型別為test，可以創建成功
- 在node1上寫入資料

[root@node1 ~]# curl -XPUT 'localhost:9200/index-demo/test/1?pretty&pretty' -H 'content-Type:application/json' -d '{"user":"zhangsan","mesg":"hello world"}'
{
  "_index" : "index-demo",
  "_type" : "test",
  "_id" : "1",
  "_version" : 1,
  "result" : "created",
  "_shards" : {
    "total" : 2,
    "successful" : 2,
    "failed" : 0
  },
  "created" : true         ## 表示寫入成功
}

這時在網站的資料瀏覽點擊重繪，可以看到寫入的資料

2.3 apa服務器 apache服務的安裝和Logstash的配置

2.3.1 apache服務與Logstash的安裝

[root@apache ~]# yum -y install httpd
[root@apache ~]# systemctl start httpd
[root@apache ~]# java -version
openjdk version "1.8.0_181"
OpenJDK Runtime Environment (build 1.8.0_181-b13)
OpenJDK 64-Bit Server VM (build 25.181-b13, mixed mode)
準備logstash-5.5.1.rpm 壓縮包
[root@apache ~]# rpm -ivh logstash-5.5.1.rpm 
[root@apache ~]# systemctl start logstash
[root@apache ~]# systemctl enable logstash
Created symlink from /etc/systemd/system/multi-user.target.wants/logstash.service to /etc/systemd/system/logstash.service.
[root@apache ~]# ln -s /usr/share/logstash/bin/logstash /usr/local/bin
logstash（apache）與elasticsearch（node）功能是否正常，做對接測驗
logstash命令測驗：
 -f    指定logstash的組態檔，根據組態檔配置logstash
 -e   該字符可以被當做logstash的配置（如果是“ ”，則默認使用stdin做輸入，stdout作為輸出）
 -t    測驗組態檔是否正確，然后退出

2.3.2 測驗Logstash的功能

[root@apache ~]# yum -y install httpd
[root@apache ~]# systemctl start httpd
[root@apache ~]# java -version
openjdk version "1.8.0_181"
OpenJDK Runtime Environment (build 1.8.0_181-b13)
OpenJDK 64-Bit Server VM (build 25.181-b13, mixed mode)
準備logstash-5.5.1.rpm 壓縮包
[root@apache ~]# rpm -ivh logstash-5.5.1.rpm 
[root@apache ~]# systemctl start logstash
[root@apache ~]# systemctl enable logstash
Created symlink from /etc/systemd/system/multi-user.target.wants/logstash.service to /etc/systemd/system/logstash.service.
[root@apache ~]# ln -s /usr/share/logstash/bin/logstash /usr/local/bin
logstash（apache）與elasticsearch（node）功能是否正常，做對接測驗
logstash命令測驗：
 -f    指定logstash的組態檔，根據組態檔配置logstash
 -e   該字符可以被當做logstash的配置（如果是“ ”，則默認使用stdin做輸入，stdout作為輸出）
 -t    測驗組態檔是否正確，然后退出

2.3.3 在apache服務器上做對接配置

[root@apache ~]# chmod o+r /var/log/messages  ## 給其他用戶加上系統日志可讀權限
[root@apache ~]# vim /etc/logstash/conf.d/system.conf
input {
        file{
          path => "/var/log/messages"
          type => "system"
          start_position => "beginning"
          }
      }
output {
       elasticsearch {
         hosts => ["192.168.233.127:9200"]
         index => "system-%{+YYY.MM.dd}"
         }
       }
[root@apache ~]# systemctl restart logstash.service   ## 重啟服務

2.4 kibana的安裝

準備 kibana-5.5.1-x86_64.rpm

[root@kibana ~]# mv kibana-5.5.1-x86_64.rpm  /usr/local/src/
[root@kibana ~]# cd /usr/local/src/
[root@kibana src]# rpm -ivh kibana-5.5.1-x86_64.rpm 
[root@kibana ~]# cd /etc/kibana
[root@kibana kibana]# cp -p kibana.yml kibana.yml.bak
[root@kibana kibana]# vim kibana.yml
2 server.port: 5601   ##kibana打開的埠
7 server.host: "0.0.0.0"   ##kibana偵聽的地址
 21 elasticsearch.url: "http://192.168.233.127:9200"      ##和elasticsearch建立聯系
30 kibana.index: ".kibana"     ##在elasticsearch中添加.kibana索引

[root@kibana kibana]# systemctl enable kibana
Created symlink from /etc/systemd/system/multi-user.target.wants/kibana.service to /etc/systemd/system/kibana.service.
[root@kibana kibana]# systemctl start kibana

2.4.1 kibana的配置

訪問192.168.233.200:5601 創建一個索引名為system-* ##這是對接系統日志檔案
在這里插入圖片描述

對接apache服務器的日志檔案（有兩個：access和error）

cd /etc/logstash/conf.d
vim apache_log.conf
      file{
        path => "/etc/httpd/logs/access_log"
      file{
        path => "/etc/httpd/logs/error_log"
        type => "error"
        start_position => "beginning"
        }
      } 
output {
      if [type] == "access" {
      elasticsearch {
        hosts => ["192.168.233.127:9200"]
        index => "apache_access-%{+YYY.MM.dd}"
        }
       }
      if [type] == "error" {
      elasticsearch {
        hosts => ["192.168.233.127:9200"]
        index => "apache_error-%{+YYY.MM.dd}"
        }
      } 
     }
      /usr/share/logstash/bin/logstash -f apache_log.conf   ## Apache和logstash對接聯系

2.5 測驗

登錄真機192.168.130.10:9100 ##查看索引資訊
會發現兩個檔案:apache_error-2020.09.14 apache_access-2020.09.14
在這里插入圖片描述

在打開192.168.130.30:5601
創建兩個索引，即可通過kiban查看日志檔案資訊
在這里插入圖片描述

轉載請註明出處，本文鏈接：https://www.uj5u.com/ruanti/98662.html

標籤：其他

上一篇：你期待已久的Vue 3 正式發布啦！

下一篇：我把Github上最牛b的Java教程和實戰專案整合成了一個PDF檔案

ELK 日志分析的簡介與部署