喜聞樂見ELK(日志管理分析系統)

@[TOC]

# 1. 簡介

ELK（日志管理分析系統），一款能將系統的日志進行分析處理，并且展示到界面上面，集各種強大功能于一身，媽媽再也不用擔心我為查日志感到煩惱了， ELK核心的組件是由elasticsearch、kibana、logstash組成且不僅限于該三個組件，最舒服的就是，該三個組件開源，且封裝ok，只需要開箱即用，好了，廢話不多說，我們開始正片，

第一次寫博客哈，有些不對的地方大家多多指出，希望能不吝賜教了哈，

# 2. 需要的材料以及環境

java8及以上版本（因為logstash最低版本要求為java8）

win10/centos7系統（以下配置基于win10）

elasticsearch、kibana、logstash（記住，這三個組件下載的時候 版本保持一致）

elasticsearch-head（一款瀏覽器插件，可以不使用，如果不使用可以忽略以下材料）

nodejs

# 3. 安裝以及配置

當我們下載好以上三個組件過后，首先解壓我們的三個壓縮包

第一步，配置我們的elasticsearch，進入elasticsearch-7.9.3\config用自己喜愛的文本編輯器打開elasticsearch.yml檔案

node.name: node-1

network.host: 本機ip

http.port: 9200

cluster.initial_master_nodes: ["node-1"] #node-1

--------------------------------------------------------以下配置主要解決后面logstash的跨域問題----------------------------------------------

http.cors.enabled: true
http.cors.allow-origin: /.*/
http.cors.allow-methods: "OPTIONS, HEAD, GET, POST, PUT, DELETE"
http.cors.allow-headers: "Authorization, X-Requested-With, Content-Type, Content-Length, X-User"

好了，到這里我們的elasticsearch就已經配置完成，讓我們運行下，看看效果，

cd D:\ELK\elasticsearch-7.9.3\bin 然后 elasticsearch.bat

或者直接進入bin目錄，雙擊elasticsearch.bat，然后在瀏覽器中輸入：ip:9200,出現以下資訊則說明已經es配置成功

第二步，配置我們的logstash，進入logstash-7.9.3\config用自己喜愛的文本編輯器創建一個新的logstash.config檔案，是新的新的新的，里面的內容如下：

input {
file {
type => "nginx_access"
path => "D:/nginx/nginx-1.18.0/nginx-1.18.0/logs/access.log" #需要決議的日志，換成你自己的路徑
start_position => "beginning" #從檔案開始處讀寫
}
file {
type => "nginx_access1"
path => "D:/nginx/nginx-1.18.0/nginx-1.18.0/logs/access1.log" #需要決議的日志，換成你自己的路徑
start_position => "beginning" #從檔案開始處讀寫
}
}
filter {
grok {
match => ["message", "%{TIMESTAMP_ISO8601:times}"]
}
date {
match => ["times", "yyyy-MM-dd HH:mm:ss,SSS"]
locale => "en"
timezone => "+00:00"
remove_field => "times"
target => "@timestamp"
}

if[type] == "nginx_access" {
mutate {
add_tag => ["nginx_access"] #設定tag
}
}

if [type] == "nginx_access1" {
mutate {
add_tag => ["nginx_access1"] #設定tag
}
}
}
output {
if "nginx_access" in [tags] { #根據上面的tag來判斷輸出
elasticsearch {
hosts => ["http://es的ip:9200"] #es的地址
index => "access-%{+YYYY.MM.dd}" # 輸出的日志名稱，好像大寫有問題，大家可以試試
}
}

if "nginx_access1" in [tags] { #根據上面的tag來判斷輸出
elasticsearch {
hosts => ["http://es的ip:9200"] #es的地址
index => "logaccess1-%{+YYYY.MM.dd}" # 輸出的日志名稱，好像大寫有問題，大家可以試試
}
}
stdout { #標準輸出
codec => rubydebug{}
}
}

好了，到這里我們的logstash就已經配置完成，讓我們運行下，看看效果，

cd D:\ELK\logstash-7.9.3\bin 然后 logstash.bat -f ../config/logstash.config ，或者大家可以自己把啟動陳述句用一個bat腳本封裝起來，到時候只需要執行你那個封裝的腳本即可，在控制臺出現以下效果，證明啟動成功，切記需要java8以上的java版本，

那如果我們很多生產環境已經用的java8以下的版本該怎么辦呢？用我們記事本打開logstash的bin目錄下的logstash.bat，linux系統打開logstash檔案，在檔案頂部加上

export JAVA_CMD="/eam_app/elk/jdk1.8.0_161/bin" #改為自己服務器JDK位置
export JAVA_HOME="/eam_app/elk/jdk1.8.0_161/" #改為自己服務器JDK位置

最后讓我們來修改下我們的監聽的日志檔案，看下logstash控制臺有何變化？

敲黑板敲黑板，這里有個小坑，如果我們最后一行不留空，那么最后一行的資訊是不會輸入到我們的logstash里面的，為什么會這樣的， 留個小伙伴們一個小疑問，自己去想想，

第三步，配置我們的kibana，進入kibana-7.9.3\config用自己喜愛的文本編輯器打開kibana.yml檔案,

server.port: 5601 #埠

server.host: IP地址

elasticsearch.hosts: ["http://es的ip地址:9200"]

保存，至此我們的kibana就配置完成了，是不是很簡單，哦呵呵呵！！！！

趕緊運行起來，老規矩：

cd D:\ELK\kibana-7.9.3-windows-x86_64\bin 然后 kibana.bat 或者自己手動雙擊kibana.bat，最后在我們的瀏覽器中輸入kibana.yml中的server.host:server.port

點擊上面的進行以下操作

最后我們點擊界面左上角

會出現以下界面，這是個時候我們的日志就已經展示出來了，如下圖：

至此為止我們的windows環境EKL日志監控分析系統就已經搭建完成

# 4. 總結

個人覺得ELK還是比較好用的，擺脫我們去服務器拉日志查日志的苦惱，當然可能小伙伴有其他更好的方式，我這里只是列舉了一個例子，希望能拋磚引玉了哈，感謝各位大大的閱讀支持！！！

碼字不易，如需轉載請標明轉處，