一、ELK日志分析系統簡介
- Elasticsearch介紹（必須構建出群集模式，沒有群集模式 ，不如不搭，兩個功能 存盤日志資料和索引日志資料）
埠號9200
接近實時、群集、節點、索引（索引（庫）—型別（表）----檔案（記錄））、分片和副本， - Logstatsh介紹（只干一件事 收集日志，隨時收集服務器日志變化，傳遞給ES存起來）
一款強大的資料處理工具
可實作資料傳輸、格式處理、格式化輸出
資料輸入、資料加工（如過濾，改寫等）以及資料輸出
主要組件：Shipper 、Indexer、Broker、Search and Storage 、 Web Interface - Kibana介紹（以視圖展現，以各種圖形化的方式展現出來,提供的是一個網站鏈接面，打開才能看到）
Elasticsearch無縫之集成
整合資料，復雜資料分析
介面靈活，分享更容易
配置簡單，可視化多資料源
簡單資料匯出 - 日志處理步驟
1、 將日志進行集中化管理
2.將日志格式化(Logstash) 并輸出到Elasticsearch
3.對格式化后的資料進行索引|和存盤(Elasticsearch)
4.前端資料的展示(Kibana )
二、 部署ELK日志系統
2.1 環境準備與需求描述
需求描述
- 配置ELK日志分析群集
- 使用Logstash收集日志
- 使用kibana查看分析日志
環境準備 - 防止干擾 ，關閉所有服務器的防火墻與核心防護
| 主機服務器 | IP | 主機名 | 服務器描述 |
|---|---|---|---|
| CentOS7.6 | 192.168.233.127 | node1 | Elasticsearch 主機點 |
| CentOS7.6 | 192.168.233.140 | node2 | Elasticsearch |
| CentOS7.6 | 192.168.233.130 | apache | 安裝apache服務和Logstash收集日志 |
| CentOS7.6 | 192.168.233.200 | kibana | 視圖化展現日志分析資訊 |
2.2 Elasticsearch 部署與相關插件安裝
2.2.1 Elasticsearch 的安裝
root@localhost ~]# hostnamectl set-hostname node1 ## 修改主機名 另一臺節點修改為node2
[root@localhost ~]# su
[root@node1 ~]#
[root@node1 ~]# vim /etc/hosts
192.168.233.127 node1
192.168.233.140 node2
~
[root@node1 ~]# java -version ## 查看java環境，用自帶的就行
openjdk version "1.8.0_181"
OpenJDK Runtime Environment (build 1.8.0_181-b13)
OpenJDK 64-Bit Server VM (build 25.181-b13, mixed mode)
[root@node1 ~]# cd /opt/
將elasticsearch-5.5.0.rpm 軟體包上傳
[root@node1 opt]# rpm -ivh elasticsearch-5.5.0.rpm
[root@node1 opt]# systemctl daemon-reload ## 重新加載環境
[root@node1 opt]# systemctl enable elasticsearch.service
2.2.2 修改Elasticsearch組態檔
root@node1 opt]# cp /etc/elasticsearch/elasticsearch.yml /etc/elasticsearch/elasticsearch.yml.bak ## 留一個組態檔的備份
[root@node1 opt]# vim /etc/elasticsearch/elasticsearch.yml
17 cluster.name: my-elk-cluster ## 群集名稱要一樣，不然就是兩個群集
23 node.name: node1 ## node2節點 改為node2 與主機名一致
33 path.data: /data/elk_data ## 資料存放路徑
37 path.logs: /var/log/elasticsearch/ ## 日志存放路徑
43 bootstrap.memory_lock: false ## 引導記憶體鎖定 默認時鎖定，即資分配給服務用的資源之后系統不會再給新的資源，這里解開
55 network.host: 0.0.0.0 ## 監聽所有地址
59 http.port: 9200
68 discovery.zen.ping.unicast.hosts: ["node1", "node2"] ## 寫入群集服務的主機名
[root@node1 opt]# grep -v "^#" /etc/elasticsearch/elasticsearch.yml ## 檢查組態檔
cluster.name: my-elk-cluster
node.name: node1
path.data: /data/elk_data
path.logs: /var/log/elasticsearch/
bootstrap.memory_lock: false
network.host: 0.0.0.0
http.port: 9200
discovery.zen.ping.unicast.hosts: ["node1", "node2"]
[root@node1 opt]# mkdir -p /data/elk_data ## 創建資料存放路徑
[root@node1 opt]# chown elasticsearch.elasticsearch /data/elk_data/ ## 授權
[root@node1 opt]# systemctl start elasticsearch.service
[root@node1 opt]# netstat -antp | grep 9200
tcp6 0 0 :::9200 :::* LISTEN 10348/java
2.2.3 查看Elasticsearch群集資訊與健康測驗
- 查看群集健康狀況
http://192.168.233.140:9200/_cluster/health?pretty ## 查看群集健康情況
{
"cluster_name" : "my-elk-cluster",
"status" : "green",
"timed_out" : false,
"number_of_nodes" : 2,
"number_of_data_nodes" : 2,
"active_primary_shards" : 0,
"active_shards" : 0,
"relocating_shards" : 0,
"initializing_shards" : 0,
"unassigned_shards" : 0,
"delayed_unassigned_shards" : 0,
"number_of_pending_tasks" : 0,
"number_of_in_flight_fetch" : 0,
"task_max_waiting_in_queue_millis" : 0,
"active_shards_percent_as_number" : 100.0
}
- 查看群集資訊
http://192.168.233.140:9200/_cluster/state?pretty ## 查看群集狀態資訊
{
"cluster_name" : "my-elk-cluster",
"version" : 5,
"state_uuid" : "G3B3azPEROaXv2EVH_hW8w",
"master_node" : "y27xgCLnTpeZ9C7JtzH6tg",
"blocks" : { },
"nodes" : {
"y27xgCLnTpeZ9C7JtzH6tg" : {
"name" : "node1",
"ephemeral_id" : "AlDxEWe3S0yZ7NAp_HCFMg",
"transport_address" : "192.168.233.127:9300",
"attributes" : { }
},
"mwtmWDrgRHau3r23Fdfw2w" : {
"name" : "node2",
"ephemeral_id" : "q2Tg7zKYRe2y5vsz6UgRRQ",
"transport_address" : "192.168.233.140:9300",
"attributes" : { }
}
},
"metadata" : {
"cluster_uuid" : "T9wpASvDQxuxDmfyOgHTDg",
"templates" : { },
"indices" : { },
"index-graveyard" : {
"tombstones" : [ ]
}
},
"routing_table" : {
"indices" : { }
},
"routing_nodes" : {
"unassigned" : [ ],
"nodes" : {
"y27xgCLnTpeZ9C7JtzH6tg" : [ ],
"mwtmWDrgRHau3r23Fdfw2w" : [ ]
}
}
}
2.2.4 安裝node 組件包 插件
【安裝elasticsearch-head 插件】 上述查看群集的方式，極其不方便，我們可以通過安裝elasticsearch-head插件來管理群集
[root@node1 ~]# cd /opt/
將 node等 安裝包拖入node-v8.2.1.tar phantomjs-2.1.1-linux-x86_64.tar elasticsearch-head.tar
yum install gcc gcc-c++ -y
[root@node1 opt]# tar zxvf node-v8.2.1.tar.gz
[root@node1 opt]# cd node-v8.2.1/
[root@node1 node-v8.2.1]# ./configure
[root@node1 node-v8.2.1]# make -j3 ## 呼叫三個核心數編譯
[root@node1 node-v8.2.1]# make install
2.2.5 安裝phantomjs前端框架
準備phantomjs-2.1.1-linux-x86_64.tar.bz2 軟體包
[root@node1 opt]# tar jxvf phantomjs-2.1.1-linux-x86_64.tar.bz2
[root@node1 opt]# cd phantomjs-2.1.1-linux-x86_64/bin/
[root@node1 bin]# cp phantomjs /usr/local/bin/
[root@node1 opt]# mv phantomjs-2.1.1-linux-x86_64 /usr/local/src/
2.2.6 安裝elasticsearch-head資料化可視工具
[root@node1 opt]# tar zxvf elasticsearch-head.tar.gz -C /usr/local/src/
[root@node1 opt]# cd /usr/local/src/elasticsearch-head/
[root@node1 elasticsearch-head]# npm install
2.2.7修改elasticsearch-head組態檔 并啟動服務
root@node1 elasticsearch-head]# cd
[root@node1 ~]# vim /etc/elasticsearch/elasticsearch.yml ## 組態檔，插入末尾
http.cors.enabled: true ## 開啟跨域訪問支持，默認為faluse
http.cors.allow-origin: "*" ## 跨域訪問允許的域名地址
[root@node1 ~]# systemctl restart elasticsearch.service ## 重啟服務
[root@node1 ~]# cd /usr/local/src/elasticsearch-head/ ## 啟動服務器
[root@node1 elasticsearch-head]# npm run start & ## 切換到后臺運行
[1] 111596
[root@node1 elasticsearch-head]#
> elasticsearch-head@0.0.0 start /usr/local/src/elasticsearch-head
> grunt server
Running "connect:server" (connect) task
Waiting forever...
Started connect web server on http://localhost:9100
[root@node1 elasticsearch-head]# netstat -lnutp | grep 9100
tcp 0 0 0.0.0.0:9100 0.0.0.0:* LISTEN 111606/grunt
[root@node1 elasticsearch-head]# netstat -lnutp | grep 9200
tcp6 0 0 :::9200 :::* LISTEN 111489/java
2.2.8 測驗
- 真機上 打開
192.168.233.127:9100
在Elasticsearch 后面輸入 192.168.233.127:9200 ## 可以看見集群很健康 是綠色
192.168.233.140:9100
在Elasticsearch 后面輸入 192.168.233.140:9200 ## 可以看見集群很健康 是綠色
-
網站登錄node1 節點 創建索引為index-dex，型別為test，可以創建成功
-
- 在node1上寫入資料
[root@node1 ~]# curl -XPUT 'localhost:9200/index-demo/test/1?pretty&pretty' -H 'content-Type:application/json' -d '{"user":"zhangsan","mesg":"hello world"}'
{
"_index" : "index-demo",
"_type" : "test",
"_id" : "1",
"_version" : 1,
"result" : "created",
"_shards" : {
"total" : 2,
"successful" : 2,
"failed" : 0
},
"created" : true ## 表示寫入成功
}
- 這時在網站的資料瀏覽點擊重繪，可以看到寫入的資料
2.3 apa服務器 apache服務的安裝和Logstash的配置
2.3.1 apache服務與Logstash的安裝
[root@apache ~]# yum -y install httpd
[root@apache ~]# systemctl start httpd
[root@apache ~]# java -version
openjdk version "1.8.0_181"
OpenJDK Runtime Environment (build 1.8.0_181-b13)
OpenJDK 64-Bit Server VM (build 25.181-b13, mixed mode)
準備logstash-5.5.1.rpm 壓縮包
[root@apache ~]# rpm -ivh logstash-5.5.1.rpm
[root@apache ~]# systemctl start logstash
[root@apache ~]# systemctl enable logstash
Created symlink from /etc/systemd/system/multi-user.target.wants/logstash.service to /etc/systemd/system/logstash.service.
[root@apache ~]# ln -s /usr/share/logstash/bin/logstash /usr/local/bin
logstash（apache）與elasticsearch（node）功能是否正常，做對接測驗
logstash命令測驗：
-f 指定logstash的組態檔，根據組態檔配置logstash
-e 該字符可以被當做logstash的配置（如果是“ ”，則默認使用stdin做輸入，stdout作為輸出）
-t 測驗組態檔是否正確，然后退出
2.3.2 測驗Logstash的功能
[root@apache ~]# yum -y install httpd
[root@apache ~]# systemctl start httpd
[root@apache ~]# java -version
openjdk version "1.8.0_181"
OpenJDK Runtime Environment (build 1.8.0_181-b13)
OpenJDK 64-Bit Server VM (build 25.181-b13, mixed mode)
準備logstash-5.5.1.rpm 壓縮包
[root@apache ~]# rpm -ivh logstash-5.5.1.rpm
[root@apache ~]# systemctl start logstash
[root@apache ~]# systemctl enable logstash
Created symlink from /etc/systemd/system/multi-user.target.wants/logstash.service to /etc/systemd/system/logstash.service.
[root@apache ~]# ln -s /usr/share/logstash/bin/logstash /usr/local/bin
logstash（apache）與elasticsearch（node）功能是否正常，做對接測驗
logstash命令測驗：
-f 指定logstash的組態檔，根據組態檔配置logstash
-e 該字符可以被當做logstash的配置（如果是“ ”，則默認使用stdin做輸入，stdout作為輸出）
-t 測驗組態檔是否正確，然后退出
2.3.3 在apache服務器上做對接配置
[root@apache ~]# chmod o+r /var/log/messages ## 給其他用戶加上系統日志可讀權限
[root@apache ~]# vim /etc/logstash/conf.d/system.conf
input {
file{
path => "/var/log/messages"
type => "system"
start_position => "beginning"
}
}
output {
elasticsearch {
hosts => ["192.168.233.127:9200"]
index => "system-%{+YYY.MM.dd}"
}
}
[root@apache ~]# systemctl restart logstash.service ## 重啟服務
2.4 kibana的安裝
- 準備 kibana-5.5.1-x86_64.rpm
[root@kibana ~]# mv kibana-5.5.1-x86_64.rpm /usr/local/src/
[root@kibana ~]# cd /usr/local/src/
[root@kibana src]# rpm -ivh kibana-5.5.1-x86_64.rpm
[root@kibana ~]# cd /etc/kibana
[root@kibana kibana]# cp -p kibana.yml kibana.yml.bak
[root@kibana kibana]# vim kibana.yml
2 server.port: 5601 ##kibana打開的埠
7 server.host: "0.0.0.0" ##kibana偵聽的地址
21 elasticsearch.url: "http://192.168.233.127:9200" ##和elasticsearch建立聯系
30 kibana.index: ".kibana" ##在elasticsearch中添加.kibana索引
[root@kibana kibana]# systemctl enable kibana
Created symlink from /etc/systemd/system/multi-user.target.wants/kibana.service to /etc/systemd/system/kibana.service.
[root@kibana kibana]# systemctl start kibana
2.4.1 kibana的配置
訪問192.168.233.200:5601 創建一個索引名為system-* ##這是對接系統日志檔案
- 對接apache服務器的日志檔案（有兩個：access和error）
cd /etc/logstash/conf.d
vim apache_log.conf
file{
path => "/etc/httpd/logs/access_log"
file{
path => "/etc/httpd/logs/error_log"
type => "error"
start_position => "beginning"
}
}
output {
if [type] == "access" {
elasticsearch {
hosts => ["192.168.233.127:9200"]
index => "apache_access-%{+YYY.MM.dd}"
}
}
if [type] == "error" {
elasticsearch {
hosts => ["192.168.233.127:9200"]
index => "apache_error-%{+YYY.MM.dd}"
}
}
}
/usr/share/logstash/bin/logstash -f apache_log.conf ## Apache和logstash對接聯系
2.5 測驗
登錄真機192.168.130.10:9100 ##查看索引資訊
會發現兩個檔案:apache_error-2020.09.14 apache_access-2020.09.14
在打開192.168.130.30:5601
創建兩個索引，即可通過kiban查看日志檔案資訊
轉載請註明出處，本文鏈接：https://www.uj5u.com/qita/96854.html
標籤：其他