正則表達運用需要認識深，邏輯思維結構需要清晰,練習需要知其然而所以然，方可融會貫通！
一.Kibana 使用
1.kibana 是:資料可視化平臺工具
2.特點:
靈活分析和可視化平臺
實時總結流量和資料的圖表
為不同的用戶顯示直觀的界面
即時分享和嵌入的儀表板
3.kibana 安裝:yum -y install kibana
4.kibana 默認安裝在/opt/kibana 下面,組態檔在/opt/kibana/config/kibana.yml
5.kibana.yml 的配置:
...... 2 server.port: 5601
5 server.host: "0.0.0.0" 15 elasticsearch.url: "http://192.168.1.51:9200" 23 kibana.index: ".kibana" 26 kibana.defaultAppId: "discover" 53 elasticsearch.pingTimeout: 1500
57 elasticsearch.requestTimeout: 30000
64 elasticsearch.startupTimeout: 5000
6.啟動服務并設定開機自啟
systemctl start kibana
systemctl enable kibana
7.web 訪問 kibana: http://192.168.1.56:5601/
8.啟動服務后,web 頁面的集群中自動會生成 kibana 的資料庫
二.Logstash 配置擴展插件
1.Logstash:一個資料采集,加工處理以及傳輸的工具
2.特點:
所有的型別的資料集中處理
不同模式和格式資料的正常化
自定義日志格式的迅速擴展
為自定義資料源添加插件
3.Logstash 安裝
(1).安裝依賴 Java 環境:yum -y install java-1.8.0-openjdk
(2).安裝軟體包:yum -y install logstash
(3).安裝在/opt/logstash 目錄下
4.Logstash 作業結構:
{資料源} ==>
input { } ==>
filter ==>
output { } ==>
{ES}
input 搜集資料發送給 filter,filter 處理資料給 output,output 轉發資料出去
5.Logstash 里面的型別
布林值型別:ssl_enable => true
位元組型別: bytes => “1MiB” 字串型別: name => “xkops” 數值型別: port => 22
陣列: match => [“datetime”,”UNIX”]
哈希: options => {k => “v”, k2 => “v2”}
編碼解碼: codec => “json” 路徑: file_path => “/tmp/filename” 注釋: #
6.Logstash 條件判斷
等于: == 不等于: != 小于: < 大于: > 小于等于: <= 大于等于: >= 匹配正則: =~ 不匹配正則: !~
7.Logstash 條件判斷
包含: in 不包含: not in 與: and 或: or 非與: nand 非或: xor
復合運算式: () 取反符合: !()
8.Logstash 插件:/opt/logstash/bin/logstash-plugin list #查看插件方式
9.插件
codec 類插件(常用):plain,json,json_lines,rubydebug,multiline 等
10.input file 插件
path-->指定日志檔案路徑
type-->給指定的日志檔案打標簽
start_position-->默認模式,配置第一次讀取檔案從什么地方開始
sincedb_path-->指標檔案路徑,記錄讀取檔案的位置
11.filter grok 插件:
決議各種非結構化的日志資料插件
grok 使用正則運算式把非結構化的資料結構化
在分組匹配,正則運算式需要根據具體資料結構撰寫
撰寫困難,但適用性極廣
三.filebeat 安裝配置
1.filebeat 安裝: yum -y install filebeat
2.修改組態檔:/etc/filebeat/filebeat.yml
3.開啟服務,并設定開機運行:
systemctl start filebeat
systemctl enable filebeat
轉載請註明出處，本文鏈接：https://www.uj5u.com/qita/119222.html
標籤：圖象工具使用