前文我們聊解了什么是elk，elk中的elasticsearch集群相關組件和集群搭建以及es集群常用介面的說明和使用，回顧請查看考https://www.cnblogs.com/qiuhom-1874/p/13758006.html；今天我們來了解下ELK中的日志收集器logstash；
logstash的作業原理類似Linux里的rsyslog，首先logstash會有一個資料輸入源，也就是logstash去哪里采集資料，它的采集資料來源很多，比如從檔案中采集，從某個tcp/udp埠采集，從redis的訊息佇列中采集，kafka啊、標準輸入等等；它和rsyslog不同的是，rsyslog是把日志資料從一個地方轉到另一個地方，中間不會去處理日志的格式，采集回來是什么樣就是什么樣；而logstash不一樣，logstash它可以把采集回來的日志做格式化，以不同的編碼形式向外輸出；比如把nginx的日志采集回來，它可以以json格式輸出；同時它還可以處理采集回來的日志，比如忽略某些欄位的輸出，把原有日志格式做切分；把原來不是json格式的日志，通過輸出規則轉換為json格式的日志；總體流程圖如下
提示：以上流程圖主要表示logstash采集資料和處理資料內部的一個流程；從上面的流程不難想象，logstash就是把一個資料采集回來，通過內部定義的處理規則，然后通過output規則輸出到指定地方的一個插件；
安裝logstash
logstash的運行方式有兩種，第一種以agint的方式運行在資料源所在服務器上采集資料，然后輸出到指定地方；第二種是以server方式獨立運行在一個服務器上，接受filebeat從資料源發送過來的資料，然后在輸出到其他地方；logstash的運行以來jdk,所以首先要在運行jdk的服務器上安裝jdk;logstash的版本最好同ELK中的其他組件版本一樣；
安裝jdk
yum install -y java-1.8.0-openjdk-devel
匯出JAVA_HOME環境變數
下載logstash-6.8.12.rpm包
[root@node03 ~]# wget https://artifacts.elastic.co/downloads/logstash/logstash-6.8.12.rpm --2020-10-02 15:01:14-- https://artifacts.elastic.co/downloads/logstash/logstash-6.8.12.rpm Resolving artifacts.elastic.co (artifacts.elastic.co)... 151.101.230.222, 2a04:4e42:36::734 Connecting to artifacts.elastic.co (artifacts.elastic.co)|151.101.230.222|:443... connected. HTTP request sent, awaiting response... 200 OK Length: 177059640 (169M) [application/octet-stream] Saving to: ‘logstash-6.8.12.rpm’ 100%[==========================================================================>] 177,059,640 136MB/s in 1.2s 2020-10-02 15:01:15 (136 MB/s) - ‘logstash-6.8.12.rpm’ saved [177059640/177059640] [root@node03 ~]#
安裝logstash-6.8.12.rpm
[root@node03 ~]# ll total 172912 -rw-r--r-- 1 root root 177059640 Aug 18 19:41 logstash-6.8.12.rpm [root@node03 ~]# yum install ./logstash-6.8.12.rpm Loaded plugins: fastestmirror Examining ./logstash-6.8.12.rpm: 1:logstash-6.8.12-1.noarch Marking ./logstash-6.8.12.rpm to be installed Resolving Dependencies --> Running transaction check ---> Package logstash.noarch 1:6.8.12-1 will be installed --> Finished Dependency Resolution Dependencies Resolved =================================================================================================================================== Package Arch Version Repository Size =================================================================================================================================== Installing: logstash noarch 1:6.8.12-1 /logstash-6.8.12 294 M Transaction Summary =================================================================================================================================== Install 1 Package Total size: 294 M Installed size: 294 M Is this ok [y/d/N]: y Downloading packages: Running transaction check Running transaction test Transaction test succeeded Running transaction Installing : 1:logstash-6.8.12-1.noarch 1/1 Using provided startup.options file: /etc/logstash/startup.options /usr/share/logstash/vendor/bundle/jruby/2.5.0/gems/pleaserun-0.0.31/lib/pleaserun/platform/base.rb:112: warning: constant ::Fixnum is deprecated Successfully created system startup script for Logstash Verifying : 1:logstash-6.8.12-1.noarch 1/1 Installed: logstash.noarch 1:6.8.12-1 Complete! [root@node03 ~]#
提示：logstash安裝生成的檔案超級多，其中主組態檔是/etc/logstash/lostash.yml，配置日志收集規則、過濾規則、輸出規則的檔案通常放在/etc/logstash/conf.d/目錄下以.conf結尾的檔案；其實主組態檔基本不用動，我們直接在/etc/logstash/conf.d/目錄下編輯日志收集規則組態檔，然后啟動logstash即可；
示例：撰寫組態檔，定義logstash從標準輸入收集資料，輸出到標準輸出；
[root@node03 ~]# cat /etc/logstash/conf.d/stdin-stdout.conf
input {
stdin {}
}
output {
stdout {}
}
[root@node03 ~]#
提示：logstash資料收集組態檔格式是input {} output{}，其中input 用來定義資料源輸入的配置，其中里面stdin {}表示使用標準輸入插件采集資料；同樣output用于定義資料輸出的，stdout表示把input里定義的資料采集采集到的資料輸出到output里定義的輸出位置；以上配置就表示把標準輸入采集到資料，輸出到標準輸出；
檢查組態檔語法是否正確
提示：-f用于指定組態檔，-t表示檢查指定組態檔的語法是否正確；configuration ok表示指定組態檔語法正確；
驗證：啟動logstash，在標準輸入中輸入資料，看看是否會把我們輸入的資料輸出到標準輸出呢？
提示：可以看到當我們指定logstash以/etc/logstash/conf.d/stdin-stdout.conf組態檔啟動，在標準輸入中輸入了hello world，它輸出了一個json格式的資訊，其中message欄位就是我們輸入的內容；它這個默認輸出就是用的rubydebug的格式向外輸出；當然我們可以在輸出里用codec來指定輸出以那種格式輸出；
示例：指定輸出格式用json格式輸出
驗證：啟動logstash，看看輸出是否是json格式呢？
提示：可以看到當我們在組態檔中指定輸出編碼是json格式以后，啟動logstash看到logstash輸出格式就是以json格式輸出了；
示例：配置logstash從檔案中采集資料，輸出到標準輸出，輸出格式為rubydebug
提示：以上配置表示從/var/log/test.log中采集資料，開始采集位置上檔案最開始處，型別為test.log，輸出以rubydebug格式輸出到標準輸出；
驗證：以/etc/logstash/conf.d/file-stdout.conf啟動logstash，看看完test.log中追加內容，它是否會輸出到標準輸出呢？
提示：現在啟動logstash，可以看到標準輸出上沒有輸出內容，原因是我們指定的檔案現在沒有資料，所以它沒有什么資料采集；
向/var/log/test.log中追加資料，看看在標準輸出中是否會有對應的內容以我們在組態檔中指定的格式輸出呢？
提示：可以看到我們在另外一個終端向/var/log/test.log中追加資料，在標準輸出中可看到logstash把對應檔案中的資料采集到，并輸出到標準輸出；
示例：收集httpd的日志到es集群中；
啟動logstash，然后訪問httpd，看看對應的es集群中是否有日志生成？
提示：啟動logstash以后，可以看到對應列印的日志，已經將我們的配置讀取并應用了；
訪問httpd，然后到es上查看對應的日志資訊是否有？
提示：可以看到在es集群中有對應的index生成，并且里面內容也是我們訪問httpd的日志；從上面收集的日志來看，它是把日志內容當作message欄位一個欄位輸出，通常這不是我們想要的結果，這樣收集的日志，對我們來說沒有太大的意義；我們需要讓logstash幫我們處理，把日志內容切分成多個欄位，然后再輸出；
示例：配置logstash切分日志，然后保存到es集群
提示：logstash處理日志依賴filter插件，其中grok是filter的核心插件，它內置了很多正則運算式，對常用的的日志做精準匹配；以上filter插件主要做了兩件事，第一把message欄位通過內部的HTTPD_COMBINDLOG做了欄位切分；第二件事，把原有的message欄位洗掉，避免同一資料多次收集；
驗證：檢查組態檔語法，然后啟動logstash
啟動logstash
清空原有訪問日志，然后訪問httpd
在es上查看收集的日志
提示：可以看到在es上收集到的日志，就把message欄位拆分成不同的欄位的json格式了；
轉載請註明出處，本文鏈接：https://www.uj5u.com/caozuo/149037.html
標籤：Linux
上一篇：GCC編譯命令的學習