前文我們了解了logstash的作業流程以及基本的收集日志相關配置，回顧請參考https://www.cnblogs.com/qiuhom-1874/p/13761906.html；今天我們來了解下logstash的常用input插件和filter插件的相關配置；
先說filter插件吧，繼續上一篇博客的環境，我們配置logstash收集httpd的訪問日志；
示例：配置logstash收集日志的時間戳為日志生成時的時間戳
未配置date過濾器規則時，輸出的檔案資訊是
提示：未配置date過濾器規則時，生成的檔案中的時間戳資訊是不一樣的；@timestamp是指收集日志時的時間，timestamp是日志生成時的時間；
配置date過濾器規則，讓生成日志的時間替換收集日志時的時間
提示：以上紅框中的配置表示把timestamp欄位的時間替換@timestamp欄位的時間，時間格式為標準的格林威治時間；
驗證：啟動logstash，看看輸出的日志中的@timestamp欄位的時間是否還是收集日志的時間呢？
提示：現在收集日志的時間就變成了日志生成時的時間了；只不過一個是格林威治標準時間，一個是東八區時間，兩個時間相差8小時；這樣配置以后，對于timestamp這個欄位就顯得多余，我們可以使用remove_field去洗掉timestamp欄位即可；如下
示例：配置logstash收集httpd訪問日志，基于clientip做地理位置分析
下載GeoLite2-City資料庫到本地，這個資料庫可以去maxmind官方去下載即可，我這里已經提前下載好了，直接傳到服務器上即可；
提示：以上主要把GeoLite2-City包上傳到指定目錄，然后解壓，把GeoLite2-City.mmdb資料庫檔案在指定目錄做了一個軟連接；這樣做的原因是日后方便更新資料庫；
配置logstash過濾規則，讓其能夠基于httpd的訪問日志中的clientip做地理位置分析
提示：以上配置表示使用geoip過濾器插件，其中source表示以那個欄位的值作為ip地址分析，target表示分析后的結果保存在那個欄位上，database表示用那個資料庫檔案；
驗證：啟動logstash，看看現在輸出的檔案是否有geoip欄位？里面是否記錄了clientip的ip地址資訊呢？
提示：可以看到配置了geoip過濾器插件以后，對應的檔案中的geoip欄位就把對應的clientip的位置資訊分析后，加入到檔案中了；這樣經過logstash分析以后，我們就可以在kibana中配置區域地圖來查看訪問我們網站的客戶端分布在世界地圖的那些位置；
示例：修改欄位名稱
提示：mutate這個過濾器插件，主要對欄位做操作，支持對欄位進行增刪查改；比如對欄位重命名，如上配置；
驗證：啟動logstash，看看現在輸出的檔案中的geoip是否更改為clientipInfo了？
提示：可以看到原來的geoip欄位名稱已經修改成clientipInfo了；對于這個插件的用法還有其他操作和配置，可以去參考官方檔案中的說明進行配置；
示例：將logstash收集的資料日志資料存入redis中
準備redis服務器，然后配置redis登錄認證
[root@node04 ~]# yum install redis -y Loaded plugins: fastestmirror base | 3.6 kB 00:00:00 epel | 4.7 kB 00:00:00 extras | 2.9 kB 00:00:00 updates | 2.9 kB 00:00:00 (1/2): epel/x86_64/updateinfo | 1.0 MB 00:00:00 (2/2): epel/x86_64/primary_db | 6.9 MB 00:00:01 Loading mirror speeds from cached hostfile * base: mirrors.aliyun.com * extras: mirrors.aliyun.com * updates: mirrors.aliyun.com Resolving Dependencies --> Running transaction check ---> Package redis.x86_64 0:3.2.12-2.el7 will be installed --> Processing Dependency: libjemalloc.so.1()(64bit) for package: redis-3.2.12-2.el7.x86_64 --> Running transaction check ---> Package jemalloc.x86_64 0:3.6.0-1.el7 will be installed --> Finished Dependency Resolution Dependencies Resolved ===================================================================================================================== Package Arch Version Repository Size ===================================================================================================================== Installing: redis x86_64 3.2.12-2.el7 epel 544 k Installing for dependencies: jemalloc x86_64 3.6.0-1.el7 epel 105 k Transaction Summary ===================================================================================================================== Install 1 Package (+1 Dependent package) Total download size: 648 k Installed size: 1.7 M Downloading packages: (1/2): jemalloc-3.6.0-1.el7.x86_64.rpm | 105 kB 00:00:00 (2/2): redis-3.2.12-2.el7.x86_64.rpm | 544 kB 00:00:00 --------------------------------------------------------------------------------------------------------------------- Total 1.3 MB/s | 648 kB 00:00:00 Running transaction check Running transaction test Transaction test succeeded Running transaction Installing : jemalloc-3.6.0-1.el7.x86_64 1/2 Installing : redis-3.2.12-2.el7.x86_64 2/2 Verifying : redis-3.2.12-2.el7.x86_64 1/2 Verifying : jemalloc-3.6.0-1.el7.x86_64 2/2 Installed: redis.x86_64 0:3.2.12-2.el7 Dependency Installed: jemalloc.x86_64 0:3.6.0-1.el7 Complete! [root@node04 ~]#
配置redis監聽在本機所有地址的6379埠，并給redis設定認證口令
啟動redis
提示：可以看到redis使用我們設定的密碼是可以正常登錄到redis服務器，到此redis就準備好了；
配置logstash將收集的日志輸出到redis的5號庫中
提示：將logstash收集的日志輸出到redis，需要用到輸出插件redis，其中我們必須指定redis的主機地址，埠，密碼，資料庫，以及key和data_type；data_type是指定存放到redis是一那種資料結構存盤，list表示存盤為串列；我們知道串列有一個屬性就是從串列取出資料以后，串列里對應的資料就會消失，這樣一來當有多個logstash在redis中取資料時不會取到重復資料；
驗證組態檔語法
啟動logstash，然后去redis中驗證，看看5號庫中是否有我們定義key生成，對應key中是否有日志資料？
去redis上查看5號庫的情況
提示：在redis的5號庫中可以看到logstash上配置的key的名稱，對應key里有資料；
示例：配置logstash從redis中讀資料
redis環境還是上面的環境，我們重新開一個服務器，把logstash安裝上，logstash的安裝請參考上一篇博客https://www.cnblogs.com/qiuhom-1874/p/13761906.html；
提示：以上配置我們需要在input里配置，用redis輸入插件，并明確指定redis的主機，埠，密碼，資料庫，key,以及資料型別；上面在node05上配置logstash將從redis的5號庫采集資料，然后將資料輸出到/root/目錄下的test.log中；
驗證組態檔語法
啟動logstash,然后去node05上看對應目錄下的檔案是否有資料產生？redis對應庫里的資料是否有減少？
提示：可以看到啟動logstash,它啟動了一個執行緒去redis中讀資料，然后有啟動了一個執行緒把資料寫到/root/test.log中；
驗證：在node05上查看/root目錄下是否有test.log生成？對應檔案中是否有內容？
提示：可以看到node05的/root目錄下有test.log生成，并且里面也有資料，資料也是從redis里拿的日志資料；
驗證：到node04上的redis中查看對應庫中的資料是否在減少？
提示：在redis的5號庫可以看到logstash在取資料，對應串列的資料在依次減少，最后當logstash把對應串列資料取完以后，對應的串列也就隨之洗掉；
示例：配置logstash收集haproxy發送給rsyslog的日志
安裝haproxy
[root@node03 ~]# yum install haproxy Loaded plugins: fastestmirror base | 3.6 kB 00:00:00 epel | 4.7 kB 00:00:00 extras | 2.9 kB 00:00:00 updates | 2.9 kB 00:00:00 Loading mirror speeds from cached hostfile * base: mirrors.aliyun.com * extras: mirrors.aliyun.com * updates: mirrors.aliyun.com Resolving Dependencies --> Running transaction check ---> Package haproxy.x86_64 0:1.5.18-9.el7 will be installed --> Finished Dependency Resolution Dependencies Resolved ===================================================================================================================== Package Arch Version Repository Size ===================================================================================================================== Installing: haproxy x86_64 1.5.18-9.el7 base 834 k Transaction Summary ===================================================================================================================== Install 1 Package Total download size: 834 k Installed size: 2.6 M Is this ok [y/d/N]: y Downloading packages: haproxy-1.5.18-9.el7.x86_64.rpm | 834 kB 00:00:00 Running transaction check Running transaction test Transaction test succeeded Running transaction Installing : haproxy-1.5.18-9.el7.x86_64 1/1 Verifying : haproxy-1.5.18-9.el7.x86_64 1/1 Installed: haproxy.x86_64 0:1.5.18-9.el7 Complete! [root@node03 ~]#
配置haproxy將日志發送給rsyslog
配置rsyslog把local2的日志發送給node05的517埠（這個埠是一個任意埠，只要在node05上不沖突就好）
重啟rsylog和haproxy
配置node05上的logstash，使用輸入插件rsyslog監聽517埠
驗證組態檔語法
啟動logstash
提示：可以看到logstash啟動了兩個執行緒監聽了udp的517埠和tcp517埠
訪問haproxy
看看對應的標準輸出中是否會列印haproxy的日志呢？
提示：可以看到在node05的標準輸出上能夠看到訪問haproxy的日志列印；
示例：配置logstash收集tcp某個埠的資料
驗證組態檔語法，沒有問題就直接啟動logstash
驗證：在其他主機上利用nc向node05的52113發送資料，看看node05上是否會列印我們發送到資訊內容？
提示：如果沒有nc命令，直接使用yum install nc 即可；
提示：在node05上是能夠看到從node01發送過來的訊息；
好了，以上是logstash的常用插件的配置，當然還有很多很多，用到那個不會可以去官方檔案查找相關插件檔案說明進行配置即可；官方檔案https://www.elastic.co/guide/en/logstash-versioned-plugins/current/index.html；
轉載請註明出處，本文鏈接：https://www.uj5u.com/caozuo/152719.html
標籤：其他