作者：廢物大師兄
來源：www.cnblogs.com/cjsblog/p/9445792.html
Logstash介紹
Logstash是一個開源資料收集引擎，具有實時管道功能，
Logstash可以動態地將來自不同資料源的資料統一起來，并將資料標準化到你所選擇的目的地，
集中、轉換和存盤你的資料
Logstash是一個開源的服務器端資料處理管道，可以同時從多個資料源獲取資料，并對其進行轉換，然后將其發送到你最喜歡的“存盤”，（當然，我們最喜歡的是Elasticsearch）
輸入：采集各種樣式、大小和來源的資料
資料往往以各種各樣的形式，或分散或集中地存在于很多系統中，Logstash 支持各種輸入選擇 ，可以在同一時間從眾多常用來源捕捉事件，能夠以連續的流式傳輸方式，輕松地從您的日志、指標、Web 應用、資料存盤以及各種 AWS 服務采集資料，
過濾器：實時決議和轉換資料
資料從源傳輸到存盤庫的程序中，Logstash 過濾器能夠決議各個事件，識別已命名的欄位以構建結構，并將它們轉換成通用格式，以便更輕松、更快速地分析和實作商業價值，
Logstash 能夠動態地轉換和決議資料，不受格式或復雜度的影響：
- 利用 Grok 從非結構化資料中派生出結構
- 從 IP 地址破譯出地理坐標
- 將 PII 資料匿名化，完全排除敏感欄位
- 整體處理不受資料源、格式或架構的影響
輸出：選擇你的存盤，匯出你的資料
盡管 Elasticsearch 是我們的首選輸出方向，能夠為我們的搜索和分析帶來無限可能，但它并非唯一選擇，
Logstash 提供眾多輸出選擇，您可以將資料發送到您要指定的地方，并且能夠靈活地解鎖眾多下游用例，
安裝Logstash
首先，讓我們通過最基本的Logstash管道來測驗一下剛才安裝的Logstash
Logstash管道有兩個必需的元素，輸入和輸出，以及一個可選元素過濾器，輸入插件從資料源那里消費資料，過濾器插件根據你的期望修改資料，輸出插件將資料寫入目的地，
接下來，允許Logstash最基本的管道，例如：
bin/logstash -e 'input { stdin {} } output { stdout {} }'
（畫外音：選項 -e 的意思是允許你從命令列指定配置）
啟動以后，下面我們在命令列下輸入"hello world"
用Logstash決議日志
在上一小節中，你已經創建了一個基本的Logstash管道來測驗你的Logstash設定，在現實世界中，一個Logstash管理會稍微復雜一些：它通常有一個或多個input, filter 和 output 插件，
在這一小節中，你將創建一個Logstash管道，并且使用Filebeat將Apache Web日志作為input，決議這些日志，然后將決議的資料寫到一個Elasticsearch集群中，你將在組態檔中定義管道，而不是在命令列中定義管道配置，
配置Filebeat來發送日志行到Logstash
在你創建Logstash管道之前，你需要先配置Filebeat來發送日志行到Logstash，Filebeat客戶端是一個輕量級的、資源友好的工具，它從服務器上的檔案中收集日志，并將這些日志轉發到你的Logstash實體以進行處理，Filebeat設計就是為了可靠性和低延遲，Filebeat在主機上占用的資源很少，而且Beats input插件將對Logstash實體的資源需求降到最低，
（畫外音：注意，在一個典型的用例中，Filebeat和Logstash實體是分開的，它們分別運行在不同的機器上，在本教程中，Logstash和Filebeat在同一臺機器上運行，）
第1步：配置filebeat.yml
filebeat.inputs:
- type: log
paths:
- /usr/local/programs/logstash/logstash-tutorial.log
output.logstash:
hosts: ["localhost:5044"]
第2步：在logstash安裝目錄下新建一個檔案first-pipeline.conf
（畫外音：剛才說過了通常Logstash管理有三部分（輸入、過濾器、輸出），這里input下面beats { port => "5044" }的意思是用Beats輸入插件，而stdout { codec => rubydebug }的意思是輸出到控制臺）
第3步：檢查配置并啟動Logstash
bin/logstash -f first-pipeline.conf --config.test_and_exit
（畫外音：--config.test_and_exit選項的意思是決議組態檔并報告任何錯誤）
bin/logstash -f first-pipeline.conf --config.reload.automatic
（畫外音：--config.reload.automatic選項的意思是啟用自動配置加載，以至于每次你修改完組態檔以后無需停止然后重啟Logstash）
第4步：啟動filebeat
./filebeat -e -c filebeat.yml -d "publish"
如果一切正常，你將會在Logstash控制臺下看到類似這樣的輸出：
用Grok過濾器插件決議日志
現在你有了一個作業管道，可以從Filebeat讀取日志行，但是你可能已經注意到日志訊息的格式并不理想，你想要決議日志訊息，以便從日志中創建特定的、命名的欄位，為此，您將使用grok filter插件，
grok 過濾器插件是Logstash中默認可用的幾個插件之一，
grok 過濾器插件允許你將非結構化日志資料決議為結構化和可查詢的資料，
因為 grok 過濾器插件在傳入的日志資料中查找模式
為了決議資料，你可以用 %{COMBINEDAPACHELOG} grok pattern ，這種模式（或者說格式）的schema如下：
接下來，編輯first-pipeline.conf檔案，加入grok filter，在你修改完以后這個檔案看起來應該是這樣的：
在你保存完以后，因為你已經啟動了自動加載配置，所以你不需要重啟Logstash來應用你的修改，但是，你確實需要強制Filebeat從頭讀取日志檔案，為了這樣做，你需要在終端先按下Ctrl+C停掉Filebeat，然后洗掉Filebeat注冊檔案，例如：
rm data/registr
然后重啟Filebeat
./filebeat -e -c filebeat.yml -d "publish"
此時，再看Logstash控制臺，輸出可能是這樣的：
用 Geoip 過濾器插件增強你的資料
然后，同樣地，重啟Filebeat
Ctrl+C
rm data/registry
./filebeat -e -c filebeat.yml -d "publish"
再次查看Logstash控制臺，我們會發現多了地理位置資訊：
索引你的資料到Elasticsearch
在之前的配置中，我們配置了Logstash輸出到控制臺，現在我們讓它輸出到Elasticsearch集群，
編輯first-pipeline.conf檔案，替換output區域為：
output {
elasticsearch {
hosts => [ "localhost:9200" ]
}
}
在這段配置中，Logstash用http協議連接到Elasticsearch，而且假設Logstash和Elasticsearch允許在同一臺機器上，你也可以指定一個遠程的Elasticsearch實體，比如host=>["es-machine:9092"]
現在，first-pipeline.conf檔案是這樣的：
同樣，保存改變以后，重啟Filebeat
（畫外音：首先，Ctrl+C終止Filebeat；接著rm data/registry洗掉注冊檔案；最后，./filebeat -e -c filebeat.yml -d "publish" 啟動Filebeat）
好了，接下來啟動Elasticsearch
（畫外音：查看Elasticsearch索引，如果沒有看到logstash的索引，那么重啟Filebeat和Logstash，重啟之后應該就可以看到了）
如果一切正常的話，可以在Elasticsearch的控制臺日志中看到這樣的輸出：
[2018-08-11T17:35:27,871][INFO ][o.e.c.m.MetaDataIndexTemplateService] [Px524Ts] adding template [logstash] for index patterns [logstash-*]
[2018-08-11T17:46:13,311][INFO ][o.e.c.m.MetaDataCreateIndexService] [Px524Ts] [logstash-2018.08.11] creating index, cause [auto(bulk api)], templates [logstash], shards [5]/[1], mappings [_default_]
[2018-08-11T17:46:13,549][INFO ][o.e.c.m.MetaDataMappingService] [Px524Ts] [logstash-2018.08.11/pzcVdNxSSjGzaaM9Ib_G_w] create_mapping [doc]
[2018-08-11T17:46:13,722][INFO ][o.e.c.m.MetaDataMappingService] [Px524Ts] [logstash-2018.08.11/pzcVdNxSSjGzaaM9Ib_G_w] update_mapping [doc]
這個時候，我們再查看Elasticsearch的索引
請求：
curl 'localhost:9200/_cat/indices?v'
回應：
health status index uuid pri rep docs.count docs.deleted store.size pri.store.size
yellow open bank 59jD3B4FR8iifWWjrdMzUg 5 1 1000 0 475.1kb 475.1kb
green open .kibana DzGTSDo9SHSHcNH6rxYHHA 1 0 153 23 216.8kb 216.8kb
yellow open filebeat-6.3.2-2018.08.08 otgYPvsgR3Ot-2GDcw_Upg 3 1 255 0 63.7kb 63.7kb
yellow open customer DoM-O7QmRk-6f3Iuls7X6Q 5 1 1 0 4.5kb 4.5kb
yellow open logstash-2018.08.11 pzcVdNxSSjGzaaM9Ib_G_w 5 1 100 0 251.8kb 251.8kb
可以看到有一個名字叫"logstash-2018.08.11"的索引，其它的索引都是之前建的不用管
接下來，查看這個索引下的檔案
請求：
curl -X GET 'localhost:9200/logstash-2018.08.11/_search?pretty&q=response=200'
回應大概是這樣的：
（畫外音：由于輸出太長了，這里截取部分）
{
"_index" : "logstash-2018.08.11",
"_type" : "doc",
"_id" : "D_JhKGUBOuOlYJNtDfwl",
"_score" : 0.070617564,
"_source" : {
"host" : {
"name" : "localhost.localdomain"
},
"httpversion" : "1.1",
"ident" : "-",
"message" : "83.149.9.216 - - [04/Jan/2015:05:13:42 +0000] \"GET /presentations/logstash-monitorama-2013/images/kibana-search.png HTTP/1.1\" 200 203023 \"http://semicomplete.com/presentations/logstash-monitorama-2013/\" \"Mozilla/5.0 (Macintosh; Intel Mac OS X 10_9_1) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/32.0.1700.77 Safari/537.36\"",
"auth" : "-",
"timestamp" : "04/Jan/2015:05:13:42 +0000",
"input" : {
"type" : "log"
},
"geoip" : {
"postal_code" : "101194",
"region_name" : "Moscow",
"timezone" : "Europe/Moscow",
"continent_code" : "EU",
"city_name" : "Moscow",
"country_code3" : "RU",
"country_name" : "Russia",
"ip" : "83.149.9.216",
"country_code2" : "RU",
"region_code" : "MOW",
"latitude" : 55.7485,
"longitude" : 37.6184,
"location" : {
"lon" : 37.6184,
"lat" : 55.7485
}
},
"@timestamp" : "2018-08-11T09:46:10.209Z",
"offset" : 0,
"tags" : [
"beats_input_codec_plain_applied"
],
"beat" : {
"version" : "6.3.2",
"hostname" : "localhost.localdomain",
"name" : "localhost.localdomain"
},
"clientip" : "83.149.9.216",
"@version" : "1",
"verb" : "GET",
"request" : "/presentations/logstash-monitorama-2013/images/kibana-search.png",
"prospector" : {
"type" : "log"
},
"referrer" : "\"http://semicomplete.com/presentations/logstash-monitorama-2013/\"",
"response" : "200",
"bytes" : "203023",
"source" : "/usr/local/programs/logstash/logstash-tutorial.log",
"agent" : "\"Mozilla/5.0 (Macintosh; Intel Mac OS X 10_9_1) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/32.0.1700.77 Safari/537.36\""
}
}
再來一個
請求：
curl -XGET 'localhost:9200/logstash-2018.08.11/_search?pretty&q=geoip.city_name=Buffalo'
回應：
{
"took" : 37,
"timed_out" : false,
"_shards" : {
"total" : 5,
"successful" : 5,
"skipped" : 0,
"failed" : 0
},
"hits" : {
"total" : 2,
"max_score" : 2.6855774,
"hits" : [
{
"_index" : "logstash-2018.08.11",
"_type" : "doc",
"_id" : "DvJhKGUBOuOlYJNtDPw7",
"_score" : 2.6855774,
"_source" : {
"host" : {
"name" : "localhost.localdomain"
},
"httpversion" : "1.1",
"ident" : "-",
"message" : "198.46.149.143 - - [04/Jan/2015:05:29:13 +0000] \"GET /blog/geekery/solving-good-or-bad-problems.html?utm_source=feedburner&utm_medium=feed&utm_campaign=Feed%3A+semicomplete%2Fmain+%28semicomplete.com+-+Jordan+Sissel%29 HTTP/1.1\" 200 10756 \"-\" \"Tiny Tiny RSS/1.11 (http://tt-rss.org/)\"",
"auth" : "-",
"timestamp" : "04/Jan/2015:05:29:13 +0000",
"input" : {
"type" : "log"
},
"geoip" : {
"postal_code" : "14202",
"region_name" : "New York",
"timezone" : "America/New_York",
"continent_code" : "NA",
"city_name" : "Buffalo",
"country_code3" : "US",
"country_name" : "United States",
"ip" : "198.46.149.143",
"dma_code" : 514,
"country_code2" : "US",
"region_code" : "NY",
"latitude" : 42.8864,
"longitude" : -78.8781,
"location" : {
"lon" : -78.8781,
"lat" : 42.8864
}
},
"@timestamp" : "2018-08-11T09:46:10.254Z",
"offset" : 22795,
"tags" : [
"beats_input_codec_plain_applied"
],
"beat" : {
"version" : "6.3.2",
"hostname" : "localhost.localdomain",
"name" : "localhost.localdomain"
},
"clientip" : "198.46.149.143",
"@version" : "1",
"verb" : "GET",
"request" : "/blog/geekery/solving-good-or-bad-problems.html?utm_source=feedburner&utm_medium=feed&utm_campaign=Feed%3A+semicomplete%2Fmain+%28semicomplete.com+-+Jordan+Sissel%29",
"prospector" : {
"type" : "log"
},
"referrer" : "\"-\"",
"response" : "200",
"bytes" : "10756",
"source" : "/usr/local/programs/logstash/logstash-tutorial.log",
"agent" : "\"Tiny Tiny RSS/1.11 (http://tt-rss.org/)\""
}
},
，，，
命令列啟動Logstash
為了從命令列啟動Logstash，用下面的命令：
bin/logstash [options]
下面的例子展示了啟動Logstash，并制定配置定義在mypipeline.conf檔案中：
bin/logstash -f mypipeline.conf
在命令列中設定的任何標志都會覆寫logstash.yml中的相應設定，但是檔案本身的內容沒有改變，
Command-Line Flags
--node.name NAME
指定Logstash實體的名字，如果沒有指定的話，默認是當前主機名，
-f, --path.config CONFIG_PATH
從指定的檔案或者目錄加載Logstash配置，如果給定的是一個目錄，則該目錄中的所有檔案將以字典順序連接，然后作為一個組態檔進行決議，
-e, --config.string CONFIG_STRING
用給定的字串作為配置資料，語法和組態檔中是一樣的，
--modules
運行的模塊名字
-l, --path.logs PATH
Logstash內部日志輸出目錄
--log.level LEVEL
日志級別
-t, --config.test_and_exit
檢查配置語法是否正確并退出
-r, --config.reload.automatic
監視組態檔的改變，并且當組態檔被修改以后自動重新加載組態檔，
-config.reload.interval RELOAD_INTERVAL
為了檢查組態檔是否改變，而拉去組態檔的頻率，默認3秒，
--http.host HTTP_HOST
Web API系結的主機，REST端點系結的地址，默認是"127.0.0.1"
--http.port HTTP_PORT
Web API http埠，REST端點系結的埠，默認是9600-9700之間，
--log.format FORMAT
指定Logstash寫它自身的使用JSON格式還是文本格式，默認是"plain"，
--path.settings SETTINGS_DIR
設定包含logstash.yml組態檔的目錄，比如log4j日志配置，也可以設定LS_SETTINGS_DIR環境變數，默認的配置目錄是在Logstash home目錄下，
-h, --help
列印幫助
好了，關于Logstash介紹暫時先寫這么多吧！ 感謝用心的自己！！！
近期熱文推薦：
1.Java 15 正式發布， 14 個新特性，重繪你的認知！！
2.終于靠開源專案弄到 IntelliJ IDEA 激活碼了，真香！
3.我用 Java 8 寫了一段邏輯，同事直呼看不懂，你試試看，，
4.吊打 Tomcat ，Undertow 性能很炸！！
5.《Java開發手冊（嵩山版）》最新發布，速速下載！
覺得不錯，別忘了隨手點贊+轉發哦！
轉載請註明出處，本文鏈接：https://www.uj5u.com/houduan/256290.html
標籤：Java