我為logstash撰寫了一個apache.conf檔案,如下所示:
input
{
file {
path => "E:\ferdowsi-data\data\logs\logs"
start_position => "beginning"
}
}
filter
{
grok{
match => {
"message" => "%{COMBINEDAPACHELOG}"
}
}
mutate{
convert => { "bytes" => "integer" }
}
date {
match => [ "timestamp", "dd/MMM/YYYY:HH:mm:ss Z" ]
locale => en
remove_field => "timestamp"
}
geoip {
source => "clientip"
}
useragent {
source => "agent"
target => "useragent"
}
}
output
{
stdout {
codec => dots
}
elasticsearch {
hosts => ["http://localhost:9200/"]
}
}
在elasticsearch & kibana 設定之后,我運行了以下命令:
bin\logstash.bat -f E:\ferdowsi-data\data\apache.conf
但我在 cmd 中得到了這個結果:
使用 JAVA_HOME 定義的 java:C:\Program Files\Java\jdk-15.0.2 警告,使用 JAVA_HOME 而 Logstash 發行版帶有捆綁的 JDK 將 Logstash 日志發送到 E:/ferdowsi-data/logstash-7.15.1-windows-x86_64 /logstash-7.15.1/logs 現在通過 log4j2.properties [2021-11-02T19:34:53,285][INFO][logstash.runner] 使用的 Log4j 配置路徑是:E:\ferdowsi-data\logstash- 7.15.1-windows-x86_64\logstash-7.15.1\config\log4j2.properties [2021-11-02T19:34:53,307][INFO][logstash.runner] 啟動 Logstash {"logstash.version"=>"7.15 .1", "jruby.version"=>"jruby 9.2.19.0 (2.5.8) 2021-06-15 55810c552b Java HotSpot(TM) 64 位服務器 VM 15.0.2 7-27 on 15.0.2 7 -27 indy jit [mswin32-x86_64]"} [2021-11-02T19:34:53,532][WARN][logstash.config.source.multilocal] 忽略'pipelines.yml' 檔案,因為指定了模塊或命令列選項 [2021-11-02T19:34:59,861][INFO][logstash.agent] 成功啟動 Logstash API 端點 {:port=>9600} [2021-11-02T19 :35:01,963][INFO][org.reflections.Reflections] 反射用了 254 毫秒來掃描 1 個 url,產生 120 個鍵和 417 個值 [2021-11-02T19:35:08,699][INFO][logstash.outputs.elasticsearch. ][main] 新的 Elasticsearch 輸出 {:class=>"LogStash::Outputs::ElasticSearch", :hosts=>["http://localhost:9200/"]} [2021-11-02T19:35:09,667] [資訊][logstash.outputs.elasticsearch][main] Elasticsearch 池 URL 更新 {:changes=>{:removed=>[], : added=>[http://localhost:9200/]}} [2021-11 -02T19:35:10,034][WARN][logstash.outputs.elasticsearch][main] 恢復到 ES 實體的連接 {:url=>"http://localhost:9200/"} [2021-11-02T19:35:10,221][INFO][logstash.outputs.elasticsearch][main] Elasticsearch 版本確定 (7.15.1) {:es_version=>7} [2021-11-02T19:35:10,228 ][WARN ][logstash.outputs.elasticsearch][main] 檢測到一個 6.x 及以上的集群:
type事件欄位不會用于確定檔案 _type {:es_version=>7} [2021-11-02T19:35:10,425][WARN][logstash.outputs.elasticsearch][main] 配置符合資料流,但由于向后兼容性 Logstash 7.x 不會假設寫入資料流,Logstash 8.0 上的默認行為將更改(設定data_stream => true/false為禁用此警告)[2021-11-02T19:35:10,425][WARN][logstash.outputs.elasticsearch ][main] 配置與資料流兼容,但由于向后兼容 Logstash 7.x 不會假設寫入資料流,Logstash 8.0 上的默認行為將更改(設定data_stream => true/false禁用此警告)[2021-11-02T19:35:10,517][INFO][logstash.outputs.elasticsearch][main] 使用默認映射模板 {:es_version=>7, :ecs_compatibility=>:disabled} [2021 -11-02T19:35:11,548][WARN][org.logstash.instrument.metrics.gauge.LazyDelegatingGauge][main] 一個未知型別 (org.jruby.RubySymbol) 的儀表指標已被創建用于 key: status。這可能會導致無效的序列化。建議將問題記錄到負責的開發人員/開發團隊。[2021-11-02T19:35:11,553][WARN][org.logstash.instrument.metrics.gauge.LazyDelegatingGauge][main] 已為密鑰創建了一個未知型別 (org.jruby.RubySymbol) 的規范指標:地位。這可能會導致無效的序列化。建議將問題記錄到負責的開發人員/開發團隊。[2021-11-02T19:35:11,595][警告][org.logstash。[instrument.metrics.gauge.LazyDelegatingGauge] 已為 key: status 創建了一個未知型別 (org.jruby.RubySymbol) 的儀表指標。這可能會導致無效的序列化。建議將問題記錄到負責的開發人員/開發團隊。[2021-11-02T19:35:16,863][ERROR][logstash.filters.geoip.databasemanager] 連接到 geoip.elastic.co:443 [geoip.elastic.co/104.154.207.153] 失敗:連接超時 {:原因=>org.apache.http.conn.ConnectTimeoutException:連接到 geoip.elastic.co:443 [geoip.elastic.co/104.154.207.153] 失敗:連接超時} [2021-11-02T19:35:17,111] [資訊][logstash.filters.geoip][main] 使用 geoip 資料庫 {:path=>"E:/ferdowsi-data/logstash-7.15.1-windows-x86_64/logstash-7.15.1/data/plugins/filters /geoip/CC/GeoLite2-City.mmdb"} [2021-11-02T19:35:18,035][INFO][logstash.
不幸的是,elasticsearch 中沒有索引任何內容。我該如何解決?我的配置是:
Windows 10
elasticsearch 7.15.1
logstash 7.15.1
kibana 7.15.1
uj5u.com熱心網友回復:
不要在路徑選項中使用反斜杠,它被視為轉義符,因此 logstash 正在等待創建檔案“E:ferdowsi-datadatalogslogs”。使用正斜杠或雙反斜杠。
path => "E:/ferdowsi-data/data/logs/logs"
轉載請註明出處,本文鏈接:https://www.uj5u.com/qukuanlian/348849.html
上一篇:ElasticSearchPainlessScripts-欄位背景關系不允許文本欄位-什么背景關系只添加文本欄位?
