logstash 2.3.1版本
輸出到es中的時候無法指定輸出欄位,比如默認有message @version @timestamp path等欄位,在對message和path用多個filter處理后生成一個hash型別的欄位,我希望輸出只有此hash型別的欄位
官方檔案中可以在配置中設定codec,然而我設定為(toElasticsearch為我處理后生成的hash欄位)
codec => plain {
format => "%{toElasticsearch}"
}
在kafka output中用同樣的codec可以看到輸出為一個標準的json格式,說明codec在es的配置中沒有起作用,對es還不是很熟悉,有辦法指定輸出欄位嗎,有的話是配置template或者其他?
欄位挺多的,有四十多個,還沒有嘗試過配置template。
elasticsearch {
codec => plain {
format => "%{toElasticsearch}"
}
hosts => ["172.16.17.107"]
index => "cmcc_viewlog_%{+yyyyMMdd}"
document_type => "%{document_type}"
template_name => "cmcc_viewlog"
template => "/opt/fonsview/3RD/logstash-2.3.1/conf/cmcc_viewlog.json"
template_overwrite => true
}
在cmcc_viewlog.json中只定義了一些通用的template
uj5u.com熱心網友回復:
遇到同樣問題,求教求教uj5u.com熱心網友回復:
我也想把"message","agent.*","cloud.*","host.*"這些欄位不輸出。雖然_source 可以加過濾條件讓這些欄位不加到_source中,但是我想直接這些欄位就不輸出到es中. 望高手指點。轉載請註明出處,本文鏈接:https://www.uj5u.com/shujuku/60861.html
標籤:其他數據庫
