通過filebeat、logstash、rsyslog采集nginx日志的幾種方式

由于nginx功能強大，性能突出，越來越多的web應用采用nginx作為http和反向代理的web服務器，而nginx的訪問日志不管是做用戶行為分析還是安全分析都是非常重要的資料源之一，如何有效便捷的采集nginx的日志進行有效的分析成為大家關注的問題，本文通過幾個實體來介紹如何通過filebeat、logstash、rsyslog采集nginx的訪問日志和錯誤日志，

大家都知道ELK技術堆疊是采集、分析日志的利器，所以這里介紹的是從nginx采集日志到ES，當然至于日志采集以后存到看大家的需要，通過logstash可以方便的配置日志輸出存盤的方式，

一般來說nginx默認安裝后，日志檔案在 /usr/local/nginx/logs 目錄下，分別有 access.log和error.log 訪問日志和錯誤日志，
這次示例Elasitcsearch是三個節點組成的集群172.28.65.22、172.28.65.23、172.28.65.24，172.28.65.30 是kibana的地址，172.28.65.32是資料采集服務器，上面裝有logstash、nginx、 filebeat，一般來說采集服務器上有logstash，而nginx、 filebeat應該是裝在采集目標上，

一、直接通過filebeat采集日志到ES

在filebeat的安裝目錄找到filebeat.yml 配置獲取日志檔案的路徑及輸出到ES的配置，
具體：

- type: log
  # Change to true to enable this input configuration.
  enabled: true
  # Paths that should be crawled and fetched. Glob based paths.
  paths:
    #- /var/log/*.log
    - /usr/local/nginx/logs/*.log
    #- c:\programdata\elasticsearch\logs\*

如果需要在kibana中友好顯示的化，可進行kibana配置

輸出到es中，在hosts中配置好你的ES服務地址，如果單機只有一個節點，就可以只配一個ip和埠，

啟動filebeat 進行日志資料采集

./filebeat -e -c filebeat.yml -d "publish"

通過elasticsearch-head插件查看es索引中的日志資訊

可以看到nginx中的access.log和error.log的日志都已經上來了，
在kibana中通過filebeat-*過濾看filebeat的索引，可以看到通過filebeat采過來的資料，

這種直接通過filebeat直接對接ES采日志的方式簡單直接，但是無法對采集的日志進行預處理和其他一些操作，也不夠靈活，
可以在filebeat 和 ES之間加一層Logstash，可以將filebeat于ES解耦，通過Logstash可以做一些預處理，也可以通過Logstash采集到除ES以外的其他資料存盤上，

二、通過filebeat采集日志到logstash再送到ES

首先得安裝 logstash ，安裝完后在logstash的安裝目錄下新建vi filebeat-pipeline.conf
filebeat-pipeline.conf的具體配置如下：

input {
    beats {
        port => "5044"
    }
}
output {
    elasticsearch { hosts => ["172.28.65.24:9200"] }
    stdout { codec => rubydebug}
}

input配置表示通過5044埠接收beats的資料
output配置表示輸出到elasticsearch，并且同時輸出到標準輸出也就是控制臺，
然后通過命令

bin/logstash -f filebeat-pipeline.conf --config.reload.automatic

應用filebeat-pipeline.conf啟動logstash，

啟動以后可以看到logstash的啟動日志5044埠的服務已經起了，可以接受通過filebeat通過5044埠傳過來的資料了，
接下來配置filebeat
在filebeat的安裝目錄找到filebeat.yml 配置獲取日志檔案的路徑及輸出到logstash的配置，不直接輸出到ES了，
具體配置如下：
將output.elasticsearch的配置屏蔽
配置output.logstash，配置正確的logstash的服務主機和埠

啟動filebeat 進行日志資料采集

./filebeat -e -c filebeat.yml -d "publish"

我們訪問nginx服務提供的web服務http://172.28.65.32/
在logstash的控制臺 可以看到相應的訪問access.log 日志

同時在ES 中也可以看到有相應的日志資料

三、直接通過rsyslog采集日志到logstash在送到ES

在很多情況下你需要采集的web服務器并不是自己能夠控制的，不是說你想裝filebeat就可以讓你裝的，這時候就可以要求目標資料源通過 syslog 的方式將日志發出來，我們可以再通過 logstash送到ES或其他的日志存盤處理平臺，

通過syslog往日志服務器上發nginx的日志有兩種方式，一種就是利用nginx的配置往外發日志，一種就是通過配置linux的rsyslog的配置往外發日志，
1、通過nginx配置發送syslog到logstash
參考見nginx官方檔案：http://nginx.org/en/docs/syslog.html
具體配置如下：
在nginx的組態檔nginx.conf中
在server下配置access_log和error_log的輸出方式

access_log syslog:server=172.28.65.32:514,facility=local7,tag=nginx_access_log,severity=info;
error_log syslog:server=172.28.65.32:514,facility=local7,tag=nginx_error_log,severity=info;

配置完成后執行 ./nginx -s reload 使配置生效，這樣就通過linux的rsyslog服務將nginx的日志往外發了，
接著來配置logstash的syslog的服務接收配置 ，在logstash的安裝目錄下新建vi syslog-pipeline.conf
syslog-pipeline.conf的具體配置如下：

input {
    syslog{
        type => "system-syslog"
        port => 514
    }
}
output {
    elasticsearch {
        hosts => ["172.28.65.24:9200"]
        index => "system-syslog-%{+YYYY.MM}"
    }
    stdout { codec => rubydebug}
}

input配置表示通過514埠接收syslog的資料
output配置表示輸出到elasticsearch，并且同時輸出到標準輸出也就是控制臺，
通過執行 bin/logstash -f syslog-pipeline.conf --config.reload.automatic 啟動logstash

可以看到logstash啟動以后開啟了514埠的tcp和upd協議的偵聽，
我們訪問nginx服務提供的web服務http://172.28.65.32/
在logstash的控制臺 可以看到相應的nginx訪問access和error的日志

同樣通過Elasticsearch-head在ES 中也可以看到有相應的日志資料

2、通過配置rsyslog發送syslog日志到logstash
有些老版本的nginx不支持配置syslog輸出日志，或者說我想輸出其他不是nginx的日志該怎么辦呢？可以通過直接配置rsyslog的方式來往外發送日志，
在/etc/rsyslog.conf 中配置

$IncludeConfig /etc/rsyslog.d/*.conf

意思是可以參考外部的組態檔，參考外部的組態檔一方面可以不影響主組態檔，另一方面也比較好管理
在/etc/rsyslog.d目錄下新建nginx-log.conf
配置如下：

$ModLoad imfile
$InputFilePollInterval 1
$WorkDirectory /var/spool/rsyslog
$PrivDropToGroup adm

##Nginx訪問日志檔案路徑，根據實際情況修改:
$InputFileName /usr/local/nginx/logs/access.log
$InputFileTag nginx-access:
$InputFileStateFile stat-nginx-access
$InputFileSeverity info
$InputFilePersistStateInterval 25000
$InputRunFileMonitor

##Nginx錯誤日志檔案路徑，根據實際情況修改:
$InputFileName /usr/local/nginx/logs/error.log
$InputFileTag nginx-error:
$InputFileStateFile stat-nginx-error
$InputFileSeverity error
$InputFilePersistStateInterval 25000
$InputRunFileMonitor

*.* @172.28.65:514

配置好了以后，重啟rsyslog服務

systemctl restart rsyslog

我們訪問nginx服務提供的web服務http://172.28.65.32/
在logstash的控制臺 可以看到同樣的效果，

本文介紹了如何通過filebeat、logstash、rsyslog采集nginx的訪問日志和錯誤日志的幾種方式，具體需要根據實際情況靈活的運用，

作者博客:http://xiejava.gitee.io

標籤：大數據

上一篇：鋼材切割最優解（規劃求解問題）

下一篇：SQL創建視圖出現問題。