NXLog是個跨平臺日志傳輸插件，支持linux、windows平臺的大部分系統日志及常見的web日志，支持tcp、udp、http(s)等協議傳輸，
本文通過NXLog將IIS的日志以syslog的形式轉發至日志審計服務器，
一、系統環境
作業系統：Window Server2012 R2 DataCenter
IIS：8.5
NXLog：nxlog-ce-2.10.2150
下載地址：https://nxlog.co/products/nxlog-community-edition/download （Windows請選擇msi檔案下載）
二、NXLog的整體實作原理
NXLog整體采用插件架構模式，通過加載可呼叫的模塊， 實作從各種不同的日志來源讀取日志資料(Input)，對日志資料進行決議和轉換(Prosessor)，最后進行輸出(Output)，
IIS的日志為文本型別的逐行檔案，各欄位使用“空格符”進行分割，而其中的日期和時間分屬于兩個不同的欄位，因此IIS的日志可以通過Input的im_file模塊進行讀取，并經過一定的處理后輸出（轉發），
在NXLog的安裝路徑C:\Program Files\nxlog（或C:\Program Files (x86)\nxlog）下找到conf\nxlog.conf，用文本編輯器進行編輯，
三、具體配置方法
1. 查看本地IIS日志格式（在IIS管理器中可以對W3C日志記錄欄位進行更改，）
#Software: Microsoft Internet Information Services 8.5 #Version: 1.0 #Date: 2020-04-26 06:14:01 #Fields: date time s-ip cs-method cs-uri-stem cs-uri-query s-port cs-username c-ip cs(User-Agent) cs(Referer) cs-host sc-status sc-substatus sc-win32-status time-taken
2. 設定W3C擴展日志格式（這里的第一個$datetime是將$date和$time進行了合并，具體見下面input中的操作，）
<Extension w3c>
Module xm_csv
Fields $datetime, $s-ip, $cs-method, $cs-uri-stem, $cs-uri-query, $s-port, $cs-username, $c-ip, $csUser-Agent, $cs-Referer, $cs-host, $sc-status, $sc-substatus, $sc-win32-status, $time-taken
FieldTypes string, string, string, string, string, string, string, string, string, string, string, string, string, string, string
Delimiter ' '
QuoteChar '"'
EscapeControl TRUE
UndefValue -
</Extension>
3. 增加Input日志來源
<Input IISin>
Module im_file
# IIS日志目錄，檔案名支持通配符，檔案夾不支持
File "C:\inetpub\logs\LogFiles\W3SVC1\u_ex*.log"
SavePos TRUE
# 忽略以#開頭的日志行
# 編碼轉換為GBK（我的日志審計服務器默認為GBK編碼，而IIS日志的編碼為UTF-8，請按實際情況設定）
# 利用替換法將日期與時間合并為一個欄位
# 決議為CSV格式
# 通過xm_csv模塊對W3C擴展日志進行決議
# 將合并后的日期與時間作為EventTime（發生時間），并增加GMT標志(+00:00)解決IIS8小時時差問題
Exec if $raw_event =~ /^#/ drop(); \
else \
{ \
convert_fields("AUTO", "GBK"); \
$raw_event = replace($raw_event, ' ', '@', 1); \
w3c->parse_csv(); \
$raw_event = replace($raw_event, ' ', "\t"); \
$raw_event = replace($raw_event, '@', ' ', 1); \
$EventTime = parsedate(replace($datetime, '@', ' ', 1) + '+00:00'); \
}
</Input>
4. 增加Output日志輸出（內網通過UDP方式輸出可以提高運行效率；如果需要高可靠性可采用TCP，但容易造成作業負載過大，使用to_syslog_bsd后，在input段設定的$EventTime才能有效，）
<Output IISout> Module om_udp Host 10.168.100.1 Port 514 Exec to_syslog_bsd(); </Output>
5. 增加轉發規則
<Route 1> Path IISin => IISout </Route>
四、啟動NXLog
可以通過服務管理器services.msc中啟動nxlog服務，或者在安裝路徑中雙擊nxlog.exe運行，
五、排錯
檢查安裝路徑\data\nxlog.log日志檔案，并進行排錯，如果提示如下內容（ERROR if-else failed），大多數是因為<Extension w3c>段中配置的欄位和日志中的欄位不匹配，
2020-04-26 14:04:24 ERROR if-else failed at line 43, character 315 in C:\Program Files (x86)\nxlog\conf\nxlog.conf. statement execution has been aborted; procedure 'parse_csv' failed at line 43, character 181 in C:\Program Files (x86)\nxlog\conf\nxlog.conf. statement execution has been aborted; Too many fields in CSV input, expected 15, got 16 in input '...此處略去具體日志內容...'
六、實際效果
七、完整組態檔：conf\nxlog.conf
Panic Soft
#NoFreeOnExit TRUE
define ROOT C:\Program Files (x86)\nxlog
define CERTDIR %ROOT%\cert
define CONFDIR %ROOT%\conf
define LOGDIR %ROOT%\data
define LOGFILE %LOGDIR%\nxlog.log
LogFile %LOGFILE%
Moduledir %ROOT%\modules
CacheDir %ROOT%\data
Pidfile %ROOT%\data\nxlog.pid
SpoolDir %ROOT%\data
<Extension w3c>
Module xm_csv
Fields $datetime, $s-ip, $cs-method, $cs-uri-stem, $cs-uri-query, $s-port, $cs-username, $c-ip, $csUser-Agent, $cs-Referer, $cs-host, $sc-status, $sc-substatus, $sc-win32-status, $time-taken
FieldTypes string, string, string, string, string, string, string, string, string, string, string, string, string, string, string
Delimiter ' '
QuoteChar '"'
EscapeControl TRUE
UndefValue -
</Extension>
<Extension _syslog>
Module xm_syslog
</Extension>
<Extension _charconv>
Module xm_charconv
AutodetectCharsets iso8859-2, utf-8, utf-16, utf-32
</Extension>
<Extension _exec>
Module xm_exec
</Extension>
<Extension _fileop>
Module xm_fileop
# Check the size of our log file hourly, rotate if larger than 5MB
<Schedule>
Every 1 hour
Exec if (file_exists('%LOGFILE%') and \
(file_size('%LOGFILE%') >= 5M)) \
file_cycle('%LOGFILE%', 8);
</Schedule>
# Rotate our log file every week on Sunday at midnight
<Schedule>
When @weekly
Exec if file_exists('%LOGFILE%') file_cycle('%LOGFILE%', 8);
</Schedule>
</Extension>
<Input IISin>
Module im_file
# IIS日志目錄，檔案名支持通配符，檔案夾不支持
File "C:\inetpub\logs\LogFiles\W3SVC1\u_ex*.log"
SavePos TRUE
# 忽略以#開頭的日志行
# 編碼轉換為GBK（我的日志審計服務器默認為GBK編碼，而IIS日志的編碼為UTF-8，請按實際情況設定）
# 合并日期與時間為一個欄位
# 決議為CSV格式
# 通過xm_csv模塊對W3C擴展日志進行決議
# 將合并后的日期與時間作為EventTime（發生時間），并增加GMT標志(+00:00)解決IIS8小時時差問題
Exec if $raw_event =~ /^#/ drop(); \
else \
{ \
convert_fields("AUTO", "GBK"); \
$raw_event = replace($raw_event, ' ', '@', 1); \
w3c->parse_csv(); \
$raw_event = replace($raw_event, ' ', "\t"); \
$raw_event = replace($raw_event, '@', ' ', 1); \
$EventTime = parsedate(replace($datetime, '@', ' ', 1) + '+00:00'); \
}
</Input>
<Output IISout>
Module om_udp
Host 10.168.100.1
Port 514
Exec to_syslog_bsd();
</Output>
<Route 1>
Path IISin => IISout
</Route>
參考資料：
1. 官方檔案：https://nxlog.co/documentation
2. 利用nxlog以syslog方式發送iis日志 https://blog.csdn.net/weixin_34111819/article/details/91882420
3. Nxlog配置 https://blog.csdn.net/zmb419/article/details/85229737
轉載請註明出處，本文鏈接：https://www.uj5u.com/caozuo/218.html