nginx 訪問.log。它由 1) 空格 2) [ ] 和 3) 雙引號分隔。
::1 - - [12/Oct/2021:15:26:25 0530] "GET / HTTP/1.1" 200 1717 "-" "Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/94.0.4606.81 Safari/537.36"
::1 - - [12/Oct/2021:15:26:25 0530] "GET /css/custom.css HTTP/1.1" 200 202664 "https://localhost/" "Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/94.0.4606.81 Safari/537.36"
決議后它應該看起來像
$1 = ::1
$4 = [12/Oct/2021:15:26:25 0530] or 12/Oct/2021:15:26:25 0530
$5 = "GET / HTTP/1.1"
$6 = 200
$7 = 1717
$8 = "-"
$9 = "Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/94.0.4606.81 Safari/537.36"
我嘗試了一些選項，例如awk -F'[],] *' awk -f [][{}] ，但它們不適用于全線。
這里共享的 nginx access.log 只是一個例子。我試圖了解如何在其他復雜日志中混合使用此類分隔符進行決議。
uj5u.com熱心網友回復：
如果可以使用gnu-awk，則可以使用FPAT來指定列資料：
awk -v FPAT='\\[[^][]*]|"[^"]*"|\\S ' '{
for(i=1; i<=NF; i ) {
print "$"i" = ", $i
}
}' file
模式匹配：
\\[[^][]*]使用否定字符類從開頭[到結尾匹配]|或者"[^"]*"從開頭到結尾的雙引號匹配|或者\\S1 個或多個非空白字符
輸出
$1 = ::1
$2 = -
$3 = -
$4 = [12/Oct/2021:15:26:25 0530]
$5 = "GET / HTTP/1.1"
$6 = 200
$7 = 1717
$8 = "-"
$9 = "Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/94.0.4606.81 Safari/537.36"
uj5u.com熱心網友回復：
由于這些是 nginx 日志，因此它們的格式將相同（或者，您可以通過設定來保持日志相同，談論當前版本）。我們可以利用這個特性，而且我們可以專注于只獲取需要的部分，所以我在這里使用正則運算式來只獲取匹配的值，而讓不需要的值保持簡單。通過遵循這一點，我們不需要對欄位編號進行硬編碼，在這里使用正則運算式即可。
這應該適用于任何awk版本。
awk '
{
while(match($0,/^::[0-9] |\[?[0-9]{1,2}\/[a-zA-Z]{3}\/[0-9]{4}(:[0-9]{2}){3}\s \ [0-9]{4}\]?|"[^"]*"|\s[0-9]{3}\s|[0-9] \s/)){
val=substr($0,RSTART,RLENGTH)
gsub(/^[[:space:]] |[[:space:]] $/,"",val)
print val
$0=substr($0,RSTART RLENGTH)
}
}' Input_file
uj5u.com熱心網友回復：
這可能對你有用（GNU sed）：
sed -E 'y/ /\n/
:a;s/^(\[[^]\n]*)\n/\1 /m;s/^("[^"\n]*)\n/\1 /m;ta
s/.*/echo '\''&'\'' | cat -n/e
s/^ *(\S)\t/$\1 = /mg' file
用換行符替換所有空格。
將所有以[and]或雙引號開頭和結尾的行分組，并用空格替換換行符。
給所有行編號。
洗掉前導空格和制表符并格式化結果。
uj5u.com熱心網友回復：
具有 3 個步驟的基本管道 awk
- 決議方括號
-F'[][] - 決議雙引號
-F'\"' - 列印結果
將 access.log 決議為 json
awk -F'[][]' '{ print "remote_addr "$1 "local_time "$2 $3 }' access.log | awk -F'\"' '{ print $1 " method-&-path "$2 " respStatus-&-byteSent " $3 " http_referer " $4 " http_agent " $6 } ' | awk '{print " { \"remote_addr\" : \""$2"\" , \"local_time\" : \""$6 "\" , \"method\" : \""$9"\" , \"path\" : \""$10"\" , \"resp_status\" : \""$13"\" , \"bytes_sent\" : \""$14"\" , \"http_referer\" : \""$16"\" , \"http_agent\" : \""$18" "$19" "$20" "$21" "$22" "$23" "$24" "$25" "$26" "$27" "$28" "$29"\"}"}'
輸出
{ "remote_addr" : "::1" , "local_time" : "12/Oct/2021:15:26:25" , "method" : "GET" , "path" : "/css/custom.css" , "resp_status" : "200" , "bytes_sent" : "202664" , "http_referer" : "https://localhost/" , "http_agent" : "Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/94.0.4606.81 Safari/537.36 "}
決議 access.log，同時顯示欄位和值
awk -F'[][]' '{ print "remote_addr "$1 "local_time "$2 $3 }' access.log | awk -F'\"' '{ print $1 " method-&-path "$2 " respStatus-&-byteSent " $3 " http_referer " $4 " http_agent " $6 } ' | awk -F' ' '{print "remote_addr"$2", local_time "$6 ", method "$9", path "$10", resp_status "$13", bytes_sent "$14", http_referer "$16", http_agent "$18" "$19" "$20" "$21" "$22" "$23" "$24" "$25" "$26" "$27" "$28" "$29 }'
輸出
remote_addr::1, local_time 12/Oct/2021:15:26:25, method GET, path /, resp_status 200, bytes_sent 1717, http_referer -, http_agent Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/94.0.4606.81 Safari/537.36
uj5u.com熱心網友回復：
我試圖了解如何在其他復雜日志中混合使用此類分隔符進行決議。
在 GNU AWK 中僅設定欄位分隔符對于這種情況是不夠的，請看
::1 - - [12/Oct/2021:15:26:25 0530] "GET / HTTP/1.1" 200 1717 "-" "Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/94.0.4606.81 Safari/537.36"
::1 - - [12/Oct/2021:15:26:25 0530] "GET /css/custom.css HTTP/1.1" 200 202664 "https://localhost/" "Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/94.0.4606.81 Safari/537.36"
- 位于內部
[且]不是分隔符的空格 - 里面的空格
"不是分隔符 - 所有其他空格都是分隔符
到目前為止，我知道這是不可能的手藝適合現場分離器，將正確地檢測這樣的模式僅這是分隔空間。
uj5u.com熱心網友回復：
GNU awk
gawk '
match($0, /([^[:blank:]] ) ([^[:blank:]] ) ([^[:blank:]] ) \[([^]] )\] "([^"] )" ([[:digit:]] ) ([[:digit:]] ) "([^"] )" "([^"] )"/, m) {
for (i=1; i<=9; i ) print i, m[i]
}
' file
或 perl 以獲得更簡潔的正則運算式
perl -nsE '
if (/(\S ) (\S ) (\S ) \[(. ?)\] "(. ?)" (\d ) (\d ) "(. ?)" "(. ?)"/) {
for $i (1..9) { say $i, $$i }
}
' -- -,=" " file
或者使用命名捕獲，這將使使用更簡單（但我正在重新發明@Shawn 提到的模塊）：
perl -MData::Dump=dd -nE '
dd \% if (/
(?<host>\S ) \s
(?<ident>\S ) \s
(?<user>\S ) \s
\[(?<timestamp>. ?)\] \s
"(?<request>. ?)" \s
(?<status>\d ) \s
(?<size>\d ) \s
"(?<referer>. ?)" \s
"(?<user_agent>. ?)"
/x)
' file
轉載請註明出處，本文鏈接：https://www.uj5u.com/gongcheng/339675.html