如何使用混合分隔符（即方括號、空格和雙引號）來決議日志（nginx/apacheaccess.log）？并可選擇轉換為json-有解無憂

nginx 訪問.log。它由 1) 空格 2) [ ] 和 3) 雙引號分隔。

::1 - - [12/Oct/2021:15:26:25  0530] "GET / HTTP/1.1" 200 1717 "-" "Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/94.0.4606.81 Safari/537.36"
::1 - - [12/Oct/2021:15:26:25  0530] "GET /css/custom.css HTTP/1.1" 200 202664 "https://localhost/" "Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/94.0.4606.81 Safari/537.36"

決議后它應該看起來像

$1 = ::1

$4 = [12/Oct/2021:15:26:25 0530] or 12/Oct/2021:15:26:25 0530

$5 = "GET / HTTP/1.1"

$6 = 200

$7 = 1717

$8 = "-"

$9 = "Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/94.0.4606.81 Safari/537.36"

我嘗試了一些選項，例如awk -F'[],] *' awk -f [][{}] ，但它們不適用于全線。

這里共享的 nginx access.log 只是一個例子。我試圖了解如何在其他復雜日志中混合使用此類分隔符進行決議。

uj5u.com熱心網友回復：

由于這些是 nginx 日志，因此它們的格式將相同（或者，您可以通過設定來保持日志相同，談論當前版本）。我們可以利用這個特性，而且我們可以專注于只獲取需要的部分，所以我在這里使用正則運算式來只獲取匹配的值，而讓不需要的值保持簡單。通過遵循這一點，我們不需要對欄位編號進行硬編碼，在這里使用正則運算式即可。

這應該適用于任何awk版本。

awk '
{
  while(match($0,/^::[0-9] |\[?[0-9]{1,2}\/[a-zA-Z]{3}\/[0-9]{4}(:[0-9]{2}){3}\s \ [0-9]{4}\]?|"[^"]*"|\s[0-9]{3}\s|[0-9] \s/)){
    val=substr($0,RSTART,RLENGTH)
    gsub(/^[[:space:]] |[[:space:]] $/,"",val)
    print val
    $0=substr($0,RSTART RLENGTH)
  }
}'  Input_file

uj5u.com熱心網友回復：

如果可以使用gnu-awk，則可以使用FPAT來指定列資料：

awk -v FPAT='\\[[^][]*]|"[^"]*"|\\S ' '{
  for(i=1; i<=NF; i  ) {
    print "$"i" = ", $i
  }
}' file

模式匹配：

\\[[^][]*]使用否定字符類從開頭[到結尾匹配]
| 或者
"[^"]*" 從開頭到結尾的雙引號匹配
| 或者
\\S 1 個或多個非空白字符

輸出

$1 =  ::1
$2 =  -
$3 =  -
$4 =  [12/Oct/2021:15:26:25  0530]
$5 =  "GET / HTTP/1.1"
$6 =  200
$7 =  1717
$8 =  "-"
$9 =  "Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/94.0.4606.81 Safari/537.36"

uj5u.com熱心網友回復：

這可能對你有用（GNU sed）：

sed -E 'y/ /\n/
       :a;s/^(\[[^]\n]*)\n/\1 /m;s/^("[^"\n]*)\n/\1 /m;ta
       s/.*/echo '\''&'\'' | cat -n/e
       s/^  *(\S)\t/$\1 = /mg' file

用換行符替換所有空格。

將所有以[and]或雙引號開頭和結尾的行分組，并用空格替換換行符。

給所有行編號。

洗掉前導空格和制表符并格式化結果。

uj5u.com熱心網友回復：

將 access.log 決議為 json

awk -F'[][]' '{ print "remote_addr "$1 "local_time "$2 $3 }' access.log | awk -F'\"' '{ print $1   " method-&-path "$2 "  respStatus-&-byteSent " $3 " http_referer " $4 " http_agent " $6 } ' | awk  '{print " { \"remote_addr\" : \""$2"\" , \"local_time\" : \""$6 "\" , \"method\" : \""$9"\" , \"path\" : \""$10"\" , \"resp_status\" : \""$13"\" , \"bytes_sent\" : \""$14"\" , \"http_referer\" : \""$16"\" , \"http_agent\" : \""$18"   "$19" "$20" "$21" "$22" "$23" "$24" "$25" "$26" "$27" "$28" "$29"\"}"}'

輸出

{ "remote_addr" : "::1" , "local_time" : "12/Oct/2021:15:26:25" , "method" : "GET" , "path" : "/css/custom.css" , "resp_status" : "200" , "bytes_sent" : "202664" , "http_referer" : "https://localhost/" , "http_agent" : "Mozilla/5.0   (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/94.0.4606.81 Safari/537.36  "}

決議 access.log，同時顯示欄位和值

awk -F'[][]' '{ print "remote_addr "$1 "local_time "$2 $3 }' access.log | awk -F'\"' '{ print $1   " method-&-path "$2 "  respStatus-&-byteSent " $3 " http_referer " $4 " http_agent " $6 } ' | awk -F' ' '{print "remote_addr"$2", local_time "$6 ", method "$9", path "$10", resp_status "$13", bytes_sent "$14", http_referer "$16", http_agent "$18"  "$19" "$20" "$21" "$22" "$23" "$24" "$25" "$26" "$27" "$28" "$29 }'

輸出

remote_addr::1, local_time 12/Oct/2021:15:26:25, method GET, path /, resp_status 200, bytes_sent 1717, http_referer -, http_agent Mozilla/5.0  (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/94.0.4606.81 Safari/537.36

uj5u.com熱心網友回復：

GNU awk

gawk '
    match($0, /([^[:blank:]] ) ([^[:blank:]] ) ([^[:blank:]] ) \[([^]] )\] "([^"] )" ([[:digit:]] ) ([[:digit:]] ) "([^"] )" "([^"] )"/, m) {
        for (i=1; i<=9; i  ) print i, m[i]
    }
' file

或 perl 以獲得更簡潔的正則運算式

perl -nsE '
    if (/(\S ) (\S ) (\S ) \[(. ?)\] "(. ?)" (\d ) (\d ) "(. ?)" "(. ?)"/) {
        for $i (1..9) { say $i, $$i }
    }
' -- -,=" " file

或者使用命名捕獲，這將使使用更簡單（但我正在重新發明@Shawn 提到的模塊）：

perl -MData::Dump=dd -nE '
    dd \%  if (/
        (?<host>\S ) \s
        (?<ident>\S ) \s
        (?<user>\S ) \s
        \[(?<timestamp>. ?)\] \s
        "(?<request>. ?)" \s
        (?<status>\d ) \s
        (?<size>\d ) \s
        "(?<referer>. ?)" \s
        "(?<user_agent>. ?)"
    /x)
' file

uj5u.com熱心網友回復：

我試圖了解如何在其他復雜日志中混合使用此類分隔符進行決議。

在 GNU AWK 中僅設定欄位分隔符對于這種情況是不夠的，請看

::1 - - [12/Oct/2021:15:26:25  0530] "GET / HTTP/1.1" 200 1717 "-" "Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/94.0.4606.81 Safari/537.36"
::1 - - [12/Oct/2021:15:26:25  0530] "GET /css/custom.css HTTP/1.1" 200 202664 "https://localhost/" "Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/94.0.4606.81 Safari/537.36"

位于內部[且]不是分隔符的空格
里面的空格"不是分隔符
所有其他空格都是分隔符

到目前為止，我知道這是不可能的手藝適合現場分離器，將正確地檢測這樣的模式僅這是分隔空間。

轉載請註明出處，本文鏈接：https://www.uj5u.com/qita/327297.html

標籤：正则表达式阿帕奇 nginx awk sed

上一篇：HAProxy沒有服務器可用于處理此請求

下一篇：如何在同一臺服務器上運行node和apache以允許用戶通過https訪問api？