awk介紹
1 awk：Aho, Weinberger, Kernighan，報告生成器，格式化文本輸出 2 有多種版本：New awk（nawk），GNU awk（ gawk） 3 gawk：模式掃描和處理語言 4 基本用法： 5 awk [options] 'program' var=value file… 6 awk [options] -f programfile var=value file… 7 awk [options] 'BEGIN{action;… }pattern{action;… }END{action;… }' file ... 8 awk 程式可由：BEGIN陳述句塊、能夠使用模式匹配的通用陳述句塊、END陳述句塊，共3部分組成 9 program (程式）通常是被放在單引號中
awk的作業原理
1 第一步：執行BEGIN{action;… }陳述句塊中的陳述句 2 第二步：從檔案或標準輸入(stdin)讀取一行，然后執行pattern{ action;… }陳述句塊， 3 它逐行掃描檔案，從第一行到最后一行重復這個程序，直到檔案全部被讀取完畢， 4 第三步：當讀至輸入流末尾時，執行END{action;…}陳述句塊 5 BEGIN陳述句塊在awk開始從輸入流中讀取行之前被執行，這是一個可選的陳述句塊， 6 比如變數初始化、列印輸出表格的表頭等陳述句通常可以寫在BEGIN陳述句塊中 7 END陳述句塊在awk從輸入流中讀取完所有的行之后即被執行，比如列印所有行的 8 分析結果這類資訊匯總都是在END陳述句塊中完成，它也是一個可選陳述句塊 9 pattern陳述句塊中的通用命令是最重要的部分，也是可選的，如果沒有提供 10 pattern陳述句塊，則默認執行{ print }，即列印每一個讀取到的行，awk讀取的每 11 一行都會執行該陳述句塊
awk基本格式
1 基本格式：awk [options] 'program' file… 2 Program：pattern{action statements;..} 3 pattern和action 4 pattern部分決定動作陳述句何時觸發及觸發事件 5 BEGIN,END 6 action statements對資料進行處理，放在{}內指明 7 print, printf 8 分割符、域和記錄 9 awk執行時，由分隔符分隔的欄位（域）標記$1,$2...$n稱為域標識，$0為所有域，注意：此時和shell中變數$符含義不同 10 檔案的每一行稱為記錄 11 省略action，則默認執行 print $0 的操作
awk之print格式
1 print格式：print item1, item2, ... 2 要點： 3 (1) 逗號分隔符 4 (2) 輸出item可以字串，也可是數值；當前記錄的欄位、變數或awk的運算式 5 (3) 如省略item，相當于print $0 6 示例： 7 awk '{print "hello,awk"}' 8 awk –F: '{print}' /etc/passwd 9 awk –F: ‘{print “wang”}’ /etc/passwd 10 awk –F: ‘{print $1}’ /etc/passwd 11 awk –F: ‘{print $0}’ /etc/passwd 12 awk –F: ‘{print $1”\t”$3}’ /etc/passwd
awk變數
1 變數：內置和自定義變數 2 FS：輸入欄位分隔符，默認為空白字符 3 awk -v FS=':' '{print $1,FS,$3}’ /etc/passwd 4 awk –F: '{print $1,$3,$7}’ /etc/passwd 5 F：filed（域、列、欄位） 6 S：表示分割符 7 OFS：輸出欄位分隔符，默認為空白字符 8 awk -v FS=‘:’ -v OFS=‘:’ '{print $1,$3,$7}’ /etc/passwd 9 O：輸出 10 OFS：輸出分割符 11 RS：輸入記錄分隔符，指定輸入時的換行符 12 awk -v RS=' ' ‘{print }’ /etc/passwd 13 ORS：輸出記錄分隔符，輸出時用指定符號代替換行符 14 awk -v RS=' ' -v ORS='###'‘{print }’ /etc/passwd 15 NF：欄位數量 16 awk -F：‘{print NF}’ /etc/fstab 參考變數時，變數前不需加$ 17 awk -F：‘{print $(NF-1)}' /etc/passwd 18 NR：記錄號 19 awk ‘{print NR}’ /etc/fstab ; awk END‘{print NR}’ /etc/fstab
1 FNR：各檔案分別計數,記錄號 2 awk '{print FNR}' /etc/fstab /etc/inittab 3 FILENAME：當前檔案名 4 awk '{print FILENAME}’ /etc/fstab 5 ARGC：命令列引數的個數 6 awk '{print ARGC}’ /etc/fstab /etc/inittab 7 awk ‘BEGIN {print ARGC}’ /etc/fstab /etc/inittab 8 ARGV：陣列，保存的是命令列所給定的各引數 9 awk ‘BEGIN {print ARGV[0]}’ /etc/fstab /etc/inittab 10 awk ‘BEGIN {print ARGV[1]}’ /etc/fstab /etc/inittab
1 自定義變數(區分字符大小寫) 2 (1) -v var=value 3 (2) 在program中直接定義 4 示例： 5 awk -v test='hello gawk' '{print test}' /etc/fstab 6 awk -v test='hello gawk' 'BEGIN{print test}' 7 awk 'BEGIN{test="hello,gawk";print test}' 8 awk -F:‘{sex=“male”;print $1,sex,age;age=18}’ /etc/passwd 9 cat awkscript 10 {print script,$1,$2} 11 awk -F: -f awkscript script=“awk” /etc/passwd
awk之printf
1 格式化輸出：printf “FORMAT”, item1, item2, ... 2 (1) 必須指定FORMAT 3 (2) 不會自動換行，需要顯式給出換行控制符，\n 4 (3) FORMAT中需要分別為后面每個item指定格式符 5 格式符：與item一一對應 6 %c：顯示字符的ASCII碼 7 %d, %i：顯示十進制整數 8 %e, %E：顯示科學計數法數值 9 %f：顯示為浮點數 10 %g, %G：以科學計數法或浮點形式顯示數值 11 %s：顯示字串 12 %u：無符號整數 13 %%：顯示%自身 14 修飾符 15 #[.#] 第一個數字控制顯示的寬度；第二個#表示小數點后精度，%3.1f 16 - 左對齊（默認右對齊） %-15s 17 + 顯示數值的正負符號 %+d
awk運算子
1 算術運算子： 2 x+y, x-y, x*y, x/y, x^y, x%y 3 - x：轉換為負數 4 +x：將字串轉換為數值 5 字串運算子：沒有符號的運算子，字串連接 6 賦值運算子： 7 =, +=, -=, *=, /=, %=, ^=，++, -- 8 下面兩陳述句有何不同 9 awk ‘BEGIN{i=0;print ++i,i}’ 10 awk ‘BEGIN{i=0;print i++,i}’
1 比較運算子： 2 ==, !=, >, >=, <, <= 3 模式匹配符： 4 ~：左邊是否和右邊匹配，包含 5 !~：是否不匹配 6 示例： 7 awk -F: '$0 ~ /root/{print $1}‘ /etc/passwd 8 awk '$0~“^root"' /etc/passwd 9 awk '$0 !~ /root/‘ /etc/passwd 10 awk -F: ‘$3==0’ /etc/passwd
1 邏輯運算子：與&&，或||，非! 2 示例： 3 awk -F: '$3>=0 && $3<=1000 {print $1}' /etc/passwd 4 awk -F: '$3==0 || $3>=1000 {print $1}' /etc/passwd 5 awk -F: ‘!($3==0) {print $1}' /etc/passwd 6 awk -F: ‘!($3>=500) {print $3}’ /etc/passwd 7 條件運算式（三目運算式） 8 selector?if-true-expression:if-false-expression 9 示例： 10 awk -F: '{$3>=1000?usertype="Common User":usertype=" 11 SysUser";printf "%15s:%-s\n",$1,usertype}' /etc/passwd
awk PATTERN
1 PATTERN:根據pattern條件，過濾匹配的行，再做處理 2 (1)如果未指定：空模式，匹配每一行 3 (2) /regular expression/：僅處理能夠模式匹配到的行，需要用/ /括起來 4 awk '/^UUID/{print $1}' /etc/fstab 5 awk '!/^UUID/{print $1}' /etc/fstab 6 (3) relational expression: 關系運算式，結果為“真”才會被處理 7 真：結果為非0值，非空字串 8 假：結果為空字串或0值 9 示例： 10 awk -F: 'i=1;j=1{print i,j}' /etc/passwd 11 awk ‘!0’ /etc/passwd ; awk ‘!1’ /etc/passwd 12 Awk -F: '$3>=1000{print $1,$3}' /etc/passwd 13 awk -F: '$3<1000{print $1,$3}' /etc/passwd 14 awk -F: '$NF=="/bin/bash"{print $1,$NF}' /etc/passwd 15 awk -F: '$NF ~ /bash$/{print $1,$NF}' /etc/passwd
1 (4) line ranges：行范圍 2 startline,endline：/pat1/,/pat2/ 不支持直接給出數字格式 3 awk -F: ‘/^root\>/,/^nobody\>/{print $1}' /etc/passwd 4 awk -F: ‘(NR>=10&&NR<=20){print NR,$1}' /etc/passwd 5 (5) BEGIN/END模式 6 BEGIN{}：僅在開始處理檔案中的文本之前執行一次 7 END{}：僅在文本處理完成之后執行一次
awk action
1 常用的action分類 2 (1) Expressions：算術，比較運算式等 3 (2) Control statements：if, while等 4 (3) Compound statements：組合陳述句 5 (4) input statements 6 (5) output statements：print等
awk控制陳述句
1 { statements;… } 組合陳述句 2 if(condition) {statements;…} 3 if(condition) {statements;…} else {statements;…} 4 while(conditon) {statments;…} 5 do {statements;…} while(condition) 6 for(expr1;expr2;expr3) {statements;…} 7 break 8 continue 9 delete array[index] 10 delete array 11 exit
awk控制陳述句if-else
1 語法：if(condition){statement;…}[else statement] 2 if(condition1){statement1}else if(condition2){statement2}else{statement3} 3 使用場景：對awk取得的整行或某個欄位做條件判斷 4 示例： 5 awk -F: '{if($3>=1000)print $1,$3}' /etc/passwd 6 awk -F: '{if($NF=="/bin/bash") print $1}' /etc/passwd 7 awk '{if(NF>5) print $0}' /etc/fstab 8 awk -F: '{if($3>=1000) {printf "Common user: %s\n",$1} else {printf "root or 9 Sysuser: %s\n",$1}}' /etc/passwd 10 awk -F: '{if($3>=1000) printf "Common user: %s\n",$1; else printf "root or 11 Sysuser: %s\n",$1}' /etc/passwd 12 df -h|awk -F% '/^\/dev/{print $1}'|awk '$NF>=80{print $1,$5}‘ 13 awk ‘BEGIN{ test=100;if(test>90){print “very good“} 14 else if(test>60){ print ”good”}else{print “no pass”}}’
awk控制陳述句 while回圈
1 語法：while(condition){statement;…} 2 條件“真”，進入回圈；條件“假”，退出回圈 3 使用場景： 4 對一行內的多個欄位逐一類似處理時使用 5 對陣列中的各元素逐一處理時使用 6 示例： 7 awk '/^[[:space:]]*linux16/{i=1;while(i<=NF) 8 {print $i,length($i); i++}}' /etc/grub2.cfg 9 awk ‘/^[[:space:]]*linux16/{i=1;while(i<=NF) {if(length($i)>=10) {print 10 $i,length($i)}; i++}}’ /etc/grub2.cfg
awk控制陳述句do-while回圈
1 語法：do {statement;…}while(condition) 2 意義：無論真偽，至少執行一次回圈體 3 示例： 4 awk 'BEGIN{ total=0;i=0;do{ total+=i;i++;}while(i<=100);print total}’
awk控制陳述句 for回圈
1 語法：for(expr1;expr2;expr3) {statement;…} 2 常見用法： 3 for(variable assignment;condition;iteration process) 4 {for-body} 5 特殊用法：能夠遍歷陣列中的元素 6 語法：for(var in array) {for-body} 7 示例： 8 awk '/^[[:space:]]*linux16/{for(i=1;i<=NF;i++) {print $i,length($i)}}' 9 /etc/grub2.cfg
awk控制陳述句switch陳述句
1 語法：switch(expression) {case VALUE1 or /REGEXP/: statement1; case 2 VALUE2 or /REGEXP2/: statement2; ...; default: statementn} 3 break和continue 4 awk ‘BEGIN{sum=0;for(i=1;i<=100;i++) 5 {if(i%2==0)continue;sum+=i}print sum}' 6 awk ‘BEGIN{sum=0;for(i=1;i<=100;i++) 7 {if(i==66)break;sum+=i}print sum}'
awk陣列
1 關聯陣列：array[index-expression] 2 index-expression: 3 (1) 可使用任意字串；字串要使用雙引號括起來 4 (2) 如果某陣列元素事先不存在，在參考時，awk會自動創建此元素，并將其值初始化為“空串” 5 (3) 若要判斷陣列中是否存在某元素，要使用“index in array”格式進行遍歷 6 示例： 7 weekdays["mon"]="Monday" 8 awk 'BEGIN{weekdays["mon"]="Monday";weekdays["tue"]="Tuesday"; 9 print weekdays["mon"]}‘ 10 awk ‘!line[$0]++’ dupfile 11 awk '{!line[$0]++;print $0, line[$0]}' dupfile
1 若要遍歷陣列中的每個元素，要使用for回圈 2 for(var in array) {for-body} 3 注意：var會遍歷array的每個索引 4 示例： 5 awk‘BEGIN{weekdays["mon"]="Monday";weekdays["tue"]="Tuesday"; 6 for(i in weekdays) {print weekdays[i]}}' 7 netstat -tan | awk '/^tcp/{state[$NF]++} 8 END{for(i in state) { print i,state[i]}}' 9 awk '{ip[$1]++}END{for(i in ip) {print i,ip[i]}}' /var/log/httpd/access_log
awk函式
1 數值處理： 2 rand()：回傳0和1之間一個亂數 3 awk 'BEGIN{srand(); for (i=1;i<=10;i++)print int(rand()*100) }' 4 字串處理： 5 length([s])：回傳指定字串的長度 6 sub(r,s,[t])：對t字串搜索r表示模式匹配的內容，并將第一個匹配內容替換為s 7 echo "2008:08:08 08:08:08" | awk 'sub(/:/,“-",$1)' 8 gsub(r,s,[t])：對t字串進行搜索r表示的模式匹配的內容，并全部替換為s所表示的內容 9 echo "2008:08:08 08:08:08" | awk ‘gsub(/:/,“-",$0)' 10 split(s,array,[r])：以r為分隔符，切割字串s，并將切割后的結果保存至array所 11 表示的陣列中，第一個索引值為1,第二個索引值為2,… 12 netstat -tn | awk '/^tcp\>/{split($5,ip,":");count[ip[1]]++} 13 END{for (i in count) {print i,count[i]}}’
1 自定義函式格式： 2 function name ( parameter, parameter, ... ) { 3 statements 4 return expression 5 } 6 示例： 7 cat fun.awk 8 function max(x,y) { 9 x>y?var=x:var=y 10 return var 11 } 12 BEGIN{a=3;b=2;print max(a,b)} 13 awk -f fun.awk
awk腳本
1 將awk程式寫成腳本，直接呼叫或執行 2 示例： 3 cat f1.awk 4 {if($3>=1000)print $1,$3} 5 awk -F: -f f1.awk /etc/passwd
1 向awk腳本傳遞引數 2 格式： 3 awkfile var=value var2=value2... Inputfile 4 注意：在BEGIN程序中不可用，直到首行輸入完成以后，變數才可用，可以通 5 過-v 引數，讓awk在執行BEGIN之前得到變數的值，命令列中每一個指定的變 6 量都需要一個-v引數 7 示例： 8 cat test.awk 9 #!/bin/awk –f 10 {if($3 >=min && $3<=max)print $1,$3} 11 chmod +x test.awk 12 test.awk -F: min=100 max=200 /etc/passwd
awk實體：
1 1、判斷UID是否大于等于500，如果為真就顯示為普通用戶，如果為假就顯示為系統或管理用戶 2 awk -F: '{$3>=500?name="common user":name="system user";print name,$1,$3}' /etc/passwd 3 2、顯示用戶id為奇數的用戶， 4 awk -F: '{if(NR%2==0)next;print NR,$0}' /etc/passwd 5 3、統計web服務訪問日志中的ip訪問量 6 awk '{ip[$1]++}END{for(i in ip){print i,ip[i]}}' /var/log/httpd/access_log
轉載請註明出處，本文鏈接：https://www.uj5u.com/caozuo/162450.html
標籤：Linux