sed編輯器執行流程大致如下：

1. 一次從輸入中讀取一行資料，
2. 根據所提供的編輯器命令匹配資料，
3. 按照命令修改流中的資料，
4. 將新的資料輸出到STDOUT，

核心原理剖析：

1. 在流編輯器將所有命令與一行資料匹配完畢后，它會讀取下一行資料并重復這個程序，在流
2. 編輯器處理完流中的所有資料行后，它就會終止，
3. 由于命令是按順序逐行給出的， sed 編輯器只需對資料流進行一遍處理就可以完成編輯操作，
4. 這使得 sed 編輯器要比互動式編輯器快得多，你可以快速完成對資料的自動修改，

1.語法格式：

sed options script file

2.常用引數羅列：

• -e script 在處理輸入時，將script中指定的命令添加到已有的命令中
• -f file 在處理輸入時，將file中指定的命令添加到已有的命令中
• -n 不產生命令輸出，使用print命令來完成輸出

注意：

script 引數指定了應用于流資料上的單個命令，如果需要用多個命令，要么使用 -e 選項在

命令列中指定，要么使用 -f 選項在單獨的檔案中指定，有大量的命令可用來處理資料，

1. sed單行文本修改

echo " this is a test " | sed 's/test/big big test/'

注意：sed編輯器中使用了 s 命令， s 命令會用3個斜線間指定的第二個斜線間的文本字串來替換第一個斜線建文本字串模式，前提是能匹配到第一個文本，尤其注意空格的等特殊字符，

2.sed替換文本中資訊輸出

The quick brown fox jumps over the lazy dog.

The quick brown fox jumps over the lazy dog.

The quick brown fox jumps over the lazy dog.

The quick brown fox jumps over the lazy dog.

命令使用：sed 's/dog/and fat cat/' ./sed_demo

特別注意的是：要記住，sed編輯器并不會修改文本檔案的資料，它只會將修改后的資料發送到STDOUT ，如果你查看原來的文本檔案，它仍然保留著原始資料，可以cat查看一下，如果想保存結果直接使用重定向即可，

3. 命令列使用多個編輯器命令 sed -e

sed -e 's/brown/green/; s/dog/cat/' ./sed_demo

兩個命令都作用到檔案中的每行資料上，命令之間必須用分號隔開，并且在命令末尾和分號之間不能有空格，這里同時替換輸出兩處，

4.加強版，從檔案中讀取命令，處理文本檔案

如果有大量要處理的 sed 命令，那么將它們放進一個單獨的檔案中通常會更方便一些，

可以在 sed 命令中用 -f 選項來指定檔案，類似于hive腳本執行，

vi s.sed 存放sed命令（注意這里可以用加單引號）

s/brown/green/

s/fox/elephant/

s/dog/cat/

5.生產案例

hdfs dfs -du -h /user/*/.Trash

hdfs dfs -du -h /user/*/.Trash |awk '{if($2=="T") print$0}'|sort -nrk 1

1. 標準語法格式

gawk ‘{options }’program file

注意構成 gawk 腳本的陳述句須包含在一對大括號（ {} ）中，而作為命令選項的整個腳本需要包含在一對引號中，

2.細分語法格式：

gawk '{pattern + action}' {filenames}

#pattern 表示 AWK 在資料中查找的內容，而 action 是在找到匹配內容時所執行的一系列命令

1.gawk使用欄位變數：

gawk 會自動地將每行文本中的每個資料欄位賦值給一個指定的變數，默認情況下，預先定義的變數為：（注意：文本行中的資料欄位是通過預先定義的欄位分隔符來分隔開的，默認為空格（包括 TAB ））

• $0 表示一整行文本
• $1 表示該行文本的第一個欄位
• $2 表示該行文本的第二個欄位
• $n 表示該行文本的第 n 個欄位

案例演示：

0.直接輸出

awk '{ print $0}' ./dbtable_data.txt

注意，當然gawk也支持其他分隔符，-F引數指定如下：

gawk -F, '{print $2}' 2.txt

1.gawk對正則的匹配支持

1.1 正則匹配~ 表示模式開始，兩個斜杠// 中是正則匹配模式，

輸出第二列包含 "applist"，并列印整行,或者第一第二行

awk -F, '{ print $1 }' dbtable_data.txt

awk -F',' '$2 ~ /applist/ { print $1,$2 }' dbtable_data.txt

awk -F',' '$2 ~ /device.*applist/ { print $1,$2 }' dbtable_data.txt

awk -F',' '$2 ~ /^fin.*applist/ { print $2 }' dbtable_data.txt

awk 'BEGIN {FS=","} ;{ print $1 }' dbtable_data.txt

1.2.正則匹配，模式取反，！~ 表示模式開始，// 中是模式，

輸出第二列不包含 "applist"，并列印整行,或者第一第二行

awk -F',' '$2 !~ /applist/ { print $1,$2 }' dbtable_data.txt

2.多個命令

gawk 語言允許在腳本陳述句中組合多個命令使用，只需要在各命令之間使用分號（ ; ）分隔開即可

gawk -F, '{ $2="HELLO";print $2}' dbtable_data.txt

3. 處理前，處理后BEGIN,END

默認情況下，gawk 從輸入中讀取一行文本，再對該文本執行程式指令，而有時候需要在讀取待處理資料之前先執行某些指令，此時就要用到BEGIN關鍵字，同樣的，END 關鍵字允許你指定在資料處理完成后才執行的腳本，

awk 'BEGIN{a=5;a+=5;print a}'

awk 'BEGIN{a=1;b=2;print (a>2&&b>1,a=1||b>1)}'

gawk 'BEGIN {print "我準備開始干活了"}; {print $0}; END {print "活我干完了"}' 2.txt

4.gawk命令通過腳本獲取執行

語法格式：gawk -f 腳本名 檔案名

gawk 允許先將其程式腳本保存在某個檔案中，再通過 -f 選項指定該檔案的檔案名，而在腳本檔案中，各命令不再需要通過 ';' 符號分隔，直接分行列出即可，但是注意需要用{}括起來，

5.gawk匹配檢索

awk -F ',' '{ if($2 =="device_applist_join_full_monthly") print $0}' 000000_0

awk -F ',' '{ if(($2 =="device_applist_join_full_monthly")) print $0}'

注意if判斷可以使用兩個小括號，也可以使用一個，結果一樣

6. gawk其他相關操作(nr,nf等)

$ awk -F":" '{ print $1 }' /etc/passwd

$ awk -F":" '{ print $1 $3 }' /etc/passwd #沒有分隔，自動拼接字串

$ awk -F":" '{ print $1， $3 }' /etc/passwd #結果空格分隔

$ awk -F":" '{ print $1 " " $3 }' /etc/passwd #空格分隔

$ awk -F":" '{ print "username: " $1 "\t\tuid:" $3}' /etc/passwd

案例1：NR只查看檔案內第20到第30行的內容

awk '{if(NR>=20 && NR<=30) print $1}' table.txt

案例2：NF的使用，列印某行欄位數是N個的行資料

awk -F ":" 'NF==8{print $0}' awk_testdata.txt

1.sort的格式： sort 選項 檔案

2.sort常見的引數

1. sort -u作用很簡單，就是在輸出行中去除重復行，
2. sort -r默認的排序方式是升序，如果想改成降序，就加個-r就搞定
3. sort -n -n選項，來告訴sort，“要以數值來排序”,默認sort按照字符排序
4. sort -k指定需要排序的列
5. sort -t設定排序時所用的分隔字符，指定行欄位的分隔符是什么

3.案例演示

3.1.sort演示

3.2.sort -u去重排序

3.3 sort -r降序

4.sort排序后資料保存以及sort-n使用

5.指定分隔符以及指定排序-t,-k

綜合案例：

hdfs dfs -du -h /user/*/.Trash |awk '{if($2=="T") print$0}'|sort -nrk 1