一、grep

grep的一些正則運算式的鏈接，之前寫過，所以這篇就不多描述了（點擊這里跳轉）
grep命令——檢索和過濾檔案內容 （在檔案中去查找并顯示包含指定字串的行）
語法結構： grep 選項 查找條件 目標檔案
選項：
-i 查找內容時忽略大小寫
-v 條件反轉 （和所寫的條件正好完全相反）
-n 顯示行號

二、sed流編輯器

（1）sed簡介：

sed是一種流編輯器，它是文本處理中非常適中的工具，能夠完美的配合正則運算式使用，功能不同凡響，處理時，把當前處理的’行‘存盤在臨時緩沖區中，又稱為 ‘模式空間’（pattern space） ，接著使用sed命令再去處理緩沖區中的內容，處理完成后，把緩沖區的內容輸出到螢屏上，接著再去處理下一行，這樣不斷重復，知道處理到檔案的末尾，檔案內容并沒有改變（也可以加選項，去直接修改檔案，或者使用重定向指定檔案，存盤資料）
sed主要用來自動編輯一個或多個檔案，簡化對檔案的反復操作，撰寫轉換程式等

（2）作業流程：

• 讀取——執行——顯示
• 常見用法：
  sed [選項] ‘操作’ 引數
  sed [選項] -f scriptfile 引數
  引數就是檔案，也就是指定的待處理的文本檔案串列

- 常見選項

1. -e<script>或  expression=<script>:一選項中的指定的 script來處理輸入的文本檔案
2. -f<script檔案>或  file=<script檔案>：以選項中指定的script檔案來處理輸入的文本檔案
3. -h或  help：顯示幫助
4. -n或  quiet或——silent：僅顯示script處理后的結果
5. -V或  version：顯示版本資訊
6. -i  直接編輯文本檔案（加了這個選項后，你的操作會直接修改文本檔案）

- 常見操作

1. a\ 在當前行下面插入文本，
2. i\ 在當前行上面插入文本，
3. c\ 把選定的行改為新的文本，
4. d 洗掉，洗掉選擇的行，
5. D 洗掉模板塊的第一行，
6. s 替換指定字符
7. h 拷貝模板塊的內容到記憶體中的緩沖區，
8. H 追加模板塊的內容到記憶體中的緩沖區，
9. g 獲得記憶體緩沖區的內容，并替代當前模板塊中的文本，
10. G 獲得記憶體緩沖區的內容，并追加到當前模板塊文本的后面，
11. l 串列不能列印字符的清單，
12. n 讀取下一個輸入行，用下一個命令處理新的行而不是用第一個命令，
13. N 追加下一個輸入行到模板塊后面并在二者間嵌入一個新行，改變當前行號碼，
14. p 列印模板塊的行，
15. P(大寫) 列印模板塊的第一行，
16. q 退出Sed，
17. b lable 分支到腳本中帶有標記的地方，如果分支不存在則分支到腳本的末尾，
18. r file 從file中讀行，
19. t label if分支，從最后一行開始，條件一旦滿足或者T，t命令，將導致分支到帶有標號的命令處，或者到腳本的末尾，
20. T label 錯誤分支，從最后一行開始，一旦發生錯誤或者T，t命令，將導致分支到帶有標號的命令處，或者到腳本的末尾，
21. w file 寫并追加模板塊到file末尾，  
22. W file 寫并追加模板塊的第一行到file末尾，  
23. ! 表示后面的命令對所有沒有被選定的行發生作用，  
24. = 列印當前行號碼，  
25. # 把注釋擴展到下一個換行符以前， 

- sed替換標記

1. g 表示行內全面替換，  
2. p 表示列印行，  
3. w 表示把行寫入一個檔案，  
4. x 表示互換模板塊中的文本和緩沖區中的文本，  
5. y 表示把一個字符翻譯為另外的字符（但是不用于正則運算式）
6. \1 子串匹配標記
7. & 已匹配字串標記

- sed元字符集

1. ^  匹配行開始
2. $  匹配行結束
3. . 匹配一個非換行符的任意字符
4. * 匹配0個或多個字符
5. [] 匹配一個指定范圍內的字符
6. [^] 匹配一個不在指定范圍內的字符
7. \(..\) 匹配子串，保存匹配的字符
8. & 保存搜索字符用來替換其他字符
9. \< 匹配單詞的開始
10. \> 匹配單詞的結束
11. x\{m\} 重復字符x，m次
12. x\{m,\} 重復字符x，至少m次
13. x\{m,n\} 重復字符x，至少m次，不多于n次

sed用法示例

創建測驗檔案： （之后的測驗都是按這個文本來的，直接復制就行）

[root@localhost ~]# cat test.txt 
he was short and fat.
He was wearing a blue polo shirt with black pants.
The home of Football on BBC Sport online.
the tongue is boneless but it breaks bones.12!
google is the best tools for search keyword.
The year ahead will test our political establishment to the li
PI=3.141592653589793238462643383249901429
a wood cross!
Actions speak louder than words
#woood #
#woooooood #
AxyzxyzxyzxyzC
I bet this place is really spooky late at night!
Misfortunes never come alone/single.
I shouldn't have lett so tast.

（1）輸出符合條件的文本

——輸出所有內容，等同于cat test.txt

——輸出第三行

——輸出第三到五行

——輸出所有奇數行 （n 表示讀入下一行）

——輸出所有偶數行

——輸出1-5奇數行


——輸出第四行至第一個包含the的行（也就是第四行開始，一直篩選到下一個包含the的行，這里是第五行就有the，所以篩選了兩行）
——輸出包含the的所在行的行號（= 用來輸出行號，只顯示行號）

——輸出以PI開頭的行（^以PI開頭）

——輸出以數字結尾的行（$就是以什么什么結尾）

——輸出包含單詞wood的行<單詞>表示單詞邊界（即想要篩選包含單詞的行就要使用\<wood\>這種的）

（2）洗掉符合條件的文本 ’d’

nl ——計算檔案的行數
也就是說可以配合nl然后操作sed去洗掉指定的行數

——洗掉第三行 （因為全截圖的話就太大了，所以之后都是區域截圖，主要是知道效果即可）

——洗掉三到五行

——洗掉包含cross的行

——洗掉不包含cross的行 （！即相反的意思！d即是反向洗掉不帶cross的行）

——洗掉開頭為小寫字母的行

——洗掉以’ . ‘結尾的行（'/\.$/d' ,這個d前面的/容易打成\，操作時要注意）

——洗掉空行

——洗掉重復的空行（這個等同與cat -s test.txt,）

（3）替換符合條件的文本

——將每行的第一個the替換為THE

——將每行中的第二個l替換為L

——每行開始添加#字符（其實就是把開頭換成#）

——將3-5行的所有的the替換為THE（3，5就是三到五行，后面加了g就是所有的意思）

（4）遷移符合條件的文本

運算子：

• H 復制到剪貼板；
• g，G 將剪貼板中的資料覆寫/追加到指定行；
• w 保存為檔案；
• r 讀取指定檔案；
• a 追加指定內容
  ——將包含the的行，遷移到行尾（；用于多個操作，和管道符差不多，H復制到剪貼板---d洗掉---$G追加到行尾）
  
  ——將1-5行遷移到17行后
  
  ——將包含the的行另存為新檔案（w就是另存為，另存為到out.file）

——在包含the每行后添加檔案hostname內容（/the/r就是包含the的每行后面都加上/etc/hostname的內容，也就是讀取了指定檔案的內容）

——在第3行后插入新行，內容為New （a也就是添加了指定內容）

（5）使用腳本編輯檔案

使用sed腳本，將多個編輯指令存放到檔案中（每一行一條編輯指令），通過 -f 的方式呼叫
——將1-5行遷移到17行后

使用sed：
使用腳本：

效果其實是一樣的

三、awk工具

簡介：
awk是行處理器，相比較螢屏處理的優點，在處理龐大檔案時不會出現記憶體溢位或是處理緩慢的問題，通常用來格式化文本資訊

（1）awk作業流程

#awk -F ‘:’ ‘{print $1,$3,$4}’ /etc/passwd
按這條命令來說：

• awk命令會逐行讀取檔案的內容進行處理
• awk以’：’為分隔符，將第1行資料格式化為7段，每段資料存入$1–$7變數中，$0存盤這1行資料,-F即是按什么字符來分割，這里寫的就是-F：，說明以：來分割
• 一行處理完成繼續處理下一行，直到此檔案讀取結束
  執行完命令后的結果：
  

（2）awk常見用法

• awk 選項 ‘模式或條件 { 編輯指令 }’ 檔案1 檔案2 …
• awk -f 腳本檔案 檔案1 檔案2 …

（3）特殊的內建變數

$0           表示整個當前行
$1           每行第一個欄位
NF          欄位數量變數
NR          每行的記錄號，多檔案記錄遞增
FNR        與NR類似，不過多檔案記錄不遞增，每個檔案都從1開始
\t            制表符
\n           換行符
FS          BEGIN時定義分隔符
RS       輸入的記錄分隔符， 默認為換行符(即文本是按一行一行輸入)
~            匹配，與==相比不是精確比較（包括）
!~           不匹配，不精確比較
==         等于，必須全部相等，精確比較
!=           不等于，精確比較
&&　     邏輯與
||             邏輯或
+            匹配時表示1個或1個以上
/[0-9][0-9]+/   兩個或兩個以上數字
/[0-9][0-9]*/    一個或一個以上數字
FILENAME 檔案名
OFS      輸出欄位分隔符， 默認也是空格，可以改為制表符等
ORS        輸出的記錄分隔符，默認為換行符,即處理結果也是一行一行輸出到螢屏
-F'[:#/]'   定義三個分隔符
{print} 類似于顯示的意思，后面可以跟$位置變數顯示相應的欄位

用法示例：

（1）按行輸出文本

——輸出1-3行內容（NR==即是指定行數）

這里(NR>=1)&&(NR<=3)和上面的NR==1，NR==3意思其實是一樣的

——輸出奇數行(%2求模運算，余數為1是奇數，0為偶數 )

——輸出偶數行

——統計以/bin/bash結尾的行(和grep -c "/bin/bash$"其實是一樣的，grep的更簡單一點，看個人喜好)

（2）按欄位輸出文本

(這個感覺更常用一點，用法（1）的grep也能做到)
——輸出每行中以空格分割的第3個欄位(運用了位置變數與之配置，不加-F即默認是空格來分割)

——密碼為空的行 （我這個沒有密碼為空的用戶所以篩選不出來）

——輸出第7個欄位不是/bin/bsh也不是/sbin/nologin的行(!=就是不相同)

（3）通過管道符、雙引號呼叫shell命令

示例1：
條件：呼叫wc -l 命令統計使用bash的用戶個數

• 使用awk工具執行
  
• 使用grep命令執行
  
  （效果是一樣的）

示例2：
條件：呼叫w命令，統計在線用戶數

• 使用awk工具執行
  
• 使用常規命令執行 （所得減去2就是在線用戶數量，可以先試試w這個命令，前兩行是時間日期等）
  
  
  主要是看敲完命令后的效果，發現規律后就很好理解了，選項雖然多，但是好多也不常用，有時間的話記一下就可以，也不用全都記住，但是最起碼給一個sed這類的運算式什么的得能看懂