Shell進階必會的幾個工具，你都掌握了嗎?(附真實企業面試題)

寫在前面： 博主是一名大資料行業的蒟蒻小白，昵稱來源于《愛麗絲夢游仙境》中的Alice和自己的昵稱，作為一名互聯網小白，寫博客一方面是為了記錄自己的學習歷程，一方面是希望能夠幫助到很多和自己一樣處于起步階段的萌新，由于水平有限，博客中難免會有一些錯誤，有紕漏之處懇請各位大佬不吝賜教！個人小站:http://alices.ibilibili.xyz/ , 博客主頁:https://alice.blog.csdn.net/
盡管當前水平可能不及各位大佬，但我還是希望自己能夠做得更好，因為一天的生活就是一生的縮影，我希望在最美的年華，做最好的自己！

        在之前的一篇博客??《零基礎小白如何入門Shell，快來看看(收藏)這篇大總結!!》中，博主已經為大家介紹了Shell常見的入門級操作，本篇博客，我們就來學習一些進階的內容，并且還附帶一些對應的測驗題，感興趣的小伙伴們記得點個贊以表支持喲~

常用的Shell工具

1、cut

        cut的作業就是“剪”，具體的說就是在檔案中負責剪切資料用的，cut命令從檔案的每一行剪切位元組，字符和欄位并將這些位元組，字符和欄位輸出，

1.1 基本用法

cut[選項引數] filename
說明： 默認分隔符是制表符

1.2 選項引數說明

1.3 案例實操

(0) 資料準備

[root@node01 datas]# touch cut.txt
[root@node01 datas]# vim cut.txt
dong shen
guan zhen
wo  wo
lai  lai
le  le

(1)切割 cut.txt 第一列

[root@node01 datas]# cut -d " " -f 1 cut.txt
dong
guan
wo
lai
le

(2)切割cut.txt第二，三列

[root@node01 datas]# cut -d " " -f 2,3 cut.txt
shen
zhen
 wo
 lai
 le

(3)在cut.txt檔案中切割出guan

[root@node01 datas]# cat cut.txt | grep "guan" | cut -d " " -f 1
guan

(4)選取系統PATH變數值，第2個“：”開始后的所有路徑：

[root@node01 datas]# echo $PATH
/usr/lib64/qt-3.3/bin::/export/servers/kafka-eagle-bin-1.3.2/kafka-eagle-web-1.3bin::/export/servers/jdk1.8.0_144/bin:::/export/servers/hbase-1.1.1/bin::/exportrvers/hadoop-2.6.0-cdh5.14.0/bin:/export/servers/hadoop-2.6.0-cdh5.14.0/sbin:/usocal/sbin:/usr/local/bin:/sbin:/bin:/usr/sbin:/usr/bin:/export/servers/hive-1.1.dh5.14.0/bin:/export/servers/kafka_2.11-1.0.0//bin:/export/servers/pig/bin:/exposervers/spark/bin:/export/servers/sqoop-1.4.6.bin__hadoop-2.0.4-alpha/bin:/exporervers/zookeeper-3.4.5-cdh5.14.0/bin:/root/bin
[root@node01 datas]# echo $PATH | cut -d : -f 2-
:/export/servers/kafka-eagle-bin-1.3.2/kafka-eagle-web-1.3.2/bin::/export/servers/jdk1.8.0_144/bin:::/export/servers/hbase-1.1.1/bin::/export/servers/hadoop-2.6.0-cdh5.14.0/bin:/export/servers/hadoop-2.6.0-cdh5.14.0/sbin:/usr/local/sbin:/usr/local/bin:/sbin:/bin:/usr/sbin:/usr/bin:/export/servers/hive-1.1.0-cdh5.14.0/bin:/export/servers/kafka_2.11-1.0.0//bin:/export/servers/pig/bin:/export/servers/spark/bin:/export/servers/sqoop-1.4.6.bin__hadoop-2.0.4-alpha/bin:/export/servers/zookeeper-3.4.5-cdh5.14.0/bin:/root/bin

(5)切割 ifconfig 后列印的IP地址

[root@node01 datas]# ifconfig eth0 | grep "inet addr" | cut -d: -f 2 | cut -d" " -f1
192.168.100.100

2、sed

        sed是一種流編輯器，它一次處理一行內容，處理時，把當前處理的行存盤在臨時緩沖區中，稱為“模式空間”，接著用sed命令處理緩沖區中的內容，處理完成后，把緩沖區的內容送往螢屏，接著處理下一行，這樣不斷重復，直到檔案末尾，檔案內容并沒有改變，除非你使用重定向存盤輸出，

2.1 基本用法

sed[選項引數] ‘command’ filename

2.2 選項引數說明

2.3 命令功能描述

2.4 案例實操

(0) 資料準備

[root@node01 datas]# touch sed.txt
[root@node01 datas]# vim sed.txt
dong shen
guan zhen
wo  wo
lai  lai

le  le

(1) 將“mei nv”這個單詞插入到sed.txt第二行下，列印

[root@node01 datas]# sed '2a mei nv' sed.txt
dong shen
guan zhen
mei nv
wo  wo
lai  lai

le  le

注意：檔案并沒有改變

(2) 洗掉 sed.txt 檔案所有包含 wo 的行

[root@node01 datas]# sed '/wo/d' sed.txt
dong shen
guan zhen
lai  lai

le  le

(3) 將sed.txt檔案中wo替換為ni

[root@node01 datas]# sed 's/wo/ni/g' sed.txt
dong shen
guan zhen
ni  ni
lai  lai

le  le

注意：‘g’表示global，全部替換

(4) 將sed.txt檔案中的第二行洗掉并將wo替換為ni

[root@node01 datas]# sed -e '2d' -e 's/wo/ni/g' sed.txt
dong shen
ni  ni
lai  lai

le  le

3、awk

        一個強大的文本分析工具，把檔案逐行的讀入，以空格為默認分隔符將每行切片，切開的部分再進行分析處理，

3.1 基本用法

awk [選項引數] ‘pattern1{action1} pattern2{action2}…’ filename
pattern : 表示AWK在資料中查找的內容，就是匹配模式
action：在找到匹配內容時所執行的一系列命令

3.2 選項引數說明

3.3 案例實操

(0) 資料準備

[root@node01 datas]# cp /etc/passwd ./

(1) 搜索passwd檔案以root關鍵字開頭的所有行，并輸出該行的第7列

[root@node01 datas]# awk -F : '/^root/{print $7}' passwd
/bin/bash

(2) 搜索passwd檔案以root關鍵字開頭的所有行，并輸出該行的第1列和第7列，中間以“，”號分割

[root@node01 datas]# awk -F : '/^root/{print $1","$7}' passwd
root,/bin/bash

注意：只有匹配了pattern的行才會執行action

(3) 只顯示 passwd 檔案的第一列和第七列，以逗號分割，且在第一行內容前面添加列名user，shell在最后一行添加內容dahaige，/bin/zuishuai

[root@node01 datas]# awk -F : 'BEGIN{print "user,shell"}{print $1","$7} END{print "dahaige,/bin/zuishuani"}' passwd
user,shell
root,/bin/bash
bin,/sbin/nologin
......
hadoop,/bin/bash
dahaige,/bin/zuishuani

注意：BEGIN 在所有資料讀取行之前執行；END 在所有資料執行之后執行，

(4)將passwd檔案中的用戶id增加數值1并輸出

[root@node01 datas]# awk -v i=1 -F : '{print $3 + i}' passwd
1
2
3
4
......

3.4 awk的內置變數

3.5 案例實操

(1) 統計 passwd 檔案名，每行的行號，每行的列數

[root@node01 datas]# awk -F : '{print "filename:" FILENAME ",linenumber:" NR ",columns:" NF}' passwd
filename:passwd,linenumber:1,columns:7
filename:passwd,linenumber:2,columns:7
filename:passwd,linenumber:3,columns:7
......

4、sort

         sort 命令在Linux里非常有用，它將檔案進行排序，并將排序結果標準輸出，

4.1 基本語法

sort(選項)(引數)

引數：指定待排序的檔案串列

4.2 案例實操

(0) 資料準備

[root@node01 datas]# touch sort.sh
[root@node01 datas]# vim sort.sh
bb:40:5.4
bd:20:4.2
xz:50:2.3
cls:10:3.5
ss:30:1.6

(1) 按照 " : " 分割后的第三列倒序排序，

[root@node01 datas]# sort -t : -nrk 3 sort.sh
bb:40:5.4
bd:20:4.2
cls:10:3.5
xz:50:2.3
ss:30:1.6

        看到這里的朋友，一定對于Shell有了新的認知，但是我們了解得再多，終歸還是需要通過實踐來測驗我們的能力，下面菌哥放上幾道關于Shell的企業真實面試題，感興趣的朋友可以測驗一下~

企業真實面試題

1、京東

        問題1：使用Linux命令查詢 sed.txt 中空行所在的行號

        awk '/^$/{print NR}' sed.txt

        問題2：有檔案 chengji.txt 內容如下:

張三 40
李四 50
王五 60

        使用Linux命令計算第二列的和并輸出

        cat chengji.txt | awk -F " " '{sum+=$2} END{print sum}'

2、搜狐&和訊網

        問題1：Shell腳本里如何檢查一個檔案是否存在？如果不存在該如何處理？

#!/bin/bash

if [ -f file.txt ]; then
   echo "檔案存在!"
else
   echo "檔案不存在!"
fi

3、新浪

問題1：用shell寫一個腳本，對文本中無序的一列數字排序

[root@node01 datas]# cat demo.txt
9
8
7
6
5
4
3
2
10
1
[root@node01 datas]# sort -n demo.txt | awk '{a+=$0;print $0}END{print "SUM="a}'
1
2
3
4
5
6
7
8
9
10
SUM=55

3、金和網路

        問題1：請用shell腳本寫出查找當前檔案夾下所有的文本檔案內容中包含有字符”shen”的檔案名稱

[root@node01 datas]# grep -r "shen" .
./sed.txt:dong shen
./cut.txt:dong shen
[root@node01 datas]# grep -r "shen" . | cut -d ":" -f 1
./sed.txt
./cut.txt

小結

        本篇博客介紹了Shell常用的幾種工具：cut，sed，awk，sort，這些工具不論是在Linux的開發，還是在大資料運維環境下，使用的頻率都很高，熱愛學習的小伙伴們記得勤加練習喲~

        如果以上程序中出現了任何的紕漏錯誤，煩請大佬們指正??

        受益的朋友或對大資料技術感興趣的伙伴記得點贊關注支持一波??

        希望我們都能在學習的道路上越走越遠??