一.Shell介紹：shell是一個命令列解釋器，腳本語言，活動在應用程式與內核之間，用于接收應用程式(用戶)命令，呼叫作業系統內核，

（1）編譯型語言:

程式在執行之前需要個專門的編譯程序，把程式編譯成為機器語言檔案，運行時不需要重新翻譯，直接使用編譯的結果就行了，程式執行效率高，依養編譯器，跨平臺性差些，如C、C++、java

（2）解釋型語言:

程式不需要編譯，程式在運行時由解釋器翻譯成機器語言，每執行一次都要翻譯一次，因此效率比較低，比如Python/javaScript/Shell等都是解釋型語言，

二、Shell決議器

（1）Linux提供的Shell決議器有：

（2）bash和sh的關系：

[root@Linux01 bin]#  ll  | grep bash
-rwxr-xr-x. 1 root root 942200 3月 23 2017 bash
lrwxrwxrwx. 1 root root 4 6月 29 19:35 sh -> bash

（3）Centos默認的決議器是bash

[root@Linux01 bin]#  echo $SHELL
/bin/bash

三、Shell腳本入門

一句話概括：簡單來說腳本就是將需要執行的命令保存到文本中，按照順序執行（由上往下執行），它是解釋型的，不需要編譯，

1．腳本格式

腳本以#!/bin/bash或者#!/bin/env bash開頭（指定決議器）

腳本中間寫注釋資訊內容，單行注釋#  多行注釋 :<<EOF   EOF       注釋內容如下：

<<EOF
name:second-shell.sh
desc:創建檔案，在檔案中添加內容，列印資訊
update：2020-07-02
path:/home
EOF

然后寫腳本內容

2．第一個Shell腳本：輸出helloworld

（1）需求：創建一個Shell腳本，輸出helloworld

（2）案例實操：

[jinghang@hadoop101 datas]$ touch helloworld.sh

[jinghang@hadoop101 datas]$ vi helloworld.sh

 在helloworld.sh中輸入如下內容

#!/bin/bash

echo "helloworld"

運行腳本，會輸出 helloWord

　　3、腳本的常用執行方式

第一種：

采用bash或sh+腳本的相對路徑或絕對路徑（不用賦予腳本+x權限）

       sh+腳本的相對路徑

[jinghang@hadoop101 datas]$ sh helloworld.sh

Helloworld

       sh+腳本的絕對路徑

[jinghang@hadoop101 datas]$ sh /home/jinghang/datas/helloworld.sh

helloworld

       bash+腳本的相對路徑

[jinghang@hadoop101 datas]$ bash helloworld.sh

Helloworld

       bash+腳本的絕對路徑

[jinghang@hadoop101 datas]$ bash /home/jinghang/datas/helloworld.sh

Helloworld

第二種：

采用輸入腳本的絕對路徑或相對路徑執行腳本（必須具有可執行權限+x，推薦采用這種方式）

（a）首先要賦予helloworld.sh 腳本的+x權限

[jinghang@hadoop101 datas]$ chmod +x helloworld.sh

（b）執行腳本

相對路徑

[jinghang@hadoop101 datas]$ ./helloworld.sh

Helloworld

絕對路徑

[jinghang@hadoop101 datas]$ /home/jinghang/datas/helloworld.sh

Helloworld

注意：第一種執行方法，本質是bash決議器幫你執行腳本，所以腳本本身不需要執行權限，第二種執行方法，本質是腳本需要自己執行，所以需要執行權限，

4、查看腳本的執行流程（一般使用這個命令來查看腳本執行的步驟）

[jinghang@hadoop101 datas]$ bash -x  batch.sh

5、查看腳本的語法（一般使用這個命令來檢查腳本語法錯誤）

[jinghang@hadoop101 datas]$ bash -n  batch.sh

4、shell變數：變數是用來臨時保存資料的，該資料是可以變化的資料

1. 讀取Shell中所有變數命令：set    讀取環境變數：env

2. 系統變數
   a）$HOME、$PWD、$SHELL、$USER
   b）讀取變數：echo $變數名

3. 自定義變數
   a）用戶變數
       作用域（只在當前會話的當前用戶下有效）
       定義變數：
           變數名=值
           變數名=`執行命令`
           變數名=$(執行命令)
       讀取變數：echo $變數名
             echo ${A:2:3}  (切片，讀取變數幾位，索引從0開始，第一個冒號后面代表索引開始位置，第二個冒號后面代表讀取幾位)
             echo ${A}
             echo $A
       撤銷變數：unset 變數名
       靜態變數（一旦創建，只可讀，不能unset）: readonly 變數名=值
       定義有型別的變數
           目的：給變數做一些限制，固定變數的型別
           語法：declare 選項 變數名=變數值
           常用選項
               -i 將變數看作整數
               -r 創建只讀變數
   b）全域環境變數
       作用域（針對于當前會話下的所有用戶有效）
       關鍵字：export
       定義變數：export 變數名=值
       撤銷和讀取同上
   c）系統環境變數
       作用域（針對于所有會話下的所有用戶都有效）
       編輯組態檔：vim /etc/profile
           例如添加系統環境變數 MYNAME=jinghang
               #系統環境變數
               export MYNAME=jinghang
      變數生效：source /etc/profile
          
      經驗技巧：
       （1）變數名稱可以由字母、數字和下劃線組成，但是不能以數字開頭，環境變數名建議大寫，
       （2）等號兩側不能有空格
       （3）在bash中，變數默認型別都是字串型別，無法直接進行數值運算，
       （4）變數的值如果有空格，需要使用雙引號或單引號括起來，

4. 特殊變數

             a）$n
　　　　語法：$n （功能描述：n為數字，$0代表該腳本名稱，$1-$9代表第一到第九個引數，十以上的引數，十以上的引數需要用大括號包含，如${10}）
　　   b）$#
　　　　語法：$# （功能描述：獲取所有輸入引數個數，常用于回圈）
　　   c）$*
　　　　語法：$* （功能描述：這個變數代表命令列中所有的引數，$*把所有的引數看成一個整體）
　   　d）$@
　　　　語法：$@ （功能描述：這個變數也代表命令列中所有的引數，不過$@把每個引數區分對待）
　　   e）$?
　　　　語法：$？ （功能描述：最后一次執行命令的回傳狀態，如果值為0，命令正確執行；如果值為非0（具體是哪個數，由命令自己來決定），則命令執行不正確）

5、shell陣列

• 定義：

        Shell 陣列用括號來表示，元素用"空格"符號分割開，如果元素中包含空格，則該元素使用雙引號引起來，例如"hello word"

• 語法：

        往陣列里添加值，陣列的長度自增，元素索引從0開始
          陣列名=(value1 value2 value3)

• 賦值：

        創建時添加 陣列名=(A B "C B" D)
          創建后添加 陣列名[4]=E

• 修改：

        區域：根據索引修改陣列   例如：陣列名[0]=F
          整體：可以直接給陣列變數重新賦值

• 讀取：

        獲取陣列中所有的元素：echo ${陣列名[*]} 或者 echo ${陣列名[@]}
          根據索引讀取陣列元素：echo ${陣列名[索引值]}
          獲取陣列的長度：echo ${#陣列名[*]} 或者 echo ${#陣列名[@]}

• 洗掉：

        unset 關鍵字來洗掉陣列元素，格式如下：
            unset  陣列名[index]
          不寫下標，洗掉整個陣列，格式如下：
            unset 陣列名

6、Shell中的運算子

• 整數運算語法(默認)：

    （1）$(( 運算式 ))   或  $[運算式] 
     （2）運算子   + , - , *, /, %   加，減，乘，除，取余

     （3）運算式要與小擴號之間有空格，中括號的話不用加空格

　 （4）expr + , - , \*, /, % 加，減，乘，除，取余   注意：expr運算式運算子間要有空格   例如 expr $A  +  $B

• 小數運算：

       bc：Linux下的一個計算器程式，可以處理整數和小數，Shell 本身只支持整數運算，想計算小數就得使用 bc 這個外部的計算器
        在 Shell 腳本中，借助管道或者輸入重定向來使用 bc 計算器，
        語法：echo "scale=要保留的小數位數 ; 計算式" | bc
            expression就是希望計算的數學運算式
        案例1：計算3*8/7 結果保留4位小數
            echo "scale=4; 3*8/7" | bc
        案例2：計算3*8/7 ，再乘5，結果保留3位小數
            echo "scale=3; 3*8/7*5" | bc
        案例4：計算4/9，保留2位，結果賦值給ret變數
            ret=$(echo "scale=2;4/9" | bc)

7、Shell條件判斷

• 語法：

        注意：條件非空即為true，[ 判斷式 ]回傳true，[判斷式] 回傳false，[ 判斷式 ]（注意判斷式前后要有空格）

• 常用條件判斷

    （1）兩個整數之間比較
            -lt 小于（less than）
            -le 小于等于（less equal）
            -eq 等于（equal）
            -gt 大于（greater than）
            -ge 大于等于（greater equal）
　　　 -ne 不等于（Not equal）
    （2）按照檔案權限進行判斷
　　    -r 有讀的權限（read）
　　      -w 有寫的權限（write）
　　      -x 有執行的權限（execute）
    （3）按照檔案型別進行判斷
　　    -f 檔案存在并且是一個常規的檔案（file）
　　      -e 檔案存在（existence）
　　      -d 檔案存在并是一個目錄(判斷目錄)（directory）

• 案例：

        多條件判斷（&& 表示前一條命令執行成功時，才執行后一條命令，|| 表示上一條命令執行失敗后，才執行下一條命令）
            [jinghang@hadoop101 ~]$ [ condition ] && echo OK || echo NOTOK
            OK
            [jinghang@hadoop101 ~]$ [ condition ] && [ ] || echo NOTOK
            NOTOK

8、Shell流程控制　

• if 判斷陳述句

        注意事項：
        （1）[ 條件判斷式 ]，中括號和條件判斷式之間必須有空格
        （2）if后要有空格

        語法1：
            if [ 條件判斷式 ]
            then
                主體代碼
            fi
        語法2：
            if [ 條件判斷式 ]
            then
                主體代碼
            else
                主體代碼
            fi
        語法3：
            if [ 條件判斷式 ]
            then
                主體代碼
            elif [條件判斷式]
            then
                主體代碼
            else
                主體代碼
            fi

• case 判斷陳述句

        基本語法：
            case $變數名 in
                    "值1"）
                    如果變數的值等于值1，則執行程式1
                    ;;
                    "值2"）
　　　　　  如果變數的值等于值2，則執行程式2
　　　　      ;;
　　　　      …省略其他分支…
                    *）
                    如果變數的值都不是以上的值，則執行此程式
                     ;;
              esac
        注意事項：
             1)case行尾必須為單詞“in”，每一個模式匹配必須以右括號“）”結束，
　　      2)雙分號“;;”表示命令序列結束，相當于java中的break，
　　      3)最后的“*）”表示默認模式，相當于java中的default，

• for 回圈陳述句

        基本語法：
　　    語法一
　　        for  (( 初始值;回圈控制條件;變數變化 ))
　　　　 do
　　                邏輯代碼
　　        done
　　    語法二
                $* : 讀取傳入腳本中的全部引數,把引數看作一個整體
                $@ : 讀取傳入腳本中的全部引數,把引數區分對待

                    for 變數 in "$*或者$@"
                    do
                         邏輯代碼
                    done

　　    注意：for 與 ( 號之間要有空格

• while 回圈陳述句

        基本語法
　　    while [ 條件判斷式 ]
　　    do
　　        邏輯代碼
　　    done
　　注意：While 與 [ 號之間要有空格

9、read讀取控制臺輸入

• 基本語法：read 【選項】【引數】

　　    選項
　　        -p 指定讀取值時的提示符；
　　        -t 指定讀取值時等待的時間（秒);
　　       引數：指定讀取值的變數名

• 案例

　　    1、請在3秒內輸入用戶名　

　　    [root@Linux01 home]# read -p "請在3秒內輸入用戶名:" -t 3 name
　　    請在3秒內輸入用戶名:zhangsan

　　2、通過read定制選單欄

　　    cat <<-EOF

　　   1：代表對資料進行倒序排列
　　    2：代表對資料進行正序排列
　　   EOF
　　    read -p "請在20秒內輸入數字：" -t  20 num

10、Shell函式　　

•  系統函式

　　    basename
　　        basename 命令會刪掉所有的前綴包括最后一個（‘/’）字符，然后將字串顯示出來(去掉路徑，只顯示最后的檔案名)
　　        例如：[root@Linux01 home]# basename /home/test/ccc.txt
　　　　　　    ccc.txt

　　    dirname
　　        從給定的包含絕對路徑的檔案名中去除檔案名，然后回傳剩下的路徑(去掉檔案名，只顯示檔案名之前的絕對路徑)
　　        例如：[root@Linux01 home]# dirname /home/test/ccc.txt
　　　　　　     /home/test

•  自定義函式

        語法：
　　    function 函式名()
　　    {
　　　　 方法體
　　        [return int;]
　　    }

　　　　    撰寫完腳本之后，執行腳本，就能呼叫函式了，直接輸函式名就可以(在外部呼叫)；在腳本內部呼叫函式直接函式名就可以，
　　經驗技巧
        （1）必須在呼叫函式地方之前，先宣告函式，shell腳本逐行運行，不會先編譯，
           （2）函式回傳值，只能通過$?系統變數獲得，可以顯示加：return回傳，如果不加，將以最后一條命令運行結果，作為回傳值，return后跟數值n(0-255)
　　    創建用戶函式(只能當前用戶呼叫)

　　　　1.在用戶的家目錄中(/home/用戶名)找到隱藏檔案.bashrc進行撰寫函式

　　　　     2.source  .bashrc

　　　　     3.現在就能直接呼叫函式了

 　 創建系統函式(所有用戶和會話可呼叫，重啟后仍可呼叫)

　　　　1.root用戶在/etc/bashrc檔案下撰寫函式

　　　   　2、source  /etc/bashrc

　　　       3.所有用戶都可直接呼叫

11、 shell文本處理工具

•  cut(查看)

      功能描述：cut的作業就是“剪”，具體的說就是在檔案中負責剪切資料用的，cut指令用于顯示行中的指定部分，洗掉檔案中的指定欄位，
        語法：cut 【選項】【檔案】
        選項 
            -b <起始位元組位置-結束位元組位置> 僅顯示行中指定位元組范圍的內容，例如，“-b 2-10”將顯示第2~10個位元組位置的內容,當只有一個數字時，則僅顯示指定字符位置的內容.
            -f <起始列位置-結束列位置> 顯示指定列的欄位內容
            -d <分隔符> 指定欄位的分隔符，默認的欄位分隔符為“TAB”
            -c <起始字符位置-結束字符位置> 僅顯示行中指定范圍的字符，例如，“b2-10” 將顯示第2~10個字符位置的內容，當只有一個數字時，則僅顯示指定字符位置的內容
　　 案例：
　　　　切割ifconfig 后列印的IP地址，顯示ip地址前3位
　　　　　　ifconfig eth0 | grep "inet addr" | cut -d : -f 2 | cut -d " " -f 1 | cut -c 1-3

• sort(查看)

　  功能描述：它將檔案進行排序，并將排序結果標準輸出
　　語法：sort 【選項】【引數】
　　    選項
　　        -n 依照數值的大小排序
　　        -r 以相反的順序來排序
　　        -t 設定排序時所用的分隔字符
　　        -k 指定需要排序的列
　　    引數：是指待排序的檔案
　　案例：
　　　　將用戶串列按照主ID進行倒序排列

　　　　[mayun@Linux01 home]$  sort -t : -nrk 4 /etc/passwd

• 正則運算式

　  概述：正則運算式，又稱規則運算式，（英語：Regular Expression，在代碼中常簡寫為regex、regexp或RE），正則運算式通常被用來檢索、替換那些符合某個模式(規則)的文本
　　單字符匹配
　　　　\d 匹配一個數字字符，等價于[0-9]
　　　　\D 匹配一個非數字字符，等價于[^0-9]
　　　　\w 匹配包括下劃線的任何單詞字符，類似但不等價于[A-Za-z0-9_]
　　　　\W 匹配任何非單詞字符，等價于 [^A-Za-z0-9_]
　　　　\s 匹配空白字符，包括空格、制表符、換頁符等等，等價于[ \f\n\r\t\v]
　　　　\S 匹配任何可見字符，等價于[^ \f\n\r\t\v]
　　　　.點 匹配除“\n”和"\r"之外的任何單個字符
　　　　[a-z] 字符范圍，匹配a~z之間的任意字符
　　　　[^a-z] 匹配除了a~z之間的其他字符
　　　　\n 匹配換行符
　　多字符匹配
　　　　+ 匹配前面的子運算式一次或多次(大于等于1次）
　　　　* 匹配前面的子運算式任意次
　　　　? 匹配前面的子運算式零次或一次
　　　　{n} n是一個非負整數，匹配確定的n次
　　　　{n,m} m和n均為非負整數，其中n<=m，最少匹配n次且最多匹配m次
　　其他
　　　　^ 匹配輸入字行首
　　　　$ 匹配輸入行尾
　　　　| 將兩個匹配條件進行邏輯“或”（or）運算
　　　　　　x|y 匹配x或y

　　貪婪模式：貪婪模式在整個運算式匹配成功的前提下，盡可能多的匹配   例如： [a-b]*運算式去匹配字串ababababababbaba，就會全部匹配上

　　非貪婪模式：在整個運算式匹配成功的前提下，盡可能少的匹配      例如：[a-b]*?運算式去匹配字串ababababababbaba，就只會匹配ab

•  sed

      功能描述：sed是一種單行文本流式編輯器，它一次處理一行內容，處理時，把當前處理的行存盤在臨時緩沖區中，稱為“模式空間”，接著用sed命令處理緩沖區中的內容，處理完成后，把緩沖區的內容送往螢屏，接著處理下一行，這樣不斷重復，直到檔案結束，檔案內容并沒有改變，除非你使用重定向存盤輸出，
　　語法：sed [選項]  ’命令‘    檔案名
　　選項 功能
　　　　-e 直接在指令列模式上進行sed的動作編輯（一次執行多個操作時），
　　　　-i 直接編輯檔案(修改源檔案)
　　命令 功能
　　　　p 列印一般 -n 配合使用
　　　　a 新增，在指定的行之后插入內容
　　　　i 新增，在指定的行之前插入內容
　　　　d 洗掉
　　　　s 查找并替換 (注意：如果進行全域的查找替換 sed  -e  's/查找條件/替換字串/g' )
　　案例：
　　資料準備
　　（1）將“mei nv”這個單詞插入到sed.txt第二行下
　　　　sed  -e '2a mei nv' sed.txt
　　（2）洗掉sed.txt檔案所有以wo開頭的行
　　　　sed  -e '/^wo/d' sed.txt
　　（3）將sed.txt檔案中wo替換為ni
　　　　sed  -e  's/wo/ni/g'  sed.txt
　　　　注意：‘g’表示global，全部替換
　　（4）將sed.txt檔案中的第二行洗掉并將wo替換為ni
　　　　sed -e '2d'  -e  's/wo/ni/g'  sed.txt
　　（5）打開檔案注釋單行注釋的行(刪掉第一個#號)
　　　　sed -e  's/^#//g'  sed.txt
　　 (6) 給檔案的前5行內容添加注釋
　　　　sed  -e  '1,5s/^/#/g' sed.txt

•  awk

　  功能描述：是一門編程語言，也是一個強大的文本分析工具，逐行掃描檔案，默認從第一行到最后一行，尋找匹配特定模式的行，并在這些行上進行你想要的操作，
　　語法：awk 選項 'pattern1{action1} pattern2{action2}...' 檔案名
　　pattern：表示AWK在資料中查找的內容，就是匹配模式，正則運算式
　　action：在找到匹配內容時所執行的一系列命令
　　選項 功能
　　　　-F 指定輸入檔案折分隔符
　　　　-v 賦值一個用戶定義變數
　　案例：
　　　　（1）搜索passwd檔案以root關鍵字開頭的所有行，并輸出該行的第7列，
　　　　　　　　awk -F : '/^root/{print $7}' passwd
　　　　（2）搜索passwd檔案以root關鍵字開頭的所有行，并輸出該行的第1列和第7列，中間以“，”號分割，
　　　　　　　　awk -F : '/^root/{print $1","$7}' passwd
　　　　　　　　注意：只有匹配了pattern的行才會執行action
　　　　（3）只顯示/etc/passwd的第一列和第七列，以逗號分割，且在所有行前面添加列名user，shell在最后一行添加"總用戶數：用戶數量"，
　　　　　　　　awk -F : 'BEGIN{sum=0;print "user, shell"} {sum=sum+1;print $1","$7} END{print "總用戶為:"sum}' passwd

　　　　　　　　或者awk -v  sum=0  -F : 'BEGIN{print "user, shell"} {sum=sum+1;print $1","$7} END{print "總用戶為:"sum}' passwd
　　　　　　　　注意：BEGIN 在所有資料讀取行之前執行；END 在所有資料執行之后執行，
　　　　（4）將passwd檔案中的用戶id增加數值1并輸出計算后的用戶id和用戶名
　　　　　　　　awk -v i=1 -F : '{print $1 "," $3+i}' passwd
　　awk的內置變數
　　　　變數 說明
　　　　　　FILENAME 檔案名
　　　　　　NR 已讀的記錄數
　　　　　　NF 瀏覽記錄的域的個數（切割后，列的個數）
　　　　案例：
　　　　（1）統計passwd檔案名，每行的行號，每行的列數
　　　　　　　　awk -F: '{print "filename:" FILENAME ", linenumber:" NR ",columns:" NF}' passwd
　　　　（2）切割IP
　　　　　　　　ifconfig eth0 | grep "inet addr" | awk -F: '{print $2}' | awk -F " " '{print $1}'
　　　　（3）查詢sed.txt中空行所在的行號
　　　　　　　　awk '/^$/{print NR}' sed.txt

標籤：Linux

上一篇：Linux系統下進行三臺虛擬機的分布式集群安裝 第一臺主機能正常啟動所有行程、第二臺和第三臺出不來datanode行程 求大神指點 附上日志截圖

下一篇：如何查看docker run啟動引數命令