如何高效地遠程部署？自動化運維利器 Fabric 教程-有解無憂

關于 Python 自動化的話題，在上一篇文章中，我介紹了 Invoke 庫，它是 Fabric 的最重要組件之一，Fabric 也是一個被廣泛應用的自動化工具庫，是不得不提的自動化運維利器，所以，本文將來介紹一下它，

Fabric 主要用在應用部署與系統管理等任務的自動化，簡單輕量級，提供有豐富的 SSH 擴展介面，在 Fabric 1.x 版本中，它混雜了本地及遠程兩類功能；但自 Fabric 2.x 版本起，它分離出了獨立的 Invoke 庫，來處理本地的自動化任務，而 Fabric 則聚焦于遠程與網路層面的任務，

為了做到這點，Fabric 主要依賴另一大核心組件 Paramiko，它是基于 SSH 協議的遠程控制模塊，Fabric 在其基礎上封裝出了更加友好的介面，可以遠程執行 Shell 命令、傳輸檔案、批量操作服務器、身份認證、多種配置與設定代理，等等，

一、Fabric 的版本區分

Python 2 版本已經被官宣在今年元旦“退休”了，未來只會是 Python 3 的舞臺，為了適應 Python 版本的非兼容性遷移，很多專案也必須推出自己的新版本（兼容或只支持 Python 3），其中就包括本文的主角 Fabric，

Fabric 自身存在著 2 個大版本：Fabric 1 和 Fabric 2，而在這個庫的基礎上，還有兩個很容易混淆的相關庫：Fabric2 和 Fabric3（注意這里的數字是庫名的一部分），

它們的區分如下：

Fabric 1.x：支持 Python 2.5-2.7，但不支持 Python 3
Fabric 2.x：支持 Python 2.7 與 3.4+，但不兼容 Fabric 1.x 的 fabfile
Fabric2：等同于 Fabric 2.x，為了使不同版本共存（裝一個 1.x 舊版本，再裝它作為新版本）
Fabric3：一個基于 Fabric 1.x 的 fork（非官方），兼容 Python 2&3，兼容 Fabric1.x 的 fabfile

綜上可見，我們推薦使用官方的 Fabric 2.x 系列版本，但同時要注意，某些過時的教程可能是基于早期版本的（或非官方的 Fabric3，也是基于 Fabric 1.x），需要注意識別，

例如，在 Fabric 1.x 系列中這么寫匯入：from fabric.api import run；在新版本中將報錯：“ImportError: No module named api”（PS：可根據是否有 fabric.api 來判斷 Fabric 的版本，就像在 Python 中根據 print 陳述句或 print 函式來判斷版本一樣），同時，由于新版本不支持老版本的 fabfile，在使用時就可能報錯：“No idea what 'xxx' is!”

Fabric 2 是非兼容性版本，相比于前個版本，它主要改進的點有：

支持 Python 2.7 與 3.4+
執行緒安全，取消了多行程的并發實作
API 圍繞 fabric.connection.Connection 進行了重組
全面修改了命令列決議器，允許在每個任務的基礎上使用規則的 GNU/POSIX 風格的標志和選項（不再需要 fab mytask:weird = custom,arg = format）
可以宣告前置任務與后置任務
……（官方列了10幾條 [1]，本文不一一羅列）

之前介紹過的 invoke，就是在開發 Fabric 2 時被分離出來的，具體的原因可參見這個回答 [2]，總而言之，在使用 Fabric 時，應該注意版本差異的問題，

二、Fabric 的基本用法

1、安裝

首先是安裝：pip intall fabric ，安裝后，可在命令列視窗查看版本資訊：

>>> fab -V
Fabric 2.5.0
Paramiko 2.7.1
Invoke 1.4.0

執行“fab -V”，以上結果可看出我安裝的是 Fabric 2.5.0 版本，同時可看到它的兩個核心依賴庫 Paramiko 及 Invoke 的版本資訊，

2、一個簡單的例子

Fabric 主要用于遠程任務，即要對遠程服務器進行操作，下面是一個簡單的例子：

# 可使用任意的檔案名
from fabric import Connection

host_ip = '47.xx.xx.xx'  # 服務器地址
user_name = 'root' # 服務器用戶名
password = '****'  # 服務器密碼
cmd = 'date'  # shell 命令，查詢服務器上的時間

con = Connection(host_ip, user_name, connect_kwargs={'password': password})
result = con.run(cmd, hide=True)

print(result)

以上代碼，通過賬號+密碼登錄到遠程服務器，然后執行date命令，查看服務器的時間，執行結果：

Command exited with status 0.
=== stdout ===
Fri Feb 14 15:33:05 CST 2020

(no stderr)

現在列印的結果中，除了服務器時間，還有一些無關的資訊，這是因為它列印的“result”是一個"fabric.runners.Result"類，我們可以把其中的資訊決議出來：

print(result.stdout)  # Fri Feb 14 15:33:05 CST 2020
print(result.exited)  # 0
print(result.ok)      # True
print(result.failed)  # False
print(result.command) # date
print(result.connection.host) # 47.xx.xx.xx

上述代碼使用了 Connection 類及其 run() 方法，可在連接的服務器上運行 shell 命令，如果需要用管理員權限，則需替換成 sudo() 方法，如果要在本地執行 shell 命令，則需替換成 local() 方法，

除此之外，還有 get()、put() 等方法，詳見下文介紹，

3、命令列用法

上例代碼可寫在任意的 .py 腳本中，然后運行該腳本，或者稍微封裝下再匯入到其它腳本中使用，

另外，Fabric 還是個命令列工具，可以通過fab命令來執行任務，我們稍微改造一下上例的代碼：

# 檔案名：fabfile.py
from fabric import Connection
from fabric import task

host_ip = '47.xx.xx.xx'  # 服務器地址
user_name = 'root' # 服務器用戶名
password = '****'  # 服務器密碼
cmd = 'date'  # shell 命令，查詢服務器上的時間

@task
def test(c):
    """
    Get date from remote host.
    """
    con = Connection(host_ip, user_name, connect_kwargs={'password': password})
    result = con.run(cmd, hide=True)
    print(result.stdout)  # 只列印時間

解釋一下，主要的改動點有：

fabfile.py 檔案名：入口代碼的腳本名必須用這個名字
@task 裝飾器：需要從 fabric 中引入這個裝飾器，它是對 invoke 的 @task 裝飾器的封裝，實際用法跟 invoke 一樣（注意：它也需要有背景關系引數“c”，但實際上它并沒有在代碼塊中使用，而是用了 Connection 類的實體）

然后，在該腳本同級目錄的命令列視窗中，可以查看和執行相應的任務：

>>> fab -l
Available tasks:
  test   Get date from remote host.

>>> fab test
Fri Feb 14 16:10:24 CST 2020

fab 是 Invoke 的擴展實作，繼承了很多原有功能，所以執行“fab --help”，與之前介紹的“inv --help”相比，你會發現它們的很多引數與解釋都是一模一樣的，

fab 針對遠程服務的場景，添加了幾個命令列選項（已標藍），其中：

--prompt-for-login-password：令程式在命令列中輸入 SSH 登錄密碼（上例在代碼中指定了 connect_kwargs.password 引數，若用此選項，可要求在執行時再手工輸入密碼）
--prompt-for-passphrase：令程式在命令列中輸入 SSH 私鑰加密檔案的路徑
-H 或 --hosts：指定要連接的 host 名
-i 或 --identity：指定 SSH 連接所用的私鑰檔案
-S 或 --ssh-config：指定運行時要加載的 SSH 組態檔

關于 Fabric 的命令列介面，更多內容可查看檔案 [3]，

4、互動式操作

遠程服務器上若有互動式提示，要求輸入密碼或“yes”之類的資訊，這就要求 Fabric 能夠監聽并作出回應，

以下是一個簡單示例，引入 invoke 的 Responder，初始化內容是一個正則字串和回應資訊，最后賦值給 watchers 引數：

from invoke import Responder
from fabric import Connection
c = Connection('host')
sudopass = Responder(
     pattern=r'\[sudo\] password:',
     response='mypassword\n')
c.run('sudo whoami', pty=True, watchers=[sudopass])

5、傳輸檔案

本地與服務器間的檔案傳輸是常見用法，Fabric 在這方面做了很好的封裝，Connection 類中有以下兩個方法可用：

get(*args, **kwargs)：拉取遠端檔案到本地檔案系統或類檔案（file-like）物件
put(*args, **kwargs)：推送本地檔案或類檔案物件到遠端檔案系統

在已建立連接的情況下，示例：

# (略)
con.get('/opt/123.txt', '123.txt')
con.put('test.txt', '/opt/test.txt')

第一個引數指的是要傳輸的源檔案，第二個引數是要傳輸的目的地，可以指定成檔案名或者檔案夾（為慷訓 None 時，使用默認路徑）：

# (略)
con.get('/opt/123.txt', '')  # 為空時，使用默認路徑
con.put('test.txt', '/opt/') # 指定路徑 /opt/

get() 方法的默認存盤路徑是os.getcwd ，而 put() 方法的默認存盤路徑是 home 目錄，

6、服務器批量操作

對于服務器集群的批量操作，最簡單的實作方法是用 for 回圈，然后逐一建立 connection 和執行操作，類似這樣：

for host in ('web1', 'web2', 'mac1'):
	result = Connection(host).run('uname -s')

但有時候，這樣的方案會存在問題：

如果存在多組不同的服務器集群，需要執行不同操作，那么需要寫很多 for 回圈
如果想把每組操作的結果聚合起來（例如字典形式，key-主機，value-結果），還得在 for 回圈之外添加額外的操作
for 回圈是順序同步執行的，效率太低，而且缺乏例外處理機制（若中間出現例外，會導致跳出后續操作）

對于這些問題，Fabric 提出了 Group 的概念，可將一組主機定義成一個 Group，它的 API 方法跟 Connection 一樣，即一個 Group 可簡化地視為一個 Connection，

然后，開發者只需要簡單地操作這個 Group，最后得到一個結果集即可，減少了自己在例外處理及執行順序上的作業，

Fabric 提供了一個 fabric.group.Group 基類，并由其派生出兩個子類，區別是：

SerialGroup(*hosts, **kwargs)：按串行方式執行操作
ThreadingGroup(*hosts, **kwargs)：按并發方式執行操作

Group 的型別決定了主機集群的操作方式，我們只需要做出選擇即可，然后，它們的執行結果是一個fabric.group.GroupResult類，它是 dict 的子類，存盤了每個主機 connection 及其執行結果的對應關系，

>>> from fabric import SerialGroup
>>> results = SerialGroup('web1', 'web2', 'mac1').run('uname -s')
>>> print(results)
<GroupResult: {
    <Connection 'web1'>: <CommandResult 'uname -s'>,
    <Connection 'web2'>: <CommandResult 'uname -s'>,
    <Connection 'mac1'>: <CommandResult 'uname -s'>,
}>

另外，GroupResult 還提供了 failed 與 succeeded 兩個屬性，可以取出失敗/成功的子集，由此，也可以方便地批量進行二次操作，原文

三、Fabric 的進階用法

1、身份認證

Fabric 使用 SSH 協議來建立遠程會話，它是一種相對安全的基于應用層的加密傳輸協議，

基本來說，它有兩種級別的安全認證方式：

基于口令的身份認證：使用賬號與密碼來登錄遠程主機，安全性較低，容易受到“中間人”攻擊
基于密鑰的身份認證：使用密鑰對方式（公鑰放服務端，私鑰放客戶端），不會受到“中間人”攻擊，但登錄耗時較長

前文在舉例時，我們用了第一種方式，即通過指定 connect_kwargs.password 引數，使用口令來登錄，

Fabric 當然也支持采用第二種方式，有三種方法來指定私鑰檔案的路徑，優先級如下：

優先查找 connect_kwargs.key_filename 引數，找到則用作私鑰
其次查找命令列用法的 --identify 選項
最后默認使用作業系統的 ssh_config 檔案中的IdentityFile 的值

如果私鑰檔案本身還被加密過，則需要使用 connect_kwargs.passphrase 引數，

2、組態檔

Fabric 支持把一些引數項與業務代碼分離，即通過組態檔來管理它們，例如前面提到的密碼和私鑰檔案，可寫在組態檔中，避免與代碼耦合，

Fabric 基本沿用了 Invoke 的組態檔體系（官方檔案中列出了 9 層），同時增加了一些跟 SSH 相關的配置項，支持的檔案格式有 .yaml、.yml、.json 與 .py（按此次序排優先級），推薦使用 yaml 格式（后綴可簡寫成 yml），

其中，比較常用的組態檔有：

系統級的組態檔：/etc/fabric.yml
用戶級的組態檔：~/.fabric.yml（Windows 在 C:\Users\xxx 下）
專案級的組態檔：/myproject/fabric.yml

以上檔案的優先級遞減，由于我本機是 Windows，為了方便，我在用戶目錄建一個".fabric.yml"檔案，內容如下：

# filename:.fabric.yml

user: root
connect_kwargs:
  password: xxxx
# 若用密鑰，則如下
#  key_filename:
#    - your_key_file

我們把用戶名和密碼抽離出來了，所以 fabfile 中就可以刪掉這些內容：

# 檔案名：fabfile.py
from fabric import Connection
from fabric import task

host_ip = '47.xx.xx.xx'  # 服務器地址
cmd = 'date'  # shell 命令，查詢服務器上的時間

@task
def test(c):
    """
    Get date from remote host.
    """
    con = Connection(host_ip)
    result = con.run(cmd, hide=True)
    print(result.stdout)

然后，在命令列中執行：

>>> fab test
Tue Feb 18 10:33:38 CST 2020

組態檔中還可以設定很多引數，詳細可查看檔案 [4]，

3、網路網關

如果遠程服務是網路隔離的，無法直接被訪問到（處在不同局域網），這時候需要有網關/代理/隧道，這個中間層的機器通常被稱為跳板機或堡壘機，

Fabric 中有兩種網關解決方案，對應到 OpenSSH 客戶端的兩種選項：

ProxyJump：簡單，開銷少，可嵌套
ProxyCommand：開銷大，不可嵌套，更靈活

在創建 Fabric 的 Connection 物件時，可通過指定 gateway 引數來應用這兩種方案：

ProxyJump 方式就是在一個 Connection 中嵌套一個 Connection 作為前者的網關，后者使用 SSH 協議的direct-tcpip 為前者打開與實際遠程主機的連接，而且后者還可以繼續嵌套使用自己的網關，

from fabric import Connection

c = Connection('internalhost', gateway=Connection('gatewayhost'))

ProxyCommand 方式是客戶端在本地用 ssh 命令（類似“ssh -W %h:%p gatewayhost”），創建一個子行程，該子行程與服務端進行通信，同時它能讀取標準輸入和輸出，

這部分的實作細節分別在paramiko.channel.Channel 和 paramiko.proxy.ProxyCommand，除了在引數中指定，也可以在 Fabric 支持的組態檔中定義，更多細節，請查閱檔案 [5]，

四、小結

Fabric 的非兼容版本造成了一定程度的社區分裂，這無疑跟 Python 3 的推行脫不開關系，但是我們有理由相信，新版本優勝于老版本，

網上關于 Fabric 的文章，很多已過時了，本文針對最新的官方檔案，梳理出了較為全面的知識點，可以帶大家很好地入門 Fabric，

讀完本文，相信讀者們只需要幾分鐘就能輕松上手使用，如若有所疑問，歡迎通過以下方式聯系我，

--------------

公眾號：Python貓

頭條號：Python貓

知乎：豌豆花下貓

掘金：豌豆花下貓