面向云原生的混沌工程工具-ChaosBlade-有解無憂

file

作者 | 肖長軍（穹谷）阿里云智能事業群技術專家

導讀：隨著云原生系統的演進，如何保障系統的穩定性受到很大的挑戰，混沌工程通過反脆弱思想，對系統注入故障，提前發現系統問題，提升系統的容錯能力，ChaosBlade 工具可以通過宣告式配置執行混沌實驗，簡單高效，本文將會重點介紹 ChaosBlade 以及云原生相關的實驗場景實踐，

ChaosBlade 介紹

ChaosBlade 是阿里巴巴開源的一款遵循混沌實驗模型的混沌實驗執行工具，具有場景豐富度高、簡單易用等特點，而且可以很方便的擴展實驗場景，開源后不久就被加入到 CNCF Landspace 中，成為主流的一款混沌工具，

實驗場景

目前支持的實驗場景如下：

基礎資源場景：CPU 負載、記憶體占用、磁盤 IO 負載、磁盤占用、網路延遲、網路丟包、網路屏蔽、域名不可訪問、shell 腳本篡改、殺行程、行程 Hang、機器重啟等；
應用服務場景：支持 Java 應用和 C++ 應用內的實驗場景，Java 的場景組件豐富，例如支持 Dubbo、RocketMQ、HttpClient、Servlet、Druid等，而且支持撰寫 Java 或 Groovy 腳本實作復雜的實驗場景；
容器服務場景：支持 Kubernetes 和 Docker 服務，包含 node、pod 和 container 三種資源的實驗場景，例如 Pod 網路延遲、丟包等，

混沌實驗模型

file

以上所有的實驗場景都遵循混沌實驗模型，此模型共分為四層，包含：

Target：實驗靶點，指實驗發生的組件，如容器、應用框架（Dubbo、Redis）等；
Scope：實驗實施的范圍，指具體觸發實驗的機器或者集群等；
Matcher：實驗規則匹配器，根據所配置的 Target，定義相關的實驗匹配規則，可以配置多個，由于每個 Target 可能有各自特殊的匹配條件，比如 RPC 領域的 Dubbo，可以根據服務提供者提供的服務和服務消費者呼叫的服務進行匹配，快取領域的 Redis，可以根據 set、get 操作進行匹配；
Action：指實驗模擬的具體場景，Target 不同，實施的場景也不一樣，比如磁盤，可以演練磁盤滿，磁盤 IO 讀寫高等，如果是應用，可以抽象出延遲、例外、回傳指定值（錯誤碼、大物件等）、引數篡改、重復呼叫等實驗場景，

比如一臺 IP 是 10.0.0.1 機器上的應用，呼叫 [email protected] Dubbo 服務延遲 3s，基于此模型可以描述為對 Dubbo 組件（Target）進行實驗，實驗實施的范圍是 10.0.0.1 主機（Scope），呼叫 [email protected] （Matcher）服務延遲 3s（Action），對應的 chaosblade 命令為：

blade create dubbo delay --time 3000 --service com.example.HelloService --version 1.0.0

所以此模型很簡單清晰的表達出實驗場景，易于理解，下文中的云原生實驗場景也基于此模型定義，

面向云原生的實驗場景

實作方案

file

將混沌實驗場景按照上述的實驗模型，定義為 Kubernetes 中的資源，并通過自定義控制器來管理，可以通過 Yaml 配置或者直接執行 blade 命令執行，

ChaosBlade Operator 定義了資源控制器，并且會以 daemonset 的方式，在每個節點上部署一個 chaosblade-tool pod 來執行混沌實驗，不同的實驗場景內部實作方式不同，比如 Node 實驗場景，其上面部署的 chaosblade-tool 內部執行即可，而 Container 內的實驗場景，控制器會將 chaosblade 包拷貝到目標 Container 中執行，

使用方式

安裝必要組件

安裝 ChaosBlade Operator，可通過地址下載 chaosblade-operator-0.0.1.tgz，使用以下命令安裝:

helm install --namespace kube-system --name chaosblade-operator chaosblade-operator-0.0.1.tgz

安裝在 kube-system 命令空間下，ChaosBlade Operator 啟動后會在每個節點部署 chaosblade-tool Pod 和一個 chaosblade-operator Pod，可通過以下命令查看安裝結果:

kubectl get pod -n kube-system -o wide | grep chaosblade

file

執行實驗

執行方式有兩種：

一種是通過配置 yaml 方式，使用 kubectl 執行；
另一種是直接使用 chaosblade 包中的 blade 命令執行，

下面以指定一臺節點，做 CPU 負載 80% 實驗舉例，

yaml 配置方式

apiVersion: chaosblade.io/v1alpha1
kind: ChaosBlade
metadata:
  name: cpu-load
spec:
  experiments:
  - scope: node
    target: cpu
    action: fullload
    desc: "increase node cpu load by names"
    matchers:
    - name: names
      value:
      - "cn-hangzhou.192.168.0.205"
    - name: cpu-percent
      value:
      - "80"

如上所示，配置好檔案后，保存為 chaosblade_cpu_load.yaml，使用以下命令執行實驗場景：

kubectl apply -f chaosblade_cpu_load.yaml

可通過以下命令查看每個實驗的執行狀態：

kubectl get blade cpu-load -o json

查看更多實驗場景配置事例，

blade 命令執行方式

下載 chaosblade 工具包，解壓即可使用，還是上述例子，使用 blade 命令執行如下：

blade create k8s node-cpu fullload --names cn-hangzhou.192.168.0.205 --cpu-percent 80 --kubeconfig ~/.kube/config

使用 blade 命令執行，會回傳實驗的執行結果，

修改實驗

yaml 組態檔的方式支持場景動態修改，比如將上述的 cpu 負載調整為 60%，則只需將上述 value 的值從 80 改為 60 即可，例如：

apiVersion: chaosblade.io/v1alpha1
kind: ChaosBlade
metadata:
  name: cpu-load
spec:
  experiments:
  - scope: node
    target: cpu
    action: load
    desc: "cpu load"
    flags:
    - name: cpu-percent
      value: "60"
    - name: ip
      value: 192.168.0.34

然后使用 kubeclt apply -f chaosblade_cpu_load.yaml 命令執行更新即可，

停止實驗

可以通過以下三種方式停止實驗：

根據實驗資源名停止

比如上述 cpu-load 場景，可以執行以下命令停止實驗：

kubectl delete chaosblade cpu-load

通過 yaml 組態檔停止

指定上述創建好的 yaml 檔案進行洗掉，命令如下：

kubectl delete -f chaosblade_cpu_load.yaml

通過 blade 命令停止

此方式僅限使用 blade 創建的實驗，使用以下命令停止：

blade destroy <UID>

是執行 blade create 命令回傳的結果，如果忘記，可使用 blade status --type create 命令查詢，

卸載 chaosblade operator

執行 helm del --purge chaosblade-operator 卸載即可，將會停止全部實驗，洗掉所有創建的資源，

總結

ChaosBlade 基于混沌實驗模型，友好地將 Kubernetes 資源控制結合，部署簡單而且使用簡潔，實驗可控，除此之外 ChaosBlade 基于實驗模型實作了很多領域場景執行器，可以很方便的擴展實驗場景，可詳見附錄中的專案串列，

社區共建

ChaosBlade 自開源以來，共有近 30 多位貢獻者加入和很多企業的關注及使用，非常感謝各位，同時非常歡迎更多的人參與進來，使 ChaosBlade 變的更加強大，覆寫更多的場景，成為各個企業穩定的、通用的混沌工程工具，

貢獻的形式可以是提 bug、提交代碼、撰寫檔案、補充單元測驗、參與問題討論等等，ChaosBlade 相信：開源世界中，任何幫助都是貢獻，

附錄

專案串列如下：

ChaosBlade CLI（呼叫入口）
ChaosBlade 實驗模型定義
基礎資源場景執行器
Docker 場景執行器
Kubernetes 場景執行器
Java 應用場景執行器
C++ 應用場景執行器

“ 阿里巴巴云原生微信公眾號（ID：Alicloudnative）關注微服務、Serverless、容器、Service Mesh等技術領域、聚焦云原生流行技術趨勢、云原生大規模的落地實踐，做最懂云原生開發者的技術公眾號，”

轉載請註明出處，本文鏈接：https://www.uj5u.com/qita/57257.html

標籤：其他

上一篇：jmeter 如何把決議后的response data資料加入到監聽器的統計內去

下一篇：postman無法正常啟動