云效自建測驗自動化最佳實踐

云效自建測驗自動化最佳實踐，對于現代軟體研發來說，持續、快速、高質量、低風險地交付需求特性，是業務對研發的主要訴求，而要做到這一點，除了要有良好的架構設計、卓越的工程能力，快速可靠的測驗反饋也是其非常重要的一環，達到這一點，需要依靠測驗自動化，

1.測驗自動化用例存盤在云效代碼平臺的git倉庫中

2.用于執行測驗自動化的測驗步驟，基于云效的自定義step能力創建

3.觸發和串聯代碼、構建和自動化測驗的云效流水線、

 1.選擇或撰寫對應開源測驗自動化工具的flow step

云效內置了主流開源測驗自動化工具的支持（TODO），同時提供flow cli工具，幫助企業定制化地實作符合自己要求的測驗自動化組件，如何通過flow cli實作并發布一個flow step，請參見參考資料，

# ...
image: registry.cn-hangzhou.aliyuncs.com/feiyuw/flow-robotframework:1.0
items:
  - label: 執行命令
    name: STEP_COMMAND
    type: shell
    value: |
      # NOTE: output directory should be robot_logs
      robot -L Trace -d robot_logs .
# ...

 items:
    - label: 紅線資訊
      name: CHECK_REDLINES
      type: addable_group
      rules:
        - require: false
      add_button:
        type: icon
        icon: plus
        text: 增加紅線
        tip:
          icon: question-circle
          description: 紅線校驗失敗步驟標記為失敗
      template:
        items:
          - name: redline
            label: 紅線
            position: flat
            type: custom_redline_dropdown
            datamap: '[{"key": "PassRate", "type":"GE"}]'
            rules:
              -requires: false

另外在step.sh的最后添加紅線檢查部分，如：

redline Passed:成功:$STEP_ROBOT_PASS:Success Failed:失敗:$STEP_ROBOT_FAILED:Error PassRate:成功率:$STEP_ROBOT_PASSRATE:Default

flow step撰寫及除錯完畢后，publish到當前企業中，

2. 在代碼庫中添加測驗自動化用例

對于針對整個產品或一個子系統的自動化測驗，我們建議自動化測驗用例保存在單獨的代碼倉庫中；而對于針對某個特定應用的自動化測驗，我們建議其測驗用例保存在該應用的代碼倉庫中，并與開發使用同一個分支（推薦），

將自動化測驗用例與應用代碼在同一個代碼庫中管理，有許多好處：

1.測驗用例與代碼互相匹配且是最新的，讓自動化測驗在開發階段就可以及時介入

2.直接復用開發的分支模式，不用考慮自動化用例的版本管理

3.開發和測驗基于git代碼庫緊密協作，方便落地ATDD這樣的優秀實踐

4.容易集成到流水線中，當測驗代碼或者開發代碼變更后都能快速被執行和反饋，加速問題的定位和修復

示例：alpd-bot-ssh的測驗自動化用例，

alpd-bot-ssh是一個SSH的服務，提供IP歸屬地查詢和天氣查詢能力，該測驗自動化用例基于RobotFramework框架實作，

3. 添加測驗自動化節點到流水線

打開持續集成流水線，如果沒有，在flow上創建一個，

說明 

立即體驗：云效流水線Flow

3.1 編輯流水線，添加一個空白任務

3.2 添加自定義步驟，“RobotFramework測驗”

3.3 配置執行命令和紅線

4. 上傳測驗報告到云效，以在云效流水線執行結果中展示

4.1 編輯第三步的測驗自動化節點，添加一個步驟

4.2 配置測驗報告目錄（這里是robot_logs）和測驗報告入口檔案（這里是report.html）

5. 同步測驗結果到自建的報表系統

有些時候，我們需要對測驗結果進行進一步的統計分析，此時，僅靠測驗自動化工具提供的報告就無法滿足了，通常，我們會自建一個報表系統，那么，云效中執行的測驗自動化結果如何上傳到我們自建的報表系統呢？

5.1 確保報表系統能夠被云效訪問到

由于網路問題，云效無法訪問我們建在私有網路環境中的報表系統，要求報表系統開放公網訪問介面，為了安全，我們建議僅開放必要的介面，同時做好IP白名單防護，

5.2 在flow step中添加上傳報告步驟

打開步驟1的flow step，編輯step.sh，添加上傳報告步驟，

注意：該步驟需要放在redline檢查之前，同時建議傳遞的資訊包括：測驗結果、代碼分支、代碼版本、提交者、流水線名字等，

# ...
# sh -ex $WORK_SPACE/user_command.sh
bash -c "$STEP_COMMAND"

output=`python3 /root/parse_output.py $OUTPUT_XML`

STEP_ROBOT_PASS=`echo $output | awk -F, '{print $1}'`
STEP_ROBOT_FAILED=`echo $output | awk -F, '{print $2}'`
STEP_ROBOT_PASSRATE=`echo $output | awk -F, '{print $3}'`

# upload test result to report server
python3 /root/upload_to_report_server.py $OUTPUT_XML $CI_COMMIT_REF_NAME $CI_COMMIT_SHA $EMPLOYEE_ID $PIPELINE_NAME $BUILD_NUMBER

redline Passed:成功:$STEP_ROBOT_PASS:Success Failed:失敗:$STEP_ROBOT_FAILED:Error PassRate:成功率:$STEP_ROBOT_PASSRATE:Default

最后的流水線大致是下面這個樣子：

形式二：測驗自動化自建Jenkins

對于已經自建Jenkins等工具用于測驗自動化調度執行，甚至在Jenkins上進行了二次開發和定制的團隊，或者對于像ioT開發這樣有特殊環境要求的應用，復用現有的工具資源更為經濟，為此，云效提供了與客戶現有Jenkins服務無縫對接的能力，幫助企業通過串聯起研發測驗，

1. 確保自建Jenkins能夠被云效訪問到

自建Jenkins服務需要支持公網訪問，以便云效能夠訪問并觸發對應的任務，同樣，為了安全考慮，建議僅開放必要的介面，并開啟IP白名單防護，

2. 添加Jenkins任務節點到流水線中

編輯云效流水線，添加一個任務節點，選擇Jenkins任務，

接下來，配置Jenkins地址、認證方式、對應的Job名稱，以及觸發引數（上游的構建鏡像），

3. 查看結果和統計報表

流水線被執行后，結果資訊會同步到Jenkins任務組件上，用戶可以在云效流水線運行結果上直接跳轉到Jenkins Job日志，

對于統計報表，由于這種方式下，云效不會保存執行任務的任何資料，建議在Jenkins任務中完成資料的上傳等作業，

形式三：自建測驗自動化平臺

flowip地址

如果開源測驗自動化工具無法滿足測驗訴求，又有定制化的調度、觸發、管控等要求，部分企業會選擇自建測驗自動化平臺，對于這種情況，如何與云效有機整合起來，做到研發一站式呢？

解決的方法和集成開源測驗自動化工具類似，所不同的是，我們的自建測驗自動化平臺需要對云效暴露兩個介面：

1.觸發測驗執行

2.獲取測驗結果

這里我們假設自建測驗自動化平臺的地址為：http://taplatform.my.corp，兩個介面為：

POST /api/v1/runs
request：{"ref_name":"feature/limit_1", "trigger_by": "yunxiao","suites": "all"}
response：{"code": 0, "run_id":123}

GET /api/v1/runs/<run_id>
response: {"code": 0,"status": "RUNNING|PASS|...", "report_link":"http://taplatform.my.corp/reports/1234", "summary":{"total": 1000, "pass": 1000, "duration": 1200},...}

1、撰寫flow step用于觸發測驗自動化平臺和設定紅線

實作方式與集成開源測驗自動化工具的方法類似，主要是配置好step.yaml和step.sh，

step.yaml中配置自建測驗平臺的地址，以及測驗用例的篩選引數，如：

items:
  - label: 測驗平臺地址
    name: TEST_PLATFORM_HOST
    type: input
    value: http://taplatform.my.corp
  - label: 用例
    name: SUITES
    type: input
    value: all # 用例篩選條件

step.sh中主要完成：

1.觸發測驗平臺執行對應測驗用例

2.等待測驗完成

3.獲取測驗結果

4.驗證紅線卡點

如：

# sh -ex $WORK_SPACE/user_command.sh
output=`python3 /root/run_and_wait_until_finish.py $TEST_PLATFORM_HOST $SUITES $EMPLOYEE_ID`

STEP_ROBOT_PASS=`echo $output | awk -F, '{print $1}'`
STEP_ROBOT_FAILED=`echo $output | awk -F, '{print $2}'`
STEP_ROBOT_PASSRATE=`echo $output | awk -F, '{print $3}'`

redline Passed:成功:$STEP_ROBOT_PASS:Success Failed:失敗:$STEP_ROBOT_FAILED:Error PassRate:成功率:$STEP_ROBOT_PASSRATE:Default

其中run_and_wait_until_finish.py的實作步驟大致如下：

import os
import time
import sys
import requests


def start_test_task(ta_host, suites, trigger_by):
    resp = requests.post(f'{ta_host}/api/v1/runs', json={'trigger_by': trigger_by, 'suites': suites})
    if not resp.ok or resp.json()['code'] != 0:
        raise RuntimeError(f'create test task error: {resp.content}')
    return resp.json()['run_id']


def generate_report(ta_host, report_link):
    if not os.path.exists('report'):
        os.mkdir('report')
    with open('index.html', 'w') as fp:
        fp.write(f'''<html>
<head>
<title>Test Report</title>
<meta http-equiv="refresh" content="0;URL={ta_host}/reports/{report_link}" />
</head>
<body>
<p>forwarding...</p>
</body>
</html>''')


def wait_until_task_done(ta_host, run_id):
    while True:
        resp = requests.get(f'{ta_host}/api/v1/runs/{run_id}')
        if not resp.ok:
            raise RuntimeError(f'task error: {resp.content}')
        data = https://www.cnblogs.com/yyds114/archive/2021/10/21/resp.json()
        if data.get('code') != 0:
            raise RuntimeError(f'task error: {data}')
        if data['status'] in ('PASS', 'FAILED'):
            generate_report(ta_host, data['report_link'])
            return data
        time.sleep(5)


if __name__ == '__main__':
    if len(sys.argv) != 4:
        raise RuntimeError('invalid arguments')
    ta_host, suites, employee_id = sys.argv[1:]
    run_id = start_test_task(ta_host, suites, employee_id)
    run_info = wait_until_task_done(ta_host, run_id)
    summary = run_info['summary']
    pass_cnt = summary['pass']
    total_cnt = summary['total']
    pass_rate = pass_cnt * 100 / total_cnt
    print('%d,%d,%d' % (pass_cnt, total_cnt-pass_cnt, pass_rate))

其中呼叫了測驗平臺的兩個介面，并且生成了一個index.html的測驗報告檔案，注意：該測驗報告只是將請求轉發到了自建測驗平臺的對應頁面上，

2. 添加測驗自動化節點到流水線

在流水線上添加空白任務節點，在其中添加一個步驟，選擇前面我們自定義的flow step（記得publish到對應的企業中），在步驟中配置好測驗平臺地址和測驗用例，并設定好紅線資訊，

3. 查看測驗報告

在測驗節點添加報告上傳步驟，測驗報告目錄填“report”，測驗報告入口檔案為“index.html”，

4. 資料統計與報表

在流水線執行結果中可以看到通過率等summary資訊，詳細的統計與報表建議在自建測驗自動化平臺內實作，

參考資料

?flowstep代碼示例：RobotFramework測驗step

云效自建測驗自動化最佳實踐對于現代軟體研發來說，持續、快速、高質量、低風險地交付需求特性，是業務對研發的主要訴求，而要做到這一點，除了要有良好的架構設計、卓越的工程能力，快速可靠的測驗反饋也是其非常重要的一環，達到這一點，需要依靠測驗自動化，

標籤：其他

上一篇：在別人寫的代碼上做修改我是這樣保證正確性

下一篇：我如何解決角反應形式的錯誤