全鏈路仿真壓測系統-有解無憂

1.專案背景

目前常用的壓測工具一般都是針對QPS這一個單一指標進行考量，即使支持撰寫腳本的工具也只是通過引數化模擬用戶，但是實際用戶是使用單獨設備請求服務器，即一個用戶就是一個tcp連接，

所以為了更真實的模擬用戶行為，我們需要通過一個tcp連接模擬一個用戶，并通過代碼方式實作用戶的真實請求行為，C端及中臺產研中心云平臺部質量保障團隊自研的“仿真壓測系統”，獨有的QPS動態可控技術，支持固定URL壓測、引數化、Websocket協議壓測、中間件、資料庫等的壓測，模擬用戶真實軌跡，通過用戶側，服務端，DB進行資料一致性和正確性自動檢驗，打造真正的全鏈路仿真壓測，該系統可擴展性強，穩定性高，目前已多次支持公司級各類大型活動的仿真全鏈路壓測，為線上服務的穩定運行提供了強有力的質量保障，

經過四年的打磨如今借此機會與大家分享一下心路歷程，積極討論，歡迎提出意見，希望可以幫助我們進一步成長，（文中參考均為測驗資料）

2.仿真壓測系統成型之路

2.1

工具選型

? 2.1.1 現有的壓測工具對比

圖1-1

? 2.1.2 Locust發壓client比較

圖1-2

結合以上比較結果，目前沒有合適的壓測工具可以直接滿足我們的壓測需求，最終決定用Locust做框架,首先它是一款易于使用的分布式負載測驗工具，完全基于事件，單機并發能力高，并發機制是協程，其次二次開發潛力比較大，

發壓的請求client采用fasthttp, 據說是目前golang性能最好的http庫，原理是利用worker復用goroutine，減輕runtime調度協程的壓力，相對于自帶的net/http(每個連接都需要新建一個goroutine)，性能有10倍的提升，省略一千字，直接上干貨，

? 2.1.3 仿真壓測系統特性：

分布式部署；
固定URL壓測；
引數化腳本壓測；
Websocket協議壓測；
其他協議UDP、http2、 RTMP/HLS、MQTT（golang可以實作的協議都可滿足）
Redis直壓；
Kafka直壓
Mysql直壓；
自定義腳本壓測（仿真壓測，全鏈路資料對賬）；
動態可控QPS、TCP；
秒級啟動/停止，結果收集即停即展示，無需等待

……

? 2.1. 4 實作難點分析

模擬百萬用戶創建TCP/ websocket連接；長時間保持連接不斷開；集中發壓；

部分代碼如下：

   go func() {
    for {
        select
        case data := <-r.stats.messageToRunnerChan:
            data["user_count"] = r.numClients
            r.outputOnEevent(data)
        case <-r.closeChan:
            Events.Publish("boomer:quit")
            r.stop()
            wg.Done()
            return
        }
    }
}()
集中發壓
curTime := myStatus.Ct
    statusTime := myStatus.St
    c := time.After(time.Duration(statusTime-curTime) * time.Second)
    <-c
    miaosha(uidToken, &myStatus, myLog)
保持長鏈接
func wsWorker() {
  ws, err := websocket.Dial(wsUrl, "", origin)
  if err != nil {
  log.Println(err)
  return
  }
  defer func() {
    if p := recover(); p != nil {
    log.Println(p)
 }
 erc := ws.Close()
    if erc != nil {
     log.Println(erc)
  }
  }()
  go func() {
    ws.Write([]byte("0"))
    var t = time.Tick(time.Second * 30)
    for range t {
    if ws == nil {
        continue
    }
    ws.Write([]byte("0"))
    fmt.Println("send 0 to websocket ok!")
    }
    }()
  for {
    select {
      case <-stopChannel:
           return
      default:
        var msg = make([]byte, 512)
        start := time.Now()
        n, err := ws.Read(msg)
        log.Println(string(msg[0:n]))
        elapsed := time.Since(start)
        if myDebug {
            log.Println(string(msg))
           }
        if err != nil {
          log.Printf("Error: %s", err.Error())
        }
       }
     }
    }

2.2

日常使用截圖