美女同事的煩惱：如何配置Apache SkyWalking的告警？-有解無憂

小婉

技術部基本上是一個和尚廟，女生非常少，即使有女生也略微有點抽象，小婉就不一樣，她氣質絕佳，

上午，同事小婉剛才從老板辦公室里出來，看上去一臉不悅的樣子，為了表示對同事的關(ba)心(gua)，我就主動和她聊一聊，

Apache SkyWalking是分布式系統的應用程式性能監視工具，專為微服務、云原生架構和基于容器（Docker、K8s、Mesos）架構而設計，這些我是知道的，它提供了分布式追蹤、服務網格遙測分析、度量聚合和可視化一體化解決方案，

至于小婉問我的SkyWalking的告警，我還真不清楚，是我的知識盲區啊，我只能如實跟小婉說了，

哎，我都說了些什么，幸好我機靈一些，拖到了到下午，還有幾個小時，趕快惡補一下，

Apache SkyWalking告警

Apache SkyWalking告警是由一組規則驅動，這些規則定義在config/alarm-settings.yml檔案中，

告警規則的定義分為三部分，

告警規則：定義了觸發告警所考慮的條件，
webhook：當告警觸發時，被呼叫的服務端點串列，
gRPCHook：當告警觸發時，被呼叫的遠程gRPC方法的主機和埠，
Slack Chat Hook：當告警觸發時，被呼叫的Slack Chat介面，
微信 Hook：當告警觸發時，被呼叫的微信介面，
釘釘 Hook：當告警觸發時，被呼叫的釘釘介面，

告警規則

告警規則有兩種型別，單獨規則（Individual Rules）和復合規則（Composite Rules），復合規則是單獨規則的組合，

單獨規則（Individual Rules）

單獨規則主要有以下幾點：

規則名稱：在告警資訊中顯示的唯一名稱，必須以_rule結尾，
metrics-name：度量名稱，也是OAL腳本中的度量名，默認配置中可以用于告警的度量有：服務，實體，端點，服務關系，實體關系，端點關系，它只支持long,double和int型別，
include-names：包含在此規則之內的物體名稱串列，
exclude-names：排除在此規則以外的物體名稱串列，
include-names-regex：提供一個正則運算式來包含物體名稱，如果同時設定包含名稱串列和包含名稱的正則運算式，則兩個規則都將生效，
exclude-names-regex：提供一個正則運算式來排除物體名稱，如果同時設定排除名稱串列和排除名稱的正則運算式，則兩個規則都將生效，
include-labels：包含在此規則之內的標簽，
exclude-labels：排除在此規則以外的標簽，
include-labels-regex：提供一個正則運算式來包含標簽，如果同時設定包含標簽串列和包含標簽的正則運算式，則兩個規則都將生效，
exclude-labels-regex：提供一個正則運算式來排除標簽，如果同時設定排除標簽串列和排除標簽的正則運算式，則兩個規則都將生效，

標簽的設定必須把資料存盤在meter-system中，例如：Prometheus, Micrometer，以上四個標簽設定必須實作LabeledValueHolder介面，

threshold：閾值，

對于多個值指標，例如percentile，閾值是一個陣列，像value1 value2 value3 value4 value5這樣描述，
每個值可以作為度量中每個值的閾值，如果不想通過此值或某些值觸發警報，則將值設定為 -，
例如在percentile中，value1是P50的閾值，value2是P75的閾值，那么-，-，value3, value4, value5的意思是，沒有閾值的P50和P75的percentile告警規則，

op：運算子，支持>, >=, <, <=, =，
period：多久告警規則需要被檢查一下，這是一個時間視窗，與后端部署環境時間相匹配，
count：在一個周期視窗中，如果按op計算超過閾值的次數達到count，則發送告警，
only-as-condition：true或者false，指定規則是否可以發送告警，或者僅作為復合規則的條件，
silence-period：在時間N中觸發報警后，在N -> N + silence-period這段時間內不告警，默認情況下，它和period一樣，這意味著相同的告警（同一個度量名稱擁有相同的Id）在同一個周期內只會觸發一次，
message：該規則觸發時，發送的通知訊息，

舉個例子：

rules:
  service_resp_time_rule:
    metrics-name: service_resp_time
    op: ">"
    threshold: 1000
    period: 10
    count: 2
    silence-period: 10
    message: 服務【{name}】的平均回應時間在最近10分鐘內有2分鐘超過1秒
  service_instance_resp_time_rule:
    metrics-name: service_instance_resp_time
    op: ">"
    threshold: 1000
    period: 10
    count: 2
    silence-period: 10
    message: 實體【{name}】的平均回應時間在最近10分鐘內有2分鐘超過1秒
  endpoint_resp_time_rule:
    metrics-name: endpoint_avg
    threshold: 1000
    op: ">"
    period: 10
    count: 2
    message: 端點【{name}】的平均回應時間在最近10分鐘內有2分鐘超過1秒

復合規則（Composite Rules）

復合規則僅適用于針對相同物體級別的告警規則，例如都是服務級別的告警規則：service_percent_rule && service_resp_time_percentile_rule，
不可以撰寫不同物體級別的告警規則，例如服務級別的一個告警規則和端點級別的一個規則：service_percent_rule && endpoint_percent_rule，

復合規則主要有以下幾點：

規則名稱：在告警資訊中顯示的唯一名稱，必須以_rule結尾，
expression：指定如何組成規則，支持&&, ||, ()運算子，
message：該規則觸發時，發送的通知訊息，

舉個例子：

rules:
  service_resp_time_rule:
    metrics-name: service_resp_time
    op: ">"
    threshold: 1000
    period: 10
    count: 2
    silence-period: 10
    message: 服務【{name}】的平均回應時間在最近10分鐘內有2分鐘超過1秒
  service_sla_rule:
    metrics-name: service_sla
    op: "<"
    threshold: 8000
    period: 10
    count: 2
    silence-period: 10
    message: 服務【{name}】的成功率在最近10分鐘內有2分鐘低于80％
composite-rules:
  comp_rule:
    expression: service_resp_time_rule && service_sla_rule
    message: 服務【{name}】在最近10分鐘內有2分鐘超過1秒平均回應時間超過1秒并且成功率低于80％

Webhook

Webhook 要求一個點對點的 Web 容器，告警的訊息會通過 HTTP 請求進行發送，請求方法為 POST，Content-Type 為 application/json，JSON 格式包含以下資訊：

scopeId：目標 Scope 的 ID，
name：目標 Scope 的物體名稱，
id0：Scope 物體的 ID，
id1：未使用，
ruleName：您在 alarm-settings.yml 中配置的規則名，
alarmMessage. 告警訊息內容，
startTime. 告警時間戳，當前時間與 UTC 1970/1/1 相差的毫秒數，

舉個例子：

[{
	"scopeId": 1, 
	"scope": "SERVICE",
	"name": "one-more-service", 
	"id0": "b3JkZXItY2VudGVyLXNlYXJjaC1hcGk=.1",  
	"id1": "",  
    "ruleName": "service_resp_time_rule",
	"alarmMessage": "服務【one-more-service】的平均回應時間在最近10分鐘內有2分鐘超過1秒",
	"startTime": 1617670815000
}, {
	"scopeId": 2,
	"scope": "SERVICE_INSTANCE",
	"name": "e4b31262acaa47ef92a22b6a2b8a7cb1@192.168.30.11 of one-more-service",
	"id0": "dWF0LWxib2Mtc2VydmljZQ==.1_ZTRiMzEyNjJhY2FhNDdlZjkyYTIyYjZhMmI4YTdjYjFAMTcyLjI0LjMwLjEzOA==",
	"id1": "",
    "ruleName": "instance_jvm_young_gc_count_rule",
	"alarmMessage": "實體【e4b31262acaa47ef92a22b6a2b8a7cb1@192.168.30.11 of one-more-service】的YoungGC次數在最近10分鐘內有2分鐘超過10次",
	"startTime": 1617670815000
}, {
	"scopeId": 3,
	"scope": "ENDPOINT",
	"name": "/one/more/endpoint in one-more-service",
	"id0": "b25lcGllY2UtYXBp.1_L3RlYWNoZXIvc3R1ZGVudC92aXBsZXNzb25z",
	"id1": "",
    "ruleName": "endpoint_resp_time_rule",
	"alarmMessage": "端點【/one/more/endpoint in one-more-service】的平均回應時間在最近10分鐘內有2分鐘超過1秒",
	"startTime": 1617670815000
}]

gRPCHook

告警訊息將使用 Protobuf 型別通過gRPC遠程方法發送，訊息格式的關鍵資訊定義如下：

syntax = "proto3";

option java_multiple_files = true;
option java_package = "org.apache.skywalking.oap.server.core.alarm.grpc";

service AlarmService {
    rpc doAlarm (stream AlarmMessage) returns (Response) {
    }
}

message AlarmMessage {
    int64 scopeId = 1;
    string scope = 2;
    string name = 3;
    string id0 = 4;
    string id1 = 5;
    string ruleName = 6;
    string alarmMessage = 7;
    int64 startTime = 8;
}

message Response {
}

Slack Chat Hook

您需要遵循傳入Webhooks入門指南并創建新的Webhooks，

如果您按以下方式配置了Slack Incoming Webhooks，則告警訊息將按 Content-Type 為 application/json 通過HTTP的 POST 方式發送，

舉個例子：

slackHooks:
  textTemplate: |-
    {
      "type": "section",
      "text": {
        "type": "mrkdwn",
        "text": ":alarm_clock: *Apache Skywalking Alarm* \n **%s**."
      }
    }
  webhooks:
    - https://hooks.slack.com/services/x/y/z

微信Hook

只有微信的企業版才支持 Webhooks ，如何使用微信的 Webhooks 可參見如何配置群機器人，

如果您按以下方式配置了微信的 Webhooks ，則告警訊息將按 Content-Type 為 application/json 通過HTTP的 POST 方式發送，

舉個例子：

wechatHooks:
  textTemplate: |-
    {
      "msgtype": "text",
      "text": {
        "content": "Apache SkyWalking 告警: \n %s."
      }
    }
  webhooks:
    - https://qyapi.weixin.qq.com/cgi-bin/webhook/send?key=dummy_key

釘釘 Hook

您需要遵循自定義機器人開放并創建新的Webhooks，為了安全起見，您可以為Webhook網址配置可選的密鑰，

如果您按以下方式配置了釘釘的 Webhooks ，則告警訊息將按 Content-Type 為 application/json 通過HTTP的 POST 方式發送，

舉個例子：

dingtalkHooks:
  textTemplate: |-
    {
      "msgtype": "text",
      "text": {
        "content": "Apache SkyWalking 告警: \n %s."
      }
    }
  webhooks:
    - url: https://oapi.dingtalk.com/robot/send?access_token=dummy_token
      secret: dummysecret

尾聲

基本這些就差不多了，完全可以忽悠住小婉，想想小婉那崇拜的眼神和仰慕的表情，我擦了擦嘴巴的口水，

文章持續更新，微信搜索「萬貓學社」第一時間閱讀，
關注后回復「電子書」，免費獲取12本Java必讀技術書籍，

轉載請註明出處，本文鏈接：https://www.uj5u.com/ruanti/273267.html

標籤：其他

上一篇：部署LNMP+zabbix（監控工具）

下一篇：Spring Cloud Gateway 原始碼剖析之Filter Chain過濾器鏈