MySQL MHA 運行狀態監控-有解無憂

一專案描述

1.1 背景

MHA（Master HA）是一款開源的 MySQL 的高可用程式，它為 MySQL 主從復制架構提供了 automating master failover 功能，MHA 在監控到 master 節點故障時，會提升其中擁有最新資料的 slave 節點成為新的master 節點，自動FailOver的前置條件一定是MHA是啟動運行的狀態，在生產環境中，有時會因為沒有及時開啟或者運行例外停止而不知，導致MySQL主節點例外時，沒有自動FailOver，影響了生產，或延長了處理時間，使故障升級，

此外，MHA發生FailOver后，MHA的運行狀態會由 is running(0:PING_OK) 變更為stopped(2:NOT_RUNNING)，從運行反饋結果變化上，可以判斷是否可能發生了主從切換，可以作為一個Warning處理，

綜上，對MHA的運行狀態的監控很有必要，

1.2 實作設計

MHA是運行在Manager 節點上的，一個Manager 節點可以管理數十個集群，目前，我們的監控體系是Telegraf + InfluxDB + Grafana，所以，需要在Manager 節點部署Telegraf，去收集MHA的運行狀態，保存到 InfluxDB，在既有的Grafana MySQL Dashboard中，添加一個關于 masterha_check_status 的panel 即可，

1.2.1 之前的方法

在《以實作MongoDB副本集狀態的監控為例，看Telegraf系統中Exec輸入插件如何撰寫部署》一文中的第七部分，我們有介紹一種方法實作MySQL MHA的監控，但這種方法是每一個集群都需要手動維護，自動發現的功能不夠好，增加維護成本，特別是集團的MHA集群比較多時，

1.2.2 優化后的方法

Manager 節點為每個監控的MHA集群提供一個專用的組態檔，優化后的監控方法，根據組態檔自動發現、自動調整監控，不再需要逐一配置和維護，

部署的步驟如下：

二.實作詳情

2.1 編輯Python可執行檔案

可執行檔案為telegraf_checkmhastatus.py

#!/usr/bin/python
# -*- coding: UTF-8 -*-



import os
import io
import re
import ConfigParser

Path='/cnf/mhacnf'
#fout=open('輸出檔案名','w')
for Name in os.listdir(Path) :
  Pathname= os.path.join(Path,Name)
 ## print(Pathname)
 ## print(Name)
  config =ConfigParser.ConfigParser()
  try:
    config.read(Pathname)
    server_item = config.sections()
    server1_host = ''  ##MHA cnf 組態檔中的節點1
    server2_host = ''  ##MHA cnf 組態檔中的節點2
    server3_host = ''  ##MHA cnf 組態檔中的節點3
    mha_cnf_remark = ''
    if 'server1' in server_item:
      server1_host = config.get('server1','hostname')
    else:
       server1_host = ''
       mha_cnf_remark = mha_cnf_remark + 'Server1未配置;'
    if 'server2' in server_item:
      server2_host = config.get('server2','hostname')
    else:
      server2_host = ''
      mha_cnf_remark = mha_cnf_remark + 'Server2未配置;'
    if 'server3' in server_item:
      server3_host = config.get('server3','hostname')

      ##print(mha_cnf_remark)
  except Exception as e:
    print(e)

  mha_status_result =''
  if server1_host <> '' and server2_host <> '':
    cmd_mha_status ='/usr/local/bin/masterha_check_status --conf='+Pathname
    with os.popen(cmd_mha_status) as mha_status:
      mha_status_result = mha_status.read()
      if 'running(0:PING_OK)' in mha_status_result:
        print('masterha_check_status,server='+server1_host+' Status=1i')
        print('masterha_check_status,server='+server2_host+' Status=1i')
      if 'stopped(2:NOT_RUNNING)' in mha_status_result:
      ##else:
        print('masterha_check_status,server='+server1_host+' Status=0i')
        print('masterha_check_status,server='+server2_host+' Status=0i')

說明:

（1）遍歷 /cnf/mhacnf目錄下的檔案（假設MHA組態檔的組態檔在此目錄下）；

（2）對每個檔案執行masterha_check_status --cong = XXXX，XXXX為具體的組態檔；判斷運行結果；

（3）獲取MHA集群節點；

（4）因為我們MHA集群都是一主一從，所以，只 if server1_host <> '' and server2_host <> '':一種情況，大家可根據需要，根據具體的場景，變更，

（5）資料保存到名叫masterha_check_status的measurement中，Tag Key 有 host 和 server；當運行OK時，Status=1，否則，Status=0，

（6）Server對應的資料為Server IP（注意，會在grafana配置時以此關聯），

2.2 修改 telegraf 檔案

檔案默認目錄為/etc/telegraf/，默認檔案為telegraf.conf，

將執行檔案嵌入到telegraf.conf中，由python驅動，

代碼如下:

[[inputs.exec]]
  ##Commands array
  commands = ["python /data/check_mha_status/check_mha_status.py",]
  timeout='60s'
  data_format="influx"

2.3 修改telegraf service的運行賬號

telegraf服務的啟動賬號默認為telegraf，但是，其中呼叫了Python和python的可執行檔案，需要修改權限，為了簡便，升級telegraf service的運行賬號，修改成root，??

修改telegraf.service，默認路徑為/usr/lib/systemd/system/telegraf.service，

修改后的代碼如下：

[Unit]
Description=The plugin-driven server agent for reporting metrics into InfluxDB
Documentation=https://github.com/influxdata/telegraf
After=network.target

[Service]
EnvironmentFile=-/etc/default/telegraf
##User=telegraf
User=root
ExecStart=/usr/bin/telegraf -config /etc/telegraf/telegraf.conf -config-directory /etc/telegraf/telegraf.d $TELEGRAF_OPTS
ExecReload=/bin/kill -HUP $MAINPID
Restart=on-failure
RestartForceExitStatus=SIGPIPE
KillMode=control-group

[Install]
WantedBy=multi-user.target

2.4 啟動Telegraf 服務

service telegraf start     ####啟動服務
service telegraf status   ####服務狀態查看
service telegraf stop     ####關閉服務

2.5 配置Grafana，增加Panel

因為MySQL實體節點的telegraf也會匯報各自的資料，例如MySQL連接數、TPS、QPS、主從狀態、延遲、資源（CPU、記憶體、磁盤、IOWait）等等，這些指標在一個Dashboard上，而新收集的MHA運行狀態是新增的的一個MySQL指標，所以，應該將MHA運行狀態作為既有MySQL Dashboard的一個Panel，

在MySQL實體節點上匯報的資料是各個節點的host 和 instance(Server IP:埠)；而MHA 運行狀態匯報的資料是manager節點的host 和各個實體Server IP，所以，依據Host 關聯，整合到一個Dashboard是實作不了的（因為沒有關聯性），只能通過 instance(Server IP:埠) 和 Server IP 進行關聯了，

首先，將instance(Server IP:埠) 正則下，去除埠資料，實作方式，增加一個grafana變數--server_ip，如下：

注意上面的資料源來自measurement為mysql，

然后，再增加一個grafana變數--mha_server,注意，會依賴上面的變數server_ip，

這樣 mysql 和 masterha_check_status 兩個measurement就關聯起來了，可以聯動了，

最后，增加 panel設定下，就可以了，如下，

SQL 陳述句如下:

SELECT mean("Status") FROM "masterha_check_status" WHERE ("server" =~ /^$mha_server$/) AND $timeFilter GROUP BY time(1m) fill(null)

三 .實作

運行狀態為1，例外或關閉為0.

還可以增加Alarm告警，例如郵箱、微信、釘釘等，在此就不展開了，

補充一點

因為優化后的監控方法，根據組態檔自動發現、自動調整監控，所以，如果新增一個MHA，而這個程序又比較長，比如10分鐘，這個時候，既有的MHA監控可能會報錯或報警，

為了避免這種情況發生，建議新增的MHA的組態檔，最后再放至到MHA組態檔的目錄上，或者，先將組態檔放到其他的目錄上，MHA配置OK后，最后一步再移到/cnf/mhacnf目錄下，

轉載請註明出處，本文鏈接：https://www.uj5u.com/shujuku/308622.html

標籤：其他

上一篇：三分鐘圖解事務隔離級別，看一遍就懂

下一篇：如何在Python中只使用堆疊操作對堆疊進行排序？

MySQL MHA 運行狀態監控

一 專案描述