1 背景與目標
1.1 背景
國際財務泰國每月月初賬單任務生成，或者重算賬單資料，資料同步方案為mysql通過binlake同步ES資料，在同步程序中發現計費事件表，計費結果表均有延遲，ES資料與Mysql資料不一致，導致業務頁面查詢資料不準確，部分核心計算通過ES校驗失敗
1.2目標
解決binlake到JMQ積壓同步ES延遲問題
2 當前業務流程
2.1 流程圖
現有業務基本流程如下圖，包含運營端和外部資料接入，整體操作到資料存盤流程
2.2 資料流
3 問題分析
3.1 問題現象
jmq積壓，報警
國內站截圖如下
3.2 篩查分析
普及：JMQ默認生產者發送訊息QPS受到主題的broker數量影響，(8w/s)/broker
3.2.1 MQ積壓分析
1）分析原因一、ES寫入量大，導致ES寫入QPS瓶頸
ES寫入瓶頸需要進行壓測，才能確定實際是否達到瓶頸；
通過查詢集群負載，寫入佇列有無積壓，cpu高不高，來定位
以下為調整MQ批量消費大小后的ES監控
寫入佇列無積壓，CPU不高，寫入QPS沒有達到瓶頸
2）分析原因二、ES寫入慢導致消費積壓
ES決議服務決議慢，瓶頸在ES決議處
根據當前系統CPU、負載資訊定位是否服務器性能滿負荷，是否擴容
無報警資訊，整體運行平穩，基本排除業務資源達到瓶頸問題引起寫入慢
MQ消費端消費慢，瓶頸在消費并發處
當前主題分片數3，佇列數為15，默認最大并發數為15*10，報警當時入隊數500~700/s
定位問題，為MQ消費慢，其根本原因為受到ES-Parse業務系統處理速度影響
3.3 臨時處理方案
開啟mq并行消費策略，寫入QPS顯著增加
4 如何提升消費速率，提升寫入ES速率
造成問題原因核心點是MQ積壓，業務系統消費慢，MQ入隊數大于出隊數，導致積壓
4.1 原理分析
4.1.1 存盤流程決議
第一步：binlake訂閱mysql binlog
第二步：發MQ，JMQ資料傳輸
第三步：消費JMQ資料，ES Paser資料決議，
第四步：資料存盤
4.1.2 binlake基本原理
4.1.3 binlake發送MQ程序
4.1.4 JMQ消費原理
JMQ消費默認就是批量消費
消費原理如下圖
批量消費與并行消費原理如下圖
通過分析，在未開啟并行消費前提下，當前主題最大處并發的消費處理能力即是佇列數
4.2 提升消費速率的幾種方案
4.2.1MQ增加消費速度方法
擴容，增加并發消費能力
針對MQ默認情況下，一切擴容都能解決問題，增大分片數，增加佇列數
需要額外資源，申請擴容新的broker，同時考慮增加消費端實體
增加批量大小
首先保證，業務系統(ES-Parse)消費MQ訊息，處理10條和處理100條速度基本一樣
實踐：國際財務針對此方法進行代碼邏輯改造
開啟并行數
理論上增加（并行數/批量數）的倍數并發處理能力
要求資料無序，針對亂序，資料存盤，不影響業務
4.2.2 并行有序的方案
1）實作資料冪等性，增加快取，并行消費策略
方案流程
基礎實作流程：
1）根據binlake發送mq，在mq端開啟并行消費，確保并行消費
2）根據業務單號對，單號加鎖（如麥哲倫對運單號加鎖，即對單號加分布式鎖），根據對應的ID獲取ES資料，
3）校驗資料是否有效，若查詢無資料，則直接新增；若查詢的資料狀態大于當前資料狀態，則直接拋棄，若查詢狀態小于當前資料狀態，則直接更新資料
4）更新快取并釋放鎖
優點
- 指定資源情況下，增大消費端并發
- 可以開啟并行消費，且保證順序消費
- 可以使得資源充分利用，增加消費性能
缺點
- 增加毫秒級快取額外開銷
實踐：麥哲倫運單中心針對此方案實作binlake資料同步ES
2）binlake主題分發子主題，顯示增大并發策略
優點：
- 邏輯相對簡單，不需要開發復雜邏輯，無需引入額外中間件
- 預估轉發訊息速率即是實際處理速率
提升速率計算:
- 原主題單執行緒處理一條資料存盤到ES時間為es_time，舉例為50ms，每秒吞吐量是20條
- 現單執行緒轉發MQ一條資料時間為trans_time，舉例為20ms，每秒轉發吞吐量50條
- 假設轉發topic為N個子主題，則吞吐量理論為n*20實際小于轉發吞吐量50，此處多子主題對cpu核數競爭
- 提升吞吐量為=(1000ms/trans_time )轉發吞吐量 - (1000ms/es_time)原有吞吐量
缺點
- 擴展性不好，實際結果有待驗證，小于預估值
實踐：跨境赤道分發中心實作類似功能實踐，訊息轉發，其他MQ實作
3）倆種方案對比
主題較少一個倆個主題情況下，且業務處理比較耗時情況下，不想額外開發，可選方案二
長期方案選擇方案一，并行消費策略，可伸縮性，可擴展，支持動態擴容
5.總結
針對MQ積壓問題，并行消費可以是解決問題的一大利器，本文從binlake同步ES進行分析，同時針對積壓推薦倆種方案，并從性能合理利用及擴展性分析，簡要介紹方案二并行有序消費策略，希望能夠幫助大家，如有問題，請隨時指出！
作者：任洪波
轉載請註明出處，本文鏈接：https://www.uj5u.com/shujuku/530027.html
標籤：MySQL