主頁 > 後端開發 > 翻車了,被讀者找出 BUG

翻車了,被讀者找出 BUG

2023-06-13 07:32:11 後端開發

大家好呀,我是小樓,

本文是上篇文章《使用增強版 singleflight 合并事件推送,效果炸裂!》的續集,沒看過前文必須要先看完才能看本文,實在不想看,拉到文章末尾,給我點個贊再退出吧~Doge

上篇文章發出后,有一位讀者朋友給我發私信,寫了一大段話:

image

一開始,沒太看懂,于是就細問了一下

image

在看了解釋之后,感覺好像有點懂了,再三思考后,確認了,這里面有 BUG,

理想狀態

為了描述簡單,這里我用字母本身表示事件發生,如 A,用字母加一撇表示事件開始執行,如 A',用字母加兩撇表示事件執行結束后的狀態,如 D''

如下表示我們之前思考的理想狀態:A 事件到來便執行,在執行結束前又先后來了 B、C、D 三個事件,先 Hold 住,待 A 執行完成后,B、C、D 同時進入 sigleflight group 中搶執行,最終結果是 D'',感覺非常完美,

image

對應到代碼上是這樣:

image

case 1

但這位讀者提出了一個疑問,如果在 B、C、D 執行的時候又來一個 E 事件,那這個 E 事件將會重走 A 事件的路,如果這個 E 事件執行的比較快,先于 B、C、D 事件完成,那不就有問題了?

image

E 事件最后到,我們期望的結果應該是 E'',但按這個推理,最終結果是 D'',顯然不符合預期,

case 2

同理,如果在 E 事件執行期間累積了 F、G 事件,且 F、G 也比較爭氣,在 B、C、D 完成之前完成了:

image

期望的是 G'',但最終結果是 D'',

線上有問題嗎?

這兩個場景確實很難測驗到,如果不幸遇到,還是有風險的,我們復盤了自己的系統,發現我們的系統是可以解這個問題的,

我們的系統會針對推送下去不一致的資料會定期補償,具體怎么做的呢?

在推送之前,針對同一種推送,也就是相同的 key 生成(存在則更新)同一條記錄,該記錄包含兩個時間 t1、t2,推送的開始時間 tn(精確到納秒)記錄到 t1,推送完成后將 tn 記錄到 t2,這兩次記錄在一個方法中,偽代碼是這樣:

tn := time.Now().UnixNano()
markT1(key, tn)
push(key)
markT2(key, tn)

如果 t1 = t2 則說明推送沒有問題,如果 t1 != t2 則說明這條推送需要補償,每 10s 掃描一次需要補償的事件進行重新下發推送

我們以 case 1 為例,按照時間順序

  • A 執行完成時,t1= ta,t2 = ta
  • D 開始執行,t1 = td
  • E 開始執行,t1 = te,E 執行結束 t2 = te
  • D 執行結束,t1 = te,t2 = td
  • 10s 后發現 t1 != t2,于是觸發重新下發邏輯,重新推送最新資料為 E''

image

最后

還好我們線上系統有一層保護機制,否則可能要出事,如果在 singleflight 層面去解決這個問題,暫時我還沒有想到很好的辦法,如果讀者朋友們有好的方法,歡迎私信我,

不得不說讀者朋友們當中還是有不少讀了我的文章,而且認真思考了的,在此表示感謝,也歡迎大家指出文章中的錯誤,

最后感謝能抽空看到這里,如果你能點贊在看分享,我會更加感激不盡~


  • 搜索關注微信公眾號"捉蟲大師",后端技術分享,架構設計、性能優化、原始碼閱讀、問題排查、踩坑實踐

轉載請註明出處,本文鏈接:https://www.uj5u.com/houduan/554935.html

標籤:Go

上一篇:Python生成指定大小的檔案

下一篇:返回列表

標籤雲
其他(160817) Python(38219) JavaScript(25492) Java(18216) C(15237) 區塊鏈(8270) C#(7972) AI(7469) 爪哇(7425) MySQL(7247) html(6777) 基礎類(6313) sql(6102) 熊猫(6058) PHP(5873) 数组(5741) R(5409) Linux(5347) 反应(5209) 腳本語言(PerlPython)(5129) 非技術區(4971) Android(4589) 数据框(4311) css(4259) 节点.js(4032) C語言(3288) json(3245) 列表(3129) 扑(3119) C++語言(3117) 安卓(2998) 打字稿(2995) VBA(2789) Java相關(2746) 疑難問題(2699) 细绳(2522) 單片機工控(2479) iOS(2435) ASP.NET(2404) MongoDB(2323) 麻木的(2285) 正则表达式(2254) 字典(2211) 循环(2198) 迅速(2185) 擅长(2169) 镖(2155) .NET技术(1984) 功能(1967) HtmlCss(1962) Web開發(1951) C++(1933) python-3.x(1918) 弹簧靴(1913) xml(1889) PostgreSQL(1881) .NETCore(1863) 谷歌表格(1846) Unity3D(1843) for循环(1842)

熱門瀏覽
  • 【C++】Microsoft C++、C 和匯編程式檔案

    ......

    uj5u.com 2020-09-10 00:57:23 more
  • 例外宣告

    相比于斷言適用于排除邏輯上不可能存在的狀態,例外通常是用于邏輯上可能發生的錯誤。 例外宣告 Item 1:當函式不可能拋出例外或不能接受拋出例外時,使用noexcept 理由 如果不打算拋出例外的話,程式就會認為無法處理這種錯誤,并且應當盡早終止,如此可以有效地阻止例外的傳播與擴散。 示例 //不可 ......

    uj5u.com 2020-09-10 00:57:27 more
  • Codeforces 1400E Clear the Multiset(貪心 + 分治)

    鏈接:https://codeforces.com/problemset/problem/1400/E 來源:Codeforces 思路:給你一個陣列,現在你可以進行兩種操作,操作1:將一段沒有 0 的區間進行減一的操作,操作2:將 i 位置上的元素歸零。最終問:將這個陣列的全部元素歸零后操作的最少 ......

    uj5u.com 2020-09-10 00:57:30 more
  • UVA11610 【Reverse Prime】

    本人看到此題沒有翻譯,就附帶了一個自己的翻譯版本 思考 這一題,它的第一個要求是找出所有 $7$ 位反向質數及其質因數的個數。 我們應該需要質數篩篩選1~$10^{7}$的所有數,這里就不慢慢介紹了。但是,重讀題,我們突然發現反向質數都是 $7$ 位,而將它反過來后的數字卻是 $6$ 位數,這就說明 ......

    uj5u.com 2020-09-10 00:57:36 more
  • 統計區間素數數量

    1 #pragma GCC optimize(2) 2 #include <bits/stdc++.h> 3 using namespace std; 4 bool isprime[1000000010]; 5 vector<int> prime; 6 inline int getlist(int ......

    uj5u.com 2020-09-10 00:57:47 more
  • C/C++編程筆記:C++中的 const 變數詳解,教你正確認識const用法

    1、C中的const 1、區域const變數存放在堆疊區中,會分配記憶體(也就是說可以通過地址間接修改變數的值)。測驗代碼如下: 運行結果: 2、全域const變數存放在只讀資料段(不能通過地址修改,會發生寫入錯誤), 默認為外部聯編,可以給其他源檔案使用(需要用extern關鍵字修飾) 運行結果: ......

    uj5u.com 2020-09-10 00:58:04 more
  • 【C++犯錯記錄】VS2019 MFC添加資源不懂如何修改資源宏ID

    1. 首先在資源視圖中,添加資源 2. 點擊新添加的資源,復制自動生成的ID 3. 在解決方案資源管理器中找到Resource.h檔案,編輯,使用整個專案搜索和替換的方式快速替換 宏宣告 4. Ctrl+Shift+F 全域搜索,點擊查找全部,然后逐個替換 5. 為什么使用搜索替換而不使用屬性視窗直 ......

    uj5u.com 2020-09-10 00:59:11 more
  • 【C++犯錯記錄】VS2019 MFC不懂的批量添加資源

    1. 打開資源頭檔案Resource.h,在其中預先定義好宏 ID(不清楚其實ID值應該設定多少,可以先新建一個相同的資源項,再在這個資源的ID值的基礎上遞增即可) 2. 在資源視圖中選中專案資源,按F7編輯資源檔案,按 ID 型別 相對路徑的形式添加 資源。(別忘了先把檔案拷貝到專案中的res檔案 ......

    uj5u.com 2020-09-10 01:00:19 more
  • C/C++編程筆記:關于C++的參考型別,專供新手入門使用

    今天要講的是C++中我最喜歡的一個用法——參考,也叫別名。 參考就是給一個變數名取一個變數名,方便我們間接地使用這個變數。我們可以給一個變數創建N個參考,這N + 1個變數共享了同一塊記憶體區域。(參考型別的變數會占用記憶體空間,占用的記憶體空間的大小和指標型別的大小是相同的。雖然參考是一個物件的別名,但 ......

    uj5u.com 2020-09-10 01:00:22 more
  • 【C/C++編程筆記】從頭開始學習C ++:初學者完整指南

    眾所周知,C ++的學習曲線陡峭,但是花時間學習這種語言將為您的職業帶來奇跡,并使您與其他開發人員區分開。您會更輕松地學習新語言,形成真正的解決問題的技能,并在編程的基礎上打下堅實的基礎。 C ++將幫助您養成良好的編程習慣(即清晰一致的編碼風格,在撰寫代碼時注釋代碼,并限制類內部的可見性),并且由 ......

    uj5u.com 2020-09-10 01:00:41 more
最新发布
  • 翻車了,被讀者找出 BUG

    大家好呀,我是小樓。 本文是上篇文章[《使用增強版 singleflight 合并事件推送,效果炸裂!》](https://mp.weixin.qq.com/s/PFojA2DWJF7ry9Rdu8znyA)的續集,沒看過前文必須要先看完才能看本文,實在不想看,拉到文章末尾,給我點個贊再退出吧~Do ......

    uj5u.com 2023-06-13 07:32:11 more
  • Python生成指定大小的檔案

    轉載請注明出處?? 作者:[測驗蔡坨坨](https://www.caituotuo.top/) 原文鏈接:[caituotuo.top/400bd75c.html](https://www.caituotuo.top/400bd75c.html) 你好,我是測驗蔡坨坨。 在日常測驗作業中,我們經常 ......

    uj5u.com 2023-06-12 07:44:25 more
  • C++面試八股文:在C++中,你知道哪些運算子?

    某日二師兄參加XXX科技公司的C++工程師開發崗位第11面: > 面試官:在C++中,你都知道都哪些運算子? > > 二師兄:啥?運算子?`+-*/=`這些算嗎? > > 面試官:嗯,還有其他的嗎? > > 二師兄:當然還有,`+=,-=,*=,/=,==`,還有邏輯運算,位運算等。 > > 面試官 ......

    uj5u.com 2023-06-12 07:44:16 more
  • Xilinx GTH 簡介 ,CoaXpress FPGA PHY 部分

    ## 什么是GTH GTH 是Xilinx UltraScale系列FPGA上高速收發器的一種型別,本質上和其它名稱如GTP, GTX等只是器件型別不同、速率有差異;GTH 最低速率在500Mbps,最高在16Gbps ![](https://img2023.cnblogs.com/blog/274 ......

    uj5u.com 2023-06-12 07:43:55 more
  • 【技識訓累】Java中的泛型【一】

    博客推行版本更新,成果積累制度,已經寫過的博客還會再次更新,不斷地琢磨,高質量高數量都是要追求的,工匠精神是學習必不可少的精神。因此,大家有何建議歡迎在評論區踴躍發言,你們的支持是我最大的動力,你們敢投,我就敢肝 ......

    uj5u.com 2023-06-12 07:43:40 more
  • List 介面及其常用方法

    List 介面是 Collection 介面的子介面。List 中元素有序,是按照元素的插入順序進行排序的。每個元素都有一個與之關聯的整數型索引(索引從 0 開始),可以根據索引來訪問和操作元素,可以使用普通 for 回圈遍歷。List 中可以包含重復的元素。 ......

    uj5u.com 2023-06-12 07:43:36 more
  • Go 語言實作 MySQL 資料庫事務

    # Go 實作 MySQL 資料庫事務 ## 一、MySQL事務 MySQL事務是指一組資料庫操作,它們被視為一個邏輯單元,并且要么全部成功執行,要么全部回滾(撤銷)。事務是資料庫管理系統提供的一種機制,用于確保資料的一致性和完整性。 事務具有以下特性(通常由ACID原則定義): 1. 原子性(At ......

    uj5u.com 2023-06-12 07:43:32 more
  • Spring配置動態資料庫

    前言 本文主要介紹使用spring boot 配置多個資料庫,即動態資料庫 開始搭建 首先創建一個SpringWeb專案——dynamicdb(spring-boot2.5.7) 然后引入相關依賴lombok、swagger2、mybatis-plus,如下: <?xml version="1.0" ......

    uj5u.com 2023-06-12 07:43:24 more
  • ubuntu 搭建 cmake + vscode 的 c/c++ 開發環境

    # todo 串列 - [ ] clang-format - [ ] c++ 整合 # 軟體安裝 略 # 基本的環境搭建 ## 最基本的 vscode 插件 只需要安裝如下兩個插件即可 c/c++ 擴展是為了最基本的代碼提示和除錯支持 cmake language support 是為了提示 CMa ......

    uj5u.com 2023-06-12 07:42:41 more
  • Java NIO原理 (Selector、Channel、Buffer、零拷貝、IO多路復用)

    [系列文章目錄和關于我](https://www.cnblogs.com/cuzzz/p/16609728.html) ## 零丶背景 最近有很多想學的,像netty的使用、原理原始碼,但是苦于自己對于作業系統和nio了解不多,有點無從下手,遂學習之。 ## 一丶網路io的程序 ![image-202 ......

    uj5u.com 2023-06-12 07:41:52 more