主頁 > 後端開發 > 對不起,我錯了,這代碼不好寫

對不起,我錯了,這代碼不好寫

2022-06-02 20:24:00 後端開發

hello,大家好呀,我是小樓,

前幾天不是寫了這篇文章《發現一個開源專案優化點,點進來就是你的了》嘛,

文章介紹了Sentinl的自適應快取時間戳演算法,從原理到實作都手把手解讀了,而且還發現Sentinel-Go還未實作這個自適應演算法,于是我就覺得,這簡單啊,把Java代碼翻譯成Go不就可以混個PR?

甚至在文章初稿中把這個描述為:「有手就可以」,感覺不太妥當,后來被我刪掉了,

過了幾天,我想去看看有沒有人看了我的文章真的去提了個PR,發現仍然是沒有,心想,可能是大家太忙(懶)了吧,

于是準備自己來實作一遍,周末我拿出電腦試著寫一下這段代碼,結果被當頭一棒敲醒,原來這代碼不好寫啊,

image

如何實作

先簡單介紹一下我當時是如何實作的,

首先,定義了系統的四種狀態:

const (
	UNINITIALIZED = iota
	IDLE
	PREPARE
	RUNNING
)

這里為了讓代碼更加貼近Go的習慣,用了iota

用了4種狀態,第一個狀態UNINITIALIZED是Java版里沒有的,因為Java在系統初始化時默認就啟動了定時快取時間戳執行緒,

但Go版本不是這樣的,它有個開關,當開關開啟時,會呼叫StartTimeTicker來啟動快取時間戳的協程,所以當沒有初始化時是需要直接回傳系統時間戳,所以這里多了一個UNINITIALIZED狀態,

然后我們需要能夠統計QPS的方法,這塊直接抄Java的實作,由于不是重點,但又怕你不理解,所以直接貼一點代碼,不想看可以往下劃,

定義我們需要的BucketWrap:

type statistic struct {
	reads  uint64
	writes uint64
}

func (s *statistic) NewEmptyBucket() interface{} {
	return statistic{
		reads:  0,
		writes: 0,
	}
}

func (s *statistic) ResetBucketTo(bucket *base.BucketWrap, startTime uint64) *base.BucketWrap {
	atomic.StoreUint64(&bucket.BucketStart, startTime)
	bucket.Value.Store(statistic{
		reads:  0,
		writes: 0,
	})
	return bucket
}

獲取當前的Bucket:

func currentCounter(now uint64) (*statistic, error) {
	if statistics == nil {
		return nil, fmt.Errorf("statistics is nil")
	}

	bk, err := statistics.CurrentBucketOfTime(now, bucketGenerator)
	if err != nil {
		return nil, err
	}
	if bk == nil {
		return nil, fmt.Errorf("current bucket is nil")
	}

	v := bk.Value.Load()
	if v == nil {
		return nil, fmt.Errorf("current bucket value is nil")
	}
	counter, ok := v.(*statistic)
	if !ok {
		return nil, fmt.Errorf("bucket fail to do type assert, expect: *statistic, in fact: %s", reflect.TypeOf(v).Name())
	}

	return counter, nil
}

獲取當前的QPS:

func currentQps(now uint64) (uint64, uint64) {
	if statistics == nil {
		return 0, 0
	}

	list := statistics.ValuesConditional(now, func(ws uint64) bool {
		return ws <= now && now < ws+uint64(bucketLengthInMs)
	})

	var reads, writes, cnt uint64
	for _, w := range list {
		if w == nil {
			continue
		}

		v := w.Value.Load()
		if v == nil {
			continue
		}

		s, ok := v.(*statistic)
		if !ok {
			continue
		}

		cnt++
		reads += s.reads
		writes += s.writes
	}

	if cnt < 1 {
		return 0, 0
	}

	return reads / cnt, writes / cnt
}

當我們有了這些準備后,來寫核心的check邏輯:

func check() {
	now := CurrentTimeMillsWithTicker(true)
	if now-lastCheck < checkInterval {
		return
	}

	lastCheck = now
	qps, tps := currentQps(now)
	if state == IDLE && qps > hitsUpperBoundary {
		logging.Warn("[time_ticker check] switches to PREPARE for better performance", "reads", qps, "writes", tps)
		state = PREPARE
	} else if state == RUNNING && qps < hitsLowerBoundary {
		logging.Warn("[time_ticker check] switches to IDLE due to not enough load", "reads", qps, "writes", tps)
		state = IDLE
	}
}

最后是呼叫check的地方:

func StartTimeTicker() {
	var err error
	statistics, err = base.NewLeapArray(sampleCount, intervalInMs, bucketGenerator)
	if err != nil {
		logging.Warn("[time_ticker StartTimeTicker] new leap array failed", "error", err.Error())
	}

	atomic.StoreUint64(&nowInMs, uint64(time.Now().UnixNano())/unixTimeUnitOffset)
	state = IDLE
	go func() {
		for {
			check()
			if state == RUNNING {
				now := uint64(time.Now().UnixNano()) / unixTimeUnitOffset
				atomic.StoreUint64(&nowInMs, now)
				counter, err := currentCounter(now)
				if err != nil && counter != nil {
					atomic.AddUint64(&counter.writes, 1)
				}
				time.Sleep(time.Millisecond)
				continue
			}
			if state == IDLE {
				time.Sleep(300 * time.Millisecond)
				continue
			}
			if state == PREPARE {
				now := uint64(time.Now().UnixNano()) / unixTimeUnitOffset
				atomic.StoreUint64(&nowInMs, now)
				state = RUNNING
				continue
			}
		}
	}()
}

自此,我們就實(抄)現(完)了自適應的快取時間戳演算法,

測驗一下

先編譯一下,咚,報錯了:import cycle not allowed!

image

啥意思呢?回圈依賴了!

我們的時間戳獲取方法在包util中,然后我們使用的統計QPS相關的實作在base包中,util包依賴了base包,這個很好理解,反之,base包也依賴了util包,base包主要也使用了CurrentTimeMillis方法來獲取當前時間戳,我這里截個圖,但不止這些,有好幾個地方都使用到了:

image

但我寫代碼時是特地繞開了回圈依賴,也就是util中呼叫base包中的方法是不會反向依賴回來形成環的,為此還單獨寫了個方法:

image

使用新方法,就不會形成依賴環,但實際上編譯還是通過不了,這是因為Go在編譯時就直接禁止了回圈依賴,

那我就好奇了啊,Java是怎么實作的?

這是com.alibaba.csp.sentinel.util

image

這是com.alibaba.csp.sentinel.slots.statistic.base

image

Java也出現了回圈依賴,但它沒事!

這瞬間勾起了我的興趣,如果我讓它運行時形成依賴環,會怎么樣呢?

簡單做個測驗,搞兩個包,互相呼叫,比如pk1pk2code方法都呼叫對方:

package org.newboo.pk1;

import org.newboo.pk2.Test2;

public class Test1 {
    public static int code() {
        return Test2.code();
    }

    public static void main(String[] args) {
        System.out.println(code());
    }
}

編譯可以通過,但運行報錯堆疊溢位了:

Exception in thread "main" java.lang.StackOverflowError
	at org.newboo.pk1.Test1.code(Test1.java:7)
	at org.newboo.pk2.Test2.code(Test2.java:7)
	...

這么看來是Go編譯器做了校驗,強制不允許回圈依賴,

說到這里,其實Java里也有回圈依賴校驗,比如:Maven不允許回圈依賴,比如我在sentinel-core模塊中依賴sentinel-benchmark,編譯時就直接報錯,

image

再比如SpringBoot2.6.x默認禁用回圈依賴,如果想用,還得手動打開才行,

Java中強制禁止的只有maven,語言層面、框架層面基本都沒有趕盡殺絕,但Go卻在語言層面強制不讓使用,

這讓我想起了之前在寫Go代碼時,Go的鎖不允許重入,經常寫出死鎖代碼,這擱Java上一點問題都沒有,當時我就沒想通,為啥Go不支持鎖的重入,

現在看來可能的原因:一是Go的設計者有代碼潔癖,想強制約束大家都有良好的代碼風格;二是由于Go有回圈依賴的強制檢測,導致鎖重入的概率變小,

但這終究是理想狀態,往往在實施起來的時候令人痛苦,

反觀Java,一開始沒有強制禁用回圈依賴,導致后面基本不可避免地寫出回圈依賴的代碼,SpringBoot認為這是不好的,但又不能強制,只能默認禁止,但如果你真的需要,也還是可以打開的,

但話又說回來,回圈依賴真的「丑陋」嗎?我看不一定,仁者見仁,智者見智,

如何解決

問題是這么個問題,可能大家都有不同的觀點,或是吐槽Go,或是批判Java,這都不是重點,重點是我們還得在Go的規則下解決問題,

如何解決Go的回圈依賴問題呢?稍微查了一下資料,大概有這么幾種方法:

方法一

將兩個包合成一個,這是最簡單的方法,但這里肯定不行,合成一個這個PR鐵定過不了,

方法二

抽取公共底層方法,雙方都依賴這個底層方法,比如這里,我們把底層方法抽出來作為common,util和base同時依賴它,這樣util和base就不互相依賴了,

---- util
---- ---- common
---- base
---- ---- common

這個方法也是最常見,最正規的方法,

但在這里,似乎也不好操作,因為獲取時間戳這個方法已經非常底層了,沒辦法抽出一個和統計QPS共用的方法,反正我是沒能想出來,如果有讀者朋友可以做到,歡迎私聊我,真心求教,

花了很多時間,還是沒能搞定,當時的感覺是,這下翻車了,這題可沒那么簡單啊!

方法三

這個方法比較難想到,我也是在前兩個方法怎么都搞不定的情況下咨詢了組里的Go大佬才知道,

仔細看獲取時間戳的代碼:

// Returns the current Unix timestamp in milliseconds.
func CurrentTimeMillis() uint64 {
	return CurrentClock().CurrentTimeMillis()
}

這里的CurrentClock()是什么?其實是回傳了一個Clock介面的實作

type Clock interface {
	Now() time.Time
	Sleep(d time.Duration)
	CurrentTimeMillis() uint64
	CurrentTimeNano() uint64
}

作者這么寫的目的是為了在測驗的時候,可以靈活地替換真實實作

image

實際使用時RealClock,也就是呼叫了我們正在調優的時間戳獲取;MockClock則是測驗時使用的,

這個實作是什么時候注入的呢?

func init() {
	realClock := NewRealClock()
	currentClock = new(atomic.Value)
	SetClock(realClock)

	realTickerCreator := NewRealTickerCreator()
	currentTickerCreator = new(atomic.Value)
	SetTickerCreator(realTickerCreator)
}

在util初始化時,就寫死注入了realClock,

這么一細說,是不是對回圈依賴的解決有點眉目了?

我們的realClock實際上依賴了base,但這個realClock可以放在util包外,util包內只留一個介面,

image

注入真實的realClock的地方也不能放在util的初始化中,也得放在util包外(比如Sentinel初始化的地方),這樣一來,util就不再直接依賴base了,

image

這樣一改造,編譯就能通過了,當然這代碼只是個示意,還需要精雕細琢,

最后

我們發現就算給你現成的代碼,抄起來也是比較難的,有點類似「腦子會了,但手不會」的尷尬境地,

同時每個編程語言都有自己的風格,也就是我們通常說的,Go代碼要寫得更「Go」一點,所以語言不止是一個工具這么簡單,它的背后也存在著自己的思考方式,

本文其實是從一個案例分享了如何解決Go的回圈依賴問題,以及一些和Java對比的思考,更偏向代碼工程,

如果你覺得還不過癮,也可以看看這篇文章,也是關于代碼工程的:

  • 《慘,給Go提的代碼被批麻了》

看完,記得點個關注在看哦,這樣我才有動力持續輸出優質技術文章 ~ 我們下期再見吧,


  • 搜索關注微信公眾號"捉蟲大師",后端技術分享,架構設計、性能優化、原始碼閱讀、問題排查、踩坑實踐,

image

轉載請註明出處,本文鏈接:https://www.uj5u.com/houduan/485088.html

標籤:Go

上一篇:IOS – OpenGL ES 影像暈影擴散 GPUImageVignetteFilter

下一篇:AES加解密(golang <--> crypto-js)

標籤雲
其他(157675) Python(38076) JavaScript(25376) Java(17977) C(15215) 區塊鏈(8255) C#(7972) AI(7469) 爪哇(7425) MySQL(7132) html(6777) 基礎類(6313) sql(6102) 熊猫(6058) PHP(5869) 数组(5741) R(5409) Linux(5327) 反应(5209) 腳本語言(PerlPython)(5129) 非技術區(4971) Android(4554) 数据框(4311) css(4259) 节点.js(4032) C語言(3288) json(3245) 列表(3129) 扑(3119) C++語言(3117) 安卓(2998) 打字稿(2995) VBA(2789) Java相關(2746) 疑難問題(2699) 细绳(2522) 單片機工控(2479) iOS(2429) ASP.NET(2402) MongoDB(2323) 麻木的(2285) 正则表达式(2254) 字典(2211) 循环(2198) 迅速(2185) 擅长(2169) 镖(2155) 功能(1967) .NET技术(1958) Web開發(1951) python-3.x(1918) HtmlCss(1915) 弹簧靴(1913) C++(1909) xml(1889) PostgreSQL(1872) .NETCore(1853) 谷歌表格(1846) Unity3D(1843) for循环(1842)

熱門瀏覽
  • 【C++】Microsoft C++、C 和匯編程式檔案

    ......

    uj5u.com 2020-09-10 00:57:23 more
  • 例外宣告

    相比于斷言適用于排除邏輯上不可能存在的狀態,例外通常是用于邏輯上可能發生的錯誤。 例外宣告 Item 1:當函式不可能拋出例外或不能接受拋出例外時,使用noexcept 理由 如果不打算拋出例外的話,程式就會認為無法處理這種錯誤,并且應當盡早終止,如此可以有效地阻止例外的傳播與擴散。 示例 //不可 ......

    uj5u.com 2020-09-10 00:57:27 more
  • Codeforces 1400E Clear the Multiset(貪心 + 分治)

    鏈接:https://codeforces.com/problemset/problem/1400/E 來源:Codeforces 思路:給你一個陣列,現在你可以進行兩種操作,操作1:將一段沒有 0 的區間進行減一的操作,操作2:將 i 位置上的元素歸零。最終問:將這個陣列的全部元素歸零后操作的最少 ......

    uj5u.com 2020-09-10 00:57:30 more
  • UVA11610 【Reverse Prime】

    本人看到此題沒有翻譯,就附帶了一個自己的翻譯版本 思考 這一題,它的第一個要求是找出所有 $7$ 位反向質數及其質因數的個數。 我們應該需要質數篩篩選1~$10^{7}$的所有數,這里就不慢慢介紹了。但是,重讀題,我們突然發現反向質數都是 $7$ 位,而將它反過來后的數字卻是 $6$ 位數,這就說明 ......

    uj5u.com 2020-09-10 00:57:36 more
  • 統計區間素數數量

    1 #pragma GCC optimize(2) 2 #include <bits/stdc++.h> 3 using namespace std; 4 bool isprime[1000000010]; 5 vector<int> prime; 6 inline int getlist(int ......

    uj5u.com 2020-09-10 00:57:47 more
  • C/C++編程筆記:C++中的 const 變數詳解,教你正確認識const用法

    1、C中的const 1、區域const變數存放在堆疊區中,會分配記憶體(也就是說可以通過地址間接修改變數的值)。測驗代碼如下: 運行結果: 2、全域const變數存放在只讀資料段(不能通過地址修改,會發生寫入錯誤), 默認為外部聯編,可以給其他源檔案使用(需要用extern關鍵字修飾) 運行結果: ......

    uj5u.com 2020-09-10 00:58:04 more
  • 【C++犯錯記錄】VS2019 MFC添加資源不懂如何修改資源宏ID

    1. 首先在資源視圖中,添加資源 2. 點擊新添加的資源,復制自動生成的ID 3. 在解決方案資源管理器中找到Resource.h檔案,編輯,使用整個專案搜索和替換的方式快速替換 宏宣告 4. Ctrl+Shift+F 全域搜索,點擊查找全部,然后逐個替換 5. 為什么使用搜索替換而不使用屬性視窗直 ......

    uj5u.com 2020-09-10 00:59:11 more
  • 【C++犯錯記錄】VS2019 MFC不懂的批量添加資源

    1. 打開資源頭檔案Resource.h,在其中預先定義好宏 ID(不清楚其實ID值應該設定多少,可以先新建一個相同的資源項,再在這個資源的ID值的基礎上遞增即可) 2. 在資源視圖中選中專案資源,按F7編輯資源檔案,按 ID 型別 相對路徑的形式添加 資源。(別忘了先把檔案拷貝到專案中的res檔案 ......

    uj5u.com 2020-09-10 01:00:19 more
  • C/C++編程筆記:關于C++的參考型別,專供新手入門使用

    今天要講的是C++中我最喜歡的一個用法——參考,也叫別名。 參考就是給一個變數名取一個變數名,方便我們間接地使用這個變數。我們可以給一個變數創建N個參考,這N + 1個變數共享了同一塊記憶體區域。(參考型別的變數會占用記憶體空間,占用的記憶體空間的大小和指標型別的大小是相同的。雖然參考是一個物件的別名,但 ......

    uj5u.com 2020-09-10 01:00:22 more
  • 【C/C++編程筆記】從頭開始學習C ++:初學者完整指南

    眾所周知,C ++的學習曲線陡峭,但是花時間學習這種語言將為您的職業帶來奇跡,并使您與其他開發人員區分開。您會更輕松地學習新語言,形成真正的解決問題的技能,并在編程的基礎上打下堅實的基礎。 C ++將幫助您養成良好的編程習慣(即清晰一致的編碼風格,在撰寫代碼時注釋代碼,并限制類內部的可見性),并且由 ......

    uj5u.com 2020-09-10 01:00:41 more
最新发布
  • Rust中的智能指標:Box<T> Rc<T> Arc<T> Cell<T> RefCell<T> Weak

    Rust中的智能指標是什么 智能指標(smart pointers)是一類資料結構,是擁有資料所有權和額外功能的指標。是指標的進一步發展 指標(pointer)是一個包含記憶體地址的變數的通用概念。這個地址參考,或 ” 指向”(points at)一些其 他資料 。參考以 & 符號為標志并借用了他們所 ......

    uj5u.com 2023-04-20 07:24:10 more
  • Java的值傳遞和參考傳遞

    值傳遞不會改變本身,參考傳遞(如果傳遞的值需要實體化到堆里)如果發生修改了會改變本身。 1.基本資料型別都是值傳遞 package com.example.basic; public class Test { public static void main(String[] args) { int ......

    uj5u.com 2023-04-20 07:24:04 more
  • [2]SpinalHDL教程——Scala簡單入門

    第一個 Scala 程式 shell里面輸入 $ scala scala> 1 + 1 res0: Int = 2 scala> println("Hello World!") Hello World! 檔案形式 object HelloWorld { /* 這是我的第一個 Scala 程式 * 以 ......

    uj5u.com 2023-04-20 07:23:58 more
  • 理解函式指標和回呼函式

    理解 函式指標 指向函式的指標。比如: 理解函式指標的偽代碼 void (*p)(int type, char *data); // 定義一個函式指標p void func(int type, char *data); // 宣告一個函式func p = func; // 將指標p指向函式func ......

    uj5u.com 2023-04-20 07:23:52 more
  • Django筆記二十五之資料庫函式之日期函式

    本文首發于公眾號:Hunter后端 原文鏈接:Django筆記二十五之資料庫函式之日期函式 日期函式主要介紹兩個大類,Extract() 和 Trunc() Extract() 函式作用是提取日期,比如我們可以提取一個日期欄位的年份,月份,日等資料 Trunc() 的作用則是截取,比如 2022-0 ......

    uj5u.com 2023-04-20 07:23:45 more
  • 一天吃透JVM面試八股文

    什么是JVM? JVM,全稱Java Virtual Machine(Java虛擬機),是通過在實際的計算機上仿真模擬各種計算機功能來實作的。由一套位元組碼指令集、一組暫存器、一個堆疊、一個垃圾回收堆和一個存盤方法域等組成。JVM屏蔽了與作業系統平臺相關的資訊,使得Java程式只需要生成在Java虛擬機 ......

    uj5u.com 2023-04-20 07:23:31 more
  • 使用Java接入小程式訂閱訊息!

    更新完微信服務號的模板訊息之后,我又趕緊把微信小程式的訂閱訊息給實作了!之前我一直以為微信小程式也是要企業才能申請,沒想到小程式個人就能申請。 訊息推送平臺🔥推送下發【郵件】【短信】【微信服務號】【微信小程式】【企業微信】【釘釘】等訊息型別。 https://gitee.com/zhongfuch ......

    uj5u.com 2023-04-20 07:22:59 more
  • java -- 緩沖流、轉換流、序列化流

    緩沖流 緩沖流, 也叫高效流, 按照資料型別分類: 位元組緩沖流:BufferedInputStream,BufferedOutputStream 字符緩沖流:BufferedReader,BufferedWriter 緩沖流的基本原理,是在創建流物件時,會創建一個內置的默認大小的緩沖區陣列,通過緩沖 ......

    uj5u.com 2023-04-20 07:22:49 more
  • Java-SpringBoot-Range請求頭設定實作視頻分段傳輸

    老實說,人太懶了,現在基本都不喜歡寫筆記了,但是網上有關Range請求頭的文章都太水了 下面是抄的一段StackOverflow的代碼...自己大修改過的,寫的注釋挺全的,應該直接看得懂,就不解釋了 寫的不好...只是希望能給視頻網站開發的新手一點點幫助吧. 業務場景:視頻分段傳輸、視頻多段傳輸(理 ......

    uj5u.com 2023-04-20 07:22:42 more
  • Windows 10開發教程_編程入門自學教程_菜鳥教程-免費教程分享

    教程簡介 Windows 10開發入門教程 - 從簡單的步驟了解Windows 10開發,從基本到高級概念,包括簡介,UWP,第一個應用程式,商店,XAML控制元件,資料系結,XAML性能,自適應設計,自適應UI,自適應代碼,檔案管理,SQLite資料庫,應用程式到應用程式通信,應用程式本地化,應用程式 ......

    uj5u.com 2023-04-20 07:22:35 more