主頁 > 後端開發 > 好家伙,分布式配置中心這種組件真的是神器

好家伙,分布式配置中心這種組件真的是神器

2022-03-05 06:09:20 後端開發

我是3y,一年CRUD經驗用十年的markdown程式員???????常年被譽為優質八股文選手

上次給大家安排了監控的相關使用姿勢,不知道大家有沒有配置起來,但我可不管你們的進度怎么樣,我不會等著你們的喲,

今天來跟大家聊下分布式配置中心這個話題

01、什么是分布式配置中心

在之前我就很早已經提及過:分布式配置中心這種組件在后端就是標配的,

要理解分布式配置中心很簡單:其實就是把一些配置的資訊分離于自身的系統,而這些資訊又能被應用實時獲取得到,

要做到上面的核心功能并不難,但是作為中間件會需要更多的配套服務,包括但不限于

  • 1、有后臺界面供我們修改配置
  • 2、配置服務如果掛了有相關的容災邏輯
  • 3、支持不同環境下的配置資訊(我們線上的配置一般是分不同的環境配置不同的值)
  • 4、相關權限管理(只有負責人才能對配置進行update)
  • 5、簡單易用(有對應的SDK支持或api支持)
  • ...

有的公司會自研一套這種分布式配置中心的組件,實作了上面我提到的功能,作為個人或者小公司,直接上開源的就完事了,別老想著自研多么美妙,維護成本極大的

02、為什么分布式配置中心

我們可以把常變動的配置資訊存放在分布式配置中心上,比如:請求的ip地址、限流值、系統的配置值、各種業務開關等等,

甚至,我老東家的規則引擎也是在分布式配置中心的基礎上干的,分布式配置中心用到的場景是在是太多了...

就以我們austin專案為例就好了,這期我們要實作丟棄訊息,沒錯,你沒看錯,我們專案的核心是發訊息,但需要在系統中實作丟棄訊息的功能,

austin作為推送平臺,它的定位是面向整個公司的所有型別的訊息推送,有了這個定位以后,我們很難去保證用這個系統的都是些什么人(自然在這里面就會有粗心的),

從austin的實作架構,我們可以發現的是:如果瞬間有大批量訊息需要被下發時,資料會堵在MQ上等待消費

我們是在austin-api層實作了判斷模板是否被洗掉的校驗,但很有可能的是:請求已經全部被austin-api處理完畢了,訊息已經積壓在MQ了,

是可以在austini-handler再判斷一遍模板是否被洗掉,但很多時候訊息模板的擁有者并不是想把模板刪掉(刪掉意味著他們在控制臺就看不到該模板的配置訊息了),可能他們就只是發錯了而已,希望還沒下發的訊息不再發送而已,

除此之外,我們還得在austin專案實作白名單攔截的功能,這功能作用于devpre環境,

對于austin專案而言,devpre環境跟線上環境其實沒有什么本質上的區別,因為最終是下發訊息,只要環境能把訊息下發到用戶手上,那就可以把他當做線上環境在用,

一般業務在正式下發訊息之前,都會在devpre環境走一遍流程,但我們是很難保證它們的測驗一定是正常的,萬一業務方就出Bug導致dev/pre環境大批量推送了呢?

所以,我們會在dev/pre環境設定白名單,只有在白名單的內的用戶才能收到訊息,而白名單的串列我們又可以維護在分布式配置中心上

PS :相信大家多多少少都見過很多推送的事故(各大廠貌似都有過類似的新聞和經歷),在很大原因上,就是環境混用了,本來想用dev或者pre環境去測驗訊息下發,不料使用了生產環境,(這種問題一般就需要通過權限和審批的干預了)

像之前的實作的去重功能,我在代碼硬編碼寫了具體的numseconds值,這些值也許有一天都會隨著運營規則有所變動,所以也會抽到分布式配置中心上,

....

03、分布式配置中心 選擇

從我第一天把Apollo寫入到austin可能要引入的中間件,就有很多人問我:為什么選擇Apollo,我還挺納悶的,怎么就這個中間件問我的特別多呢?分布式配置中心可選擇的專案也是蠻多的:

在網上也有很多相關的對比,比如:

功能特性 重要性 spring-cloud-config Apollo disconf Nacos
靜態配置管理 基于file 支持 支持 支持
動態配置管理 支持 支持 支持 支持
統一管理 無,需要github 支持 支持 支持
多環境 無,需要github 支持 支持 支持
本地配置快取 支持 支持 支持
配置鎖 支持 不支持 不支持 不支持
配置校驗
配置生效時間 重啟生效,或手動refresh生效 實時 實時 實時
配置更新推送 需要手工觸發 支持 支持 支持
配置定時拉取 支持 配置更新目前依賴事件驅動, client重啟或者server端推送操 支持
用戶權限管理 無,需要github 支持 支持 支持
授權、審核、審計 無,需要github 支持 支持
配置版本管理 Git做版本管理 界面上直接提供發布歷史和回滾按鈕 操作記錄有落資料庫,但無查詢介面 界面操作,支持回滾
配置合規檢測 不支持 支持(但還需完善) 支持
實體配置監控 需要結合spring admin 支持 支持,可以查看每個配置在哪些機器上加載 支持
灰度發布 不支持 支持 不支持部分更新 支持
告警通知 不支持 支持,郵件方式告警 支持,郵件方式告警 支持

總體來說:Apollo支持的功能齊全、社區活躍、中文檔案豐富,所以,我就選擇了Apollo,社區活躍太重要了,當你使用某個框架時出現問題,然后網上一搜,發現都沒人有過類似的踩坑記錄,這時候頭都大了,

之前我就提到過:技術選型并往往不跟技術掛鉤,如果是個人專案,選個社區活躍的,并且該中間件已經被踩了很多坑的,學習它的思想和原理就能舉一反三,等以后知識面上去了,覺得自己當時腦子進了屎選了個破玩意,切換成本一般也不會有多大,

如果是在公司,如果本身就有類似的中間件,該用什么就用什么,在這基礎上修修補補就好了,如果本身沒有類似的中間件,那就多點花時間調研,但最后還是離不開中間件的成熟度和社區活躍度(也有可能大老板按照以往的習慣一拍板,哎,這就選好了,不傷腦筋)

不過,感興趣的還是可以多看看對比對比,這類文章在網上很多,

04、分布式配置中心原理

我以前的公司是自研的分布式配置中心,我曾經就看過其原理思想,那時候看到公司自研的技術實作是利用長連接使配置能實時被客戶端監聽到,這次參考了Apollo,我也去看了下設計檔案,也是通過長輪詢的方式實作客戶端實時感知

推薦大家去讀一讀,如果對分布式配置中心不太熟悉或者不了解它是什么東西的話,

攜程Apollo配置中心架構剖析演進

https://www.apolloconfig.com/#/zh/design/apollo-design

對于這塊,我感覺我沒什么可講的,我平白無事也不會去撈原始碼看(除非特別對某個技術實作感興趣,想看看人家是怎么實作的),而Apollo檔案這塊做得是相當不錯了,

我針對性從頭讀到尾,感覺挺流暢的,貌似不太需要我補充什么內容,

05、部署Apollo

部署Apollo跟之前一樣直接用docker-compose就完事了,在GitHub已經給出了對應的教程和docker-compose.yml以及相關的檔案,直接復制粘貼就完事咯,

https://www.apolloconfig.com/#/zh/deployment/quick-start-docker

https://github.com/apolloconfig/apollo/tree/master/scripts/docker-quick-start

由于埠的占用問題,我換了下映射埠,最主要看兩個埠吧:8070是后臺控制頁面的埠,8080是服務的埠

06、SpringBoot 使用apollo

寫到這的時候,發現我是真的沒啥好寫的,我無非也是跟著官方檔案弄弄,唯一的好處是我有現成的代碼,跟著做的同學可以直接復制粘貼就完了,

1、引入maven的依賴

<dependency>
  <groupId>com.ctrip.framework.apollo</groupId>
  <artifactId>apollo-client-config-data</artifactId>
  <version>1.9.1</version>
</dependency>

2、在組態檔上加入apollo的配置資訊:

# apollo  TODO
app:
  id: austin
apollo:
  bootstrap:
    enabled: true
    namespaces: boss.austin

配置的資訊是在apollo的后臺上新增的(這塊大家只要能打開后臺,問題就不大了,操作都挺簡單的,感覺也沒必要看啥檔案)

部門的創建其實也是一份"配置",輸入organizations就能把現有的部門給改掉,我新增了boss股東部門,大家都是我的股東,

3、在Spring中直接使用ApolloConfig就完了

還值得一提的是,我們是在云服務器上使用docker部署的apollo的,一般獲取姿勢配置都是在內網上暴露對應的服務地址的,但我們這先體驗的,所以可以直接跳過meta server

為了方便使用,直接在啟動的時候設定下引數就好了(跟著做的同學可以換下自己的ip和埠

08、總結

這篇文章簡單介紹了什么是分布式配置中心,以及分布式配置中心能用來干什么,介紹了如何入門Apollo,使用SpringBoot環境下使用Apollo,

我強烈建議如果不了解分布式配置中心的同學可以從Apollo入手,根據上面給出的鏈接閱讀下他的架構由來以及它的設計理念,作為一個markdown程式員而言,我覺得寫得很不錯的了,

對這感興趣的,也可以深入閱讀下原始碼,看看關鍵的功能是怎么實作的(這不又是一條學習路徑?)

如果公司還沒有用到分布式配置中心的,看完文章看看自己的專案有沒有相關的場景,可以專研下來接入下(一整個Q的KPI/OKR就有了,不用愁了)

點個贊一點都不過分吧?我是3y,下期見,

關注我的微信公眾號【Java3y】除了技術我還會聊點日常,有些話只能悄悄說~ 【對線面試官+從零撰寫Java專案】 持續高強度更新中!求star!!原創不易!!求三連!!

austin專案原始碼Gitee鏈接:gitee.com/austin

austin專案原始碼GitHub鏈接:github.com/austin

更多的文章可往:文章的目錄導航

轉載請註明出處,本文鏈接:https://www.uj5u.com/houduan/437859.html

標籤:Java

上一篇:【第三十三期】golang校招面試經歷分享 暢天游

下一篇:快速了解常用的訊息摘要演算法,再也不用擔心面試官的刨根問底

標籤雲
其他(157675) Python(38076) JavaScript(25376) Java(17977) C(15215) 區塊鏈(8255) C#(7972) AI(7469) 爪哇(7425) MySQL(7132) html(6777) 基礎類(6313) sql(6102) 熊猫(6058) PHP(5869) 数组(5741) R(5409) Linux(5327) 反应(5209) 腳本語言(PerlPython)(5129) 非技術區(4971) Android(4554) 数据框(4311) css(4259) 节点.js(4032) C語言(3288) json(3245) 列表(3129) 扑(3119) C++語言(3117) 安卓(2998) 打字稿(2995) VBA(2789) Java相關(2746) 疑難問題(2699) 细绳(2522) 單片機工控(2479) iOS(2429) ASP.NET(2402) MongoDB(2323) 麻木的(2285) 正则表达式(2254) 字典(2211) 循环(2198) 迅速(2185) 擅长(2169) 镖(2155) 功能(1967) .NET技术(1958) Web開發(1951) python-3.x(1918) HtmlCss(1915) 弹簧靴(1913) C++(1909) xml(1889) PostgreSQL(1872) .NETCore(1853) 谷歌表格(1846) Unity3D(1843) for循环(1842)

熱門瀏覽
  • 【C++】Microsoft C++、C 和匯編程式檔案

    ......

    uj5u.com 2020-09-10 00:57:23 more
  • 例外宣告

    相比于斷言適用于排除邏輯上不可能存在的狀態,例外通常是用于邏輯上可能發生的錯誤。 例外宣告 Item 1:當函式不可能拋出例外或不能接受拋出例外時,使用noexcept 理由 如果不打算拋出例外的話,程式就會認為無法處理這種錯誤,并且應當盡早終止,如此可以有效地阻止例外的傳播與擴散。 示例 //不可 ......

    uj5u.com 2020-09-10 00:57:27 more
  • Codeforces 1400E Clear the Multiset(貪心 + 分治)

    鏈接:https://codeforces.com/problemset/problem/1400/E 來源:Codeforces 思路:給你一個陣列,現在你可以進行兩種操作,操作1:將一段沒有 0 的區間進行減一的操作,操作2:將 i 位置上的元素歸零。最終問:將這個陣列的全部元素歸零后操作的最少 ......

    uj5u.com 2020-09-10 00:57:30 more
  • UVA11610 【Reverse Prime】

    本人看到此題沒有翻譯,就附帶了一個自己的翻譯版本 思考 這一題,它的第一個要求是找出所有 $7$ 位反向質數及其質因數的個數。 我們應該需要質數篩篩選1~$10^{7}$的所有數,這里就不慢慢介紹了。但是,重讀題,我們突然發現反向質數都是 $7$ 位,而將它反過來后的數字卻是 $6$ 位數,這就說明 ......

    uj5u.com 2020-09-10 00:57:36 more
  • 統計區間素數數量

    1 #pragma GCC optimize(2) 2 #include <bits/stdc++.h> 3 using namespace std; 4 bool isprime[1000000010]; 5 vector<int> prime; 6 inline int getlist(int ......

    uj5u.com 2020-09-10 00:57:47 more
  • C/C++編程筆記:C++中的 const 變數詳解,教你正確認識const用法

    1、C中的const 1、區域const變數存放在堆疊區中,會分配記憶體(也就是說可以通過地址間接修改變數的值)。測驗代碼如下: 運行結果: 2、全域const變數存放在只讀資料段(不能通過地址修改,會發生寫入錯誤), 默認為外部聯編,可以給其他源檔案使用(需要用extern關鍵字修飾) 運行結果: ......

    uj5u.com 2020-09-10 00:58:04 more
  • 【C++犯錯記錄】VS2019 MFC添加資源不懂如何修改資源宏ID

    1. 首先在資源視圖中,添加資源 2. 點擊新添加的資源,復制自動生成的ID 3. 在解決方案資源管理器中找到Resource.h檔案,編輯,使用整個專案搜索和替換的方式快速替換 宏宣告 4. Ctrl+Shift+F 全域搜索,點擊查找全部,然后逐個替換 5. 為什么使用搜索替換而不使用屬性視窗直 ......

    uj5u.com 2020-09-10 00:59:11 more
  • 【C++犯錯記錄】VS2019 MFC不懂的批量添加資源

    1. 打開資源頭檔案Resource.h,在其中預先定義好宏 ID(不清楚其實ID值應該設定多少,可以先新建一個相同的資源項,再在這個資源的ID值的基礎上遞增即可) 2. 在資源視圖中選中專案資源,按F7編輯資源檔案,按 ID 型別 相對路徑的形式添加 資源。(別忘了先把檔案拷貝到專案中的res檔案 ......

    uj5u.com 2020-09-10 01:00:19 more
  • C/C++編程筆記:關于C++的參考型別,專供新手入門使用

    今天要講的是C++中我最喜歡的一個用法——參考,也叫別名。 參考就是給一個變數名取一個變數名,方便我們間接地使用這個變數。我們可以給一個變數創建N個參考,這N + 1個變數共享了同一塊記憶體區域。(參考型別的變數會占用記憶體空間,占用的記憶體空間的大小和指標型別的大小是相同的。雖然參考是一個物件的別名,但 ......

    uj5u.com 2020-09-10 01:00:22 more
  • 【C/C++編程筆記】從頭開始學習C ++:初學者完整指南

    眾所周知,C ++的學習曲線陡峭,但是花時間學習這種語言將為您的職業帶來奇跡,并使您與其他開發人員區分開。您會更輕松地學習新語言,形成真正的解決問題的技能,并在編程的基礎上打下堅實的基礎。 C ++將幫助您養成良好的編程習慣(即清晰一致的編碼風格,在撰寫代碼時注釋代碼,并限制類內部的可見性),并且由 ......

    uj5u.com 2020-09-10 01:00:41 more
最新发布
  • Rust中的智能指標:Box<T> Rc<T> Arc<T> Cell<T> RefCell<T> Weak

    Rust中的智能指標是什么 智能指標(smart pointers)是一類資料結構,是擁有資料所有權和額外功能的指標。是指標的進一步發展 指標(pointer)是一個包含記憶體地址的變數的通用概念。這個地址參考,或 ” 指向”(points at)一些其 他資料 。參考以 & 符號為標志并借用了他們所 ......

    uj5u.com 2023-04-20 07:24:10 more
  • Java的值傳遞和參考傳遞

    值傳遞不會改變本身,參考傳遞(如果傳遞的值需要實體化到堆里)如果發生修改了會改變本身。 1.基本資料型別都是值傳遞 package com.example.basic; public class Test { public static void main(String[] args) { int ......

    uj5u.com 2023-04-20 07:24:04 more
  • [2]SpinalHDL教程——Scala簡單入門

    第一個 Scala 程式 shell里面輸入 $ scala scala> 1 + 1 res0: Int = 2 scala> println("Hello World!") Hello World! 檔案形式 object HelloWorld { /* 這是我的第一個 Scala 程式 * 以 ......

    uj5u.com 2023-04-20 07:23:58 more
  • 理解函式指標和回呼函式

    理解 函式指標 指向函式的指標。比如: 理解函式指標的偽代碼 void (*p)(int type, char *data); // 定義一個函式指標p void func(int type, char *data); // 宣告一個函式func p = func; // 將指標p指向函式func ......

    uj5u.com 2023-04-20 07:23:52 more
  • Django筆記二十五之資料庫函式之日期函式

    本文首發于公眾號:Hunter后端 原文鏈接:Django筆記二十五之資料庫函式之日期函式 日期函式主要介紹兩個大類,Extract() 和 Trunc() Extract() 函式作用是提取日期,比如我們可以提取一個日期欄位的年份,月份,日等資料 Trunc() 的作用則是截取,比如 2022-0 ......

    uj5u.com 2023-04-20 07:23:45 more
  • 一天吃透JVM面試八股文

    什么是JVM? JVM,全稱Java Virtual Machine(Java虛擬機),是通過在實際的計算機上仿真模擬各種計算機功能來實作的。由一套位元組碼指令集、一組暫存器、一個堆疊、一個垃圾回收堆和一個存盤方法域等組成。JVM屏蔽了與作業系統平臺相關的資訊,使得Java程式只需要生成在Java虛擬機 ......

    uj5u.com 2023-04-20 07:23:31 more
  • 使用Java接入小程式訂閱訊息!

    更新完微信服務號的模板訊息之后,我又趕緊把微信小程式的訂閱訊息給實作了!之前我一直以為微信小程式也是要企業才能申請,沒想到小程式個人就能申請。 訊息推送平臺🔥推送下發【郵件】【短信】【微信服務號】【微信小程式】【企業微信】【釘釘】等訊息型別。 https://gitee.com/zhongfuch ......

    uj5u.com 2023-04-20 07:22:59 more
  • java -- 緩沖流、轉換流、序列化流

    緩沖流 緩沖流, 也叫高效流, 按照資料型別分類: 位元組緩沖流:BufferedInputStream,BufferedOutputStream 字符緩沖流:BufferedReader,BufferedWriter 緩沖流的基本原理,是在創建流物件時,會創建一個內置的默認大小的緩沖區陣列,通過緩沖 ......

    uj5u.com 2023-04-20 07:22:49 more
  • Java-SpringBoot-Range請求頭設定實作視頻分段傳輸

    老實說,人太懶了,現在基本都不喜歡寫筆記了,但是網上有關Range請求頭的文章都太水了 下面是抄的一段StackOverflow的代碼...自己大修改過的,寫的注釋挺全的,應該直接看得懂,就不解釋了 寫的不好...只是希望能給視頻網站開發的新手一點點幫助吧. 業務場景:視頻分段傳輸、視頻多段傳輸(理 ......

    uj5u.com 2023-04-20 07:22:42 more
  • Windows 10開發教程_編程入門自學教程_菜鳥教程-免費教程分享

    教程簡介 Windows 10開發入門教程 - 從簡單的步驟了解Windows 10開發,從基本到高級概念,包括簡介,UWP,第一個應用程式,商店,XAML控制元件,資料系結,XAML性能,自適應設計,自適應UI,自適應代碼,檔案管理,SQLite資料庫,應用程式到應用程式通信,應用程式本地化,應用程式 ......

    uj5u.com 2023-04-20 07:22:35 more