主頁 >  其他 > 分布式場景下,如何對外提供易變的服務,打造可靠的注冊中心?

分布式場景下,如何對外提供易變的服務,打造可靠的注冊中心?

2023-05-07 08:10:55 其他

摘要:本文講了關于服務發現的很多干貨內容,核心內容為服務發現組件的選擇、網關的介紹、 客戶端側如何發給已發現的服務,

本文分享自華為云社區《分布式場景下,如何對外提供易變的服務,打造可靠的注冊中心?》,作者:breakDawn,

隨著云原生的概念越來越火,服務的架構應該如何發展和演進,成為很多程式員關心的話題,大名鼎鼎的《深入理解java虛擬機》一書作者于21年推出了新作《鳳凰架構》,從這本書中可以看到當前時下很多最新的技識訓者理念,

本博文將沉淀發布這本書的學習筆記和思考, 如果希望了解更加詳細的內容,歡迎購買該書繼續詳細學習,

從類別庫到服務

1 服務發現

1.1 服務發現的意義

以前是DNS以及DNS之后的負載均衡承擔了服務地址翻譯的一部分能力,但是隨著微服務的流向 服務的非正常掉線、重啟、上下線越來越頻繁,zk曾經活躍過,但是過于底層,需要用戶自己做很多額外作業,因此專用于服務發現的 eureka出現并被納入spring cloud,后來就是Consul和nacos繼承了eureka的衣缽,

如何在基礎設定和網路協議層面,對應用盡可能無感知、方便地實作服務發現是目前服務發現的一個發展方向

1.2 服務發現組件中CA和AP的抉擇

服務注冊中心非常關鍵, 一旦崩潰將不可使用,因此必須最大程度保證可用,例如搞多個注冊中心節點提供服務,不斷復制各自的資訊,隨時提供服務,

但是復制資訊又要即時回應的程序會造成結果的不一致,缺乏一致性,

  • Eureka優先保證可用性,犧牲一致性, 選擇異步復制來交換服務注冊資訊,同時并不會強行等待復制成功,有新服務注冊對應節點可立刻宣布該服務,適合節點關系相對固定, 服務一般不會頻繁上下線的系統,
  • Consul是優先保證一致性,犧牲可用性,使用Raft演算法,要求多數節點寫入成功后服務的注冊才算完成,嚴格保證了一致性,同時采用gossip協議,支持多個資料中心逐漸的服務同步,

選擇哪個方案,一定程度上是基于產品現實而做的決策,當系統C因為網路問題,變成了A\B兩個磁區后,是否對你的服務有重大影響?是否是有狀態的系統? 如果是,那么選擇對一致性嚴格要求的Consul,如果不是,則選擇Eureka,

1.3 注冊中心的實作

在分布式KV存盤框架上單獨做的服務發現

典型代表: zk、 etcd,etcd采用Raft演算法,zk采用的zab演算法是MultiPaxos的派生演算法,

共同特點是在整體較高復雜度的架構和演算法的外部,維持著極為簡單的應用介面,只有少量CRUD和watch的api, 所以要實作完整的服務發現,要做很大量的作業,只有自研大廠才會這么做,小廠不會首選耗費大量人力去從零實作,

基礎設施實作服務發現

典型代表是k8s里用的skyDNS、 coreDNS,作業原理是從API-server中監聽集群服務變化,根據服務生產DNS記錄存到etcd中, k8s設定每個pos的dns服務地址, 呼叫服務時再做域名轉換,

是CP還是AP取決于后端如何存盤,用etcd就是CP,用記憶體賦值就是AP,好處是對應用透明,只依賴底層的HTTP和DNS,不依賴語言等,缺點是要自己額外做負載均衡、遠程呼叫、服務快取期限各種能力適配

專門用于服務發現的框架和工具

典型代表: Eureka、Consul、Nacos,

壞處在于對應用不是透明的,必須在應用中要去適配服務注冊框架,但能夠為編碼開發、快速擴展能力提供方便,

2 網關路由

2.1 網關的職責

微服務網關的首要職責就是作為統一的出口對外提供服務, 將外部訪問網關地址的流量,根據適當的規則路由到內部集群中正確的服務節點上,同時再作為流量過濾器增強使用

因此“網關= 路由器(基礎職能)+ 過濾器(可選職能)”

網關的性能主要取決于他們如何處理代理網路請求,也就是他們的網路IO模型

2.2 網路IO模型介紹

同步和異步的區別, 是指呼叫端發出請求后,是否需要一直等待,是否會銅鼓哦狀態變化和回呼來通知矗立著,

阻塞和非阻塞是針對請求處理程序而言,呼叫請求回傳結果之前,處理執行緒是否會被掛起,

阻塞IO、非阻塞IO、 多路復用、信號驅動IO都屬于同步IO,

  • 阻塞IO是發現結果沒回傳,會掛起執行緒,直到結果回傳,
  • 非阻塞IO是會不斷輪詢詢問是否完成、
  • 多路復用IO是阻塞IO的一種,但他只有一個監聽執行緒在阻塞, 當有某個事件結果回傳,再進行對應處理,
  • 信號驅動IO和異步IO有點像, 但是異步IO是資料已經被傳回到呼叫方了,然后通知, 而信號驅動IO只通知完成了,但是資料還要呼叫方重新阻塞式地去獲取,

Linux系統下實作高并發編程時仍以多路復用IO模型為主,

網關里, zuul1.0網關是用阻塞IO模型,碰到IO密集型就很浪費背景關系切換的性能, zuul2.0基于netty-server實作異步IO模型處理請求, 性能提升20%,可以自行指定 select、epoll等并發模型,

網關應該盡可能輕量、 成熟、 更成熟健壯的物理設施,

2.3 BFF網關

網關會針對不同的前端,聚合不同的服務,提供不同的介面和網路訪問協議支持(例如http和grpc都能提供)

3 客戶端負載均衡

用戶客戶端請求->某地域機房ip所在的服務網關->選擇發往對應業務服務所屬的負載均衡器->發給真正的服務

其中第三步的“發往業務服務負載均衡器”是有點浪費的, 從機房內網發出的服務請求, 繞道了網路邊緣的負載均衡器上了,又重新回了內網,

3.1 客戶端負載局衡器

就是在 機房網關->服務負載均衡器->服務節點的這個程序中, 去掉負載均衡器, 直接把負載均衡能力內置到機房網關的能力中,其他要用到負載均衡的場景也可以這樣操作不一定局限于網關,

優點:

  • 負載均衡器和服務之間的資訊是行程內方法呼叫,不存在網路開銷
  • 不依賴集群邊緣的設定,都是集群內部回圈
  • 避免了負載局衡器的單點問題,
  • 可以針對每個服務實體單獨設定負載均衡策略更靈活

缺點:

  • 負載均衡代碼受限于服務本身代碼實作, 如果是go、python等會導致不得不適配多份負載均衡代碼
  • 負載均衡器會占用服務的一部分資源或者互相影響
  • 當服務被攻破, 下游所有節點的資訊也暴露,信任關系不安全
  • 經常要輪詢、上線、下線,負擔不小

3.2 代理負載均衡器

基于k8s、docker部署的服務, 一般都有一個pod, 選擇在pod的邊緣部署一個代理負載均衡器(也叫邊車代理),相當于是同一個節點內,部署了一個行程,是服務網格的一個概念,

好處

  • 不再受語言限制
  • 避免服務行程要頻繁輪詢造成浪費, 直接讓控制平面給pod的邊車代理
  • 更安全也更容易實作對呼叫鏈路的詳細統計,

3.3 地域和區域

region是地域的概念,

集群內部流量不會跨地域,

zone是區域的概念, 地理上是同一個地域,但是地域內可能放了不同的機房,每個大機房就是一個區域,

如果追求高可用,則系統要部署在多個區域中,

如果追去低延遲, 則應該所有服務都在同一個區域中,

相關思考

本文講了關于服務發現的很多干貨內容,核心內容為服務發現組件的選擇、網關的介紹、 客戶端側如何發給已發現的服務,如果準備進行服務發現的選型作業,可以仔細閱讀原文進行學習和了解,

文中關于注冊中心的實作原理有很多種型別, 其中有提到一個k8s里用的 coreDNS,那部分筆記中關于coreDns的原理 比較少,而華為云的CCE容器引擎就包含了CoreDNS插件,他們的產品資料中給出的路由請求流程如下:

另外對于專門用于服務發現的框架和工具,華為云的CSE微服務引擎里關于服務注冊發現的示意圖如下:


微服務啟動時,將實體資訊注冊到CSE,微服務需要呼叫其他微服務的介面時,從CSE查詢實體資訊,并將實體資訊快取到本地,快取會通過事件通知、定時查詢等機制更新;通過本地快取的地址資訊,實作微服務之間的點到點呼叫,

同時也支持基于上述提到的3個服務發現代表,實作優化上下線的能力:

 

點擊關注,第一時間了解華為云新鮮技術~

轉載請註明出處,本文鏈接:https://www.uj5u.com/qita/551808.html

標籤:其他

上一篇:Istio資料面新模式:Ambient Mesh技術決議

下一篇:返回列表

標籤雲
其他(158558) Python(38118) JavaScript(25404) Java(18023) C(15222) 區塊鏈(8262) C#(7972) AI(7469) 爪哇(7425) MySQL(7165) html(6777) 基礎類(6313) sql(6102) 熊猫(6058) PHP(5871) 数组(5741) R(5409) Linux(5335) 反应(5209) 腳本語言(PerlPython)(5129) 非技術區(4971) Android(4565) 数据框(4311) css(4259) 节点.js(4032) C語言(3288) json(3245) 列表(3129) 扑(3119) C++語言(3117) 安卓(2998) 打字稿(2995) VBA(2789) Java相關(2746) 疑難問題(2699) 细绳(2522) 單片機工控(2479) iOS(2432) ASP.NET(2402) MongoDB(2323) 麻木的(2285) 正则表达式(2254) 字典(2211) 循环(2198) 迅速(2185) 擅长(2169) 镖(2155) 功能(1967) .NET技术(1965) Web開發(1951) HtmlCss(1932) python-3.x(1918) 弹簧靴(1913) C++(1912) xml(1889) PostgreSQL(1874) .NETCore(1857) 谷歌表格(1846) Unity3D(1843) for循环(1842)

熱門瀏覽
  • 網閘典型架構簡述

    網閘架構一般分為兩種:三主機的三系統架構網閘和雙主機的2+1架構網閘。 三主機架構分別為內端機、外端機和仲裁機。三機無論從軟體和硬體上均各自獨立。首先從硬體上來看,三機都用各自獨立的主板、記憶體及存盤設備。從軟體上來看,三機有各自獨立的作業系統。這樣能達到完全的三機獨立。對于“2+1”系統,“2”分為 ......

    uj5u.com 2020-09-10 02:00:44 more
  • 如何從xshell上傳檔案到centos linux虛擬機里

    如何從xshell上傳檔案到centos linux虛擬機里及:虛擬機CentOs下執行 yum -y install lrzsz命令,出現錯誤:鏡像無法找到軟體包 前言 一、安裝lrzsz步驟 二、上傳檔案 三、遇到的問題及解決方案 總結 前言 提示:其實很簡單,往虛擬機上安裝一個上傳檔案的工具 ......

    uj5u.com 2020-09-10 02:00:47 more
  • 一、SQLMAP入門

    一、SQLMAP入門 1、判斷是否存在注入 sqlmap.py -u 網址/id=1 id=1不可缺少。當注入點后面的引數大于兩個時。需要加雙引號, sqlmap.py -u "網址/id=1&uid=1" 2、判斷文本中的請求是否存在注入 從文本中加載http請求,SQLMAP可以從一個文本檔案中 ......

    uj5u.com 2020-09-10 02:00:50 more
  • Metasploit 簡單使用教程

    metasploit 簡單使用教程 浩先生, 2020-08-28 16:18:25 分類專欄: kail 網路安全 linux 文章標簽: linux資訊安全 編輯 著作權 metasploit 使用教程 前言 一、Metasploit是什么? 二、準備作業 三、具體步驟 前言 Msfconsole ......

    uj5u.com 2020-09-10 02:00:53 more
  • 游戲逆向之驅動層與用戶層通訊

    驅動層代碼: #pragma once #include <ntifs.h> #define add_code CTL_CODE(FILE_DEVICE_UNKNOWN,0x800,METHOD_BUFFERED,FILE_ANY_ACCESS) /* 更多游戲逆向視頻www.yxfzedu.com ......

    uj5u.com 2020-09-10 02:00:56 more
  • 北斗電力時鐘(北斗授時服務器)讓網路資料更精準

    北斗電力時鐘(北斗授時服務器)讓網路資料更精準 北斗電力時鐘(北斗授時服務器)讓網路資料更精準 京準電子科技官微——ahjzsz 近幾年,資訊技術的得了快速發展,互聯網在逐漸普及,其在人們生活和生產中都得到了廣泛應用,并且取得了不錯的應用效果。計算機網路資訊在電力系統中的應用,一方面使電力系統的運行 ......

    uj5u.com 2020-09-10 02:01:03 more
  • 【CTF】CTFHub 技能樹 彩蛋 writeup

    ?碎碎念 CTFHub:https://www.ctfhub.com/ 筆者入門CTF時時剛開始刷的是bugku的舊平臺,后來才有了CTFHub。 感覺不論是網頁UI設計,還是題目質量,賽事跟蹤,工具軟體都做得很不錯。 而且因為獨到的金幣制度的確讓人有一種想去刷題賺金幣的感覺。 個人還是非常喜歡這個 ......

    uj5u.com 2020-09-10 02:04:05 more
  • 02windows基礎操作

    我學到了一下幾點 Windows系統目錄結構與滲透的作用 常見Windows的服務詳解 Windows埠詳解 常用的Windows注冊表詳解 hacker DOS命令詳解(net user / type /md /rd/ dir /cd /net use copy、批處理 等) 利用dos命令制作 ......

    uj5u.com 2020-09-10 02:04:18 more
  • 03.Linux基礎操作

    我學到了以下幾點 01Linux系統介紹02系統安裝,密碼啊破解03Linux常用命令04LAMP 01LINUX windows: win03 8 12 16 19 配置不繁瑣 Linux:redhat,centos(紅帽社區版),Ubuntu server,suse unix:金融機構,證券,銀 ......

    uj5u.com 2020-09-10 02:04:30 more
  • 05HTML

    01HTML介紹 02頭部標簽講解03基礎標簽講解04表單標簽講解 HTML前段語言 js1.了解代碼2.根據代碼 懂得挖掘漏洞 (POST注入/XSS漏洞上傳)3.黑帽seo 白帽seo 客戶網站被黑帽植入劫持代碼如何處理4.熟悉html表單 <html><head><title>TDK標題,描述 ......

    uj5u.com 2020-09-10 02:04:36 more
最新发布
  • 分布式場景下,如何對外提供易變的服務,打造可靠的注冊中心?

    摘要:本文講了關于服務發現的很多干貨內容,核心內容為服務發現組件的選擇、網關的介紹、 客戶端側如何發給已發現的服務。 本文分享自華為云社區《分布式場景下,如何對外提供易變的服務,打造可靠的注冊中心?》,作者:breakDawn。 隨著云原生的概念越來越火,服務的架構應該如何發展和演進,成為很多程式員 ......

    uj5u.com 2023-05-07 08:10:55 more
  • Istio資料面新模式:Ambient Mesh技術決議

    摘要:Ambient Mesh以一種更符合大規模落地要求的形態出現,克服了大多數Sidecar模式的固有缺陷,讓用戶無需再感知網格相關組件,真正將網格下沉為基礎設施。 本文分享自華為云社區《華為云云原生團隊:Istio資料面新模式 Ambient Mesh技術決議》,作者: 云容器大未來。 如果說在 ......

    uj5u.com 2023-05-07 08:10:32 more
  • Grafana 系列-統一展示-1-開篇

    本文為系列文章-Grafana 統一展示,包括 Metrics、Tracing、Logging,并盡量實作在它們之間相互跳轉。通過 Grafana
    LTM(Loki、Tempo、Mimir)可以實作比較完美的效果,但是即使沒有 Grafana LTM, 通過其他 Grafana +
    其他工具... ......

    uj5u.com 2023-05-07 08:10:03 more
  • 解密Elasticsearch:深入探究這款搜索和分析引擎

    最近使用Elasticsearch實作畫像系統,實作的dmp的資料中臺能力。同時調研了競品的架構選型。以及重溫了redis原理等。特此做一次es的總結和回顧。網上沒看到有人用Elasticsearch來完成畫像的。我來做第一次嘗試。 ......

    uj5u.com 2023-05-07 08:09:42 more
  • 決議智慧園區的發展瓶頸

    智能化工園區通過資訊化實作工業管理的數字化和網路化,實作對生產程序的全面監控和實時資料采集。這使企業能夠更好地管理,及時發現問題并采取相應的措施來降低成本。此外,智慧化管理提高了企頁澩的使用效率,避免浪費和重復利用資源,降低成本。 在當前經濟發展和技術進步的背景下,智慧園區的建設已經成為推進城市數 ......

    uj5u.com 2023-05-07 08:08:57 more
  • 讀《圖解HTTP》

    最近讀了一本書《圖解HTTP》,讀完后在大體上對HTTP協議有了更深層次的了解。以下是我以前不懂的問題,通過閱讀此書后,這些問題都有了答案: 問題: URI和URL的區別? cookie到底是什么?有什么用?為什么要有? 為什么下載時可以隨時停止,隨時繼續下載? 什么是內容協商機制? Http協議中 ......

    uj5u.com 2023-05-07 08:08:11 more
  • 雙非院校,0專案經驗,三個月入職大廠自動化測驗崗,月薪30k+

    今年的金三銀四已經成為了過去試,自動化測驗求職幾家歡喜幾家愁。有人offer拿到手軟,有人從灰飛煙滅到人間地獄。
    我們用了2個月的時間,調研了200多位軟體測驗工程師和100個在2023年熱招的崗位,對過去一年自動化測驗領域人才求職和熱招崗位情況深度分析了一下。發現了一些情況,以饗大家。 ......

    uj5u.com 2023-05-07 08:07:27 more
  • 【介面自動化測驗】月薪12k必會技術,從0到1學習介面自動化測驗,6個

    ?導讀:在所有的開發測驗中,介面測驗是必不可少的一項。有效且覆寫完整的介面測驗,不僅能保障新功能的開發質量,還能讓開發在修改功能邏輯的時候有回歸的能力,同時也是能優雅地進行重構的前提。撰寫介面測驗要遵守哪些原則?測驗代碼的結構應該是什么樣的?介面測驗有哪些實踐技巧?本文分享作者在介面測驗上的實踐總結 ......

    uj5u.com 2023-05-07 08:07:10 more
  • 8年測驗開發,寫給1-3年功能測驗的幾點建議,滿滿硬貨指導

    從15年畢業到現在也從業八年了,普通本科畢業,現在一家互聯網公司擔任測驗部門總監,摸爬打滾,坑坑洼洼也經歷了不少。思緒很久決定還是寫下這篇,希望對后進的小伙子少走一點彎路。 很多人把職場想得太美好,其實不然。如果你沒有規劃好,你就會難免遇到各種各樣的問題:作業不開心;沒有前進的動力;作業不是自己想像 ......

    uj5u.com 2023-05-07 08:06:48 more
  • 一起單測引起的專案加載失敗慘案

    最近在開發一個功能模塊時,在功能自測階段,通過使用單測測驗功能的完整性,在測驗單測聯通性使用到靜態方法測驗時,發現單測報錯,通過查閱解決方案發現需要對Javaassist包進行排包或者升版本處理。通過排包解決掉單測報錯,在部署專案時發現頻繁報bean注入失敗問題,最終定位發現是因為對Javaassi... ......

    uj5u.com 2023-05-07 08:05:50 more