主頁 >  其他 > 熱門技術中的應用-微服務中的相關協議5-跨語言RPC協議:交流之前,雙方先來個專業術語表

熱門技術中的應用-微服務中的相關協議5-跨語言RPC協議:交流之前,雙方先來個專業術語表

2020-11-12 06:30:38 其他

到目前為止,咱們講了四種 RPC,分別是 ONC RPC、基于 XML 的 SOAP、基于 JSON 的 RESTful 和 Hessian2,

通過學習,我們知道,二進制的傳輸性能好,文本類的傳輸性能差一些;二進制的難以跨語言,文本類的可以跨語言;要寫協議檔案的嚴謹一些,不寫協議檔案的靈活一些,雖然都有服務發現機制,有的可以進行服務治理,有的則沒有,

我們也看到了 RPC 從最初的客戶端服務器模式,最終演進到微服務,對于 RPC 框架的要求越來越多了,具體有哪些要求呢?

  • 首先,傳輸性能很重要,因為服務之間的呼叫如此頻繁了,還是二進制的越快越好,
  • 其次,跨語言很重要,因為服務多了,什么語言寫成的都有,而且不同的場景適宜用不同的語言,不能一個語言走到底,
  • 最好既嚴謹又靈活,添加個欄位不用重新編譯和發布程式,
  • 最好既有服務發現,也有服務治理,就像 Dubbo 和 Spring Cloud 一樣,

Protocol Buffers

這是要多快好省地建設社會主義啊,理想還是要有的嘛,這里我就來介紹一個向“理想”邁進的 GRPC,

GRPC 首先滿足二進制和跨語言這兩條,二進制說明壓縮效率高,跨語言說明更靈活,但是又是二進制,又是跨語言,這就相當于兩個人溝通,你不但說方言,還說縮略語,人家怎么聽懂呢?所以,最好雙方弄一個協議約定檔案,里面規定好雙方溝通的專業術語,這樣溝通就順暢多了,

對于 GRPC 來講,二進制序列化協議是 Protocol Buffers,首先,需要定義一個協議檔案.proto,

我們還看買極客時間專欄的這個例子,

syntax = “proto3”;
package com.geektime.grpc
option java_package = “com.geektime.grpc”;
message Order {
  required string date = 1;
  required string classname = 2;
  required string author = 3;
  required int price = 4;
}

message OrderResponse {
  required string message = 1;
}

service PurchaseOrder {
  rpc Purchase (Order) returns (OrderResponse) {}
}

在這個協議檔案中,我們首先指定使用 proto3 的語法,然后我們使用 Protocol Buffers 的語法,定義兩個訊息的型別,一個是發出去的引數,一個是回傳的結果,里面的每一個欄位,例如 date、classname、author、price 都有唯一的一個數字標識,這樣在壓縮的時候,就不用傳輸欄位名稱了,只傳輸這個數字標識就行了,能節省很多空間,

最后定義一個 Service,里面會有一個 RPC 呼叫的宣告,

無論使用什么語言,都有相應的工具生成客戶端和服務端的 Stub 程式,這樣客戶端就可以像呼叫本地一樣,呼叫遠程的服務了,

協議約定問題

Protocol Buffers 是一款壓縮效率極高的序列化協議,有很多設計精巧的序列化方法,

對于 int 型別 32 位的,一般都需要 4 個 Byte 進行存盤,在 Protocol Buffers 中,使用的是變長整數的形式,對于每一個 Byte 的 8 位,最高位都有特殊的含義,

如果該位為 1,表示這個數字沒完,后續的 Byte 也屬于這個數字;如果該位為 0,則這個數字到此結束,其他的 7 個 Bit 才是用來表示數字的內容,因此,小于 128 的數字都可以用一個 Byte 表示;大于 128 的數字,比如 130,會用兩個位元組來表示,

對于每一個欄位,使用的是 TLV(Tag,Length,Value)的存盤辦法,

其中 Tag = (field_num << 3) | wire_type,field_num 就是在 proto 檔案中,給每個欄位指定唯一的數字標識,而 wire_type 用于標識后面的資料型別,

 

 

 例如,對于 string author = 3,在這里 field_num 為 3,string 的 wire_type 為 2,于是 (field_num << 3) | wire_type = (11000) | 10 = 11010 = 26;接下來是 Length,最后是 Value 為“liuchao”,如果使用 UTF-8 編碼,長度為 7 個字符,因而 Length 為 7,

可見,在序列化效率方面,Protocol Buffers 簡直做到了極致,

在靈活性方面,這種基于協議檔案的二進制壓縮協議往往存在更新不方便的問題,例如,客戶端和服務器因為需求的改變需要添加或者洗掉欄位,

這一點上,Protocol Buffers 考慮了兼容性,在上面的協議檔案中,每一個欄位都有修飾符,比如:

  • required:這個值不能為空,一定要有這么一個欄位出現;
  • optional:可選欄位,可以設定,也可以不設定,如果不設定,則使用默認值;
  • repeated:可以重復 0 到多次,

如果我們想修改協議檔案,對于賦給某個標簽的數字,例如 string author=3,這個就不要改變了,改變了就不認了;也不要添加或者洗掉 required 欄位,因為決議的時候,發現沒有這個欄位就會報錯,對于 optional 和 repeated 欄位,可以洗掉,也可以添加,這就給了客戶端和服務端升級的可能性,

例如,我們在協議里面新增一個 string recommended 欄位,表示這個課程是誰推薦的,就將這個欄位設定為 optional,我們可以先升級服務端,當客戶端發過來訊息的時候,是沒有這個值的,將它設定為一個默認值,我們也可以先升級客戶端,當客戶端發過來訊息的時候,是有這個值的,那它將被服務端忽略,

至此,我們解決了協議約定的問題,

網路傳輸問題

接下來,我們來看網路傳輸的問題,

如果是 Java 技術堆疊,GRPC 的客戶端和服務器之間通過 Netty Channel 作為資料通道,每個請求都被封裝成 HTTP 2.0 的 Stream,

Netty 是一個高效的基于異步 IO 的網路傳輸框架,這個上一節我們已經介紹過了,HTTP 2.0 在第 14 講,我們也介紹過,HTTP 2.0 協議將一個 TCP 的連接,切分成多個流,每個流都有自己的 ID,而且流是有優先級的,流可以是客戶端發往服務端,也可以是服務端發往客戶端,它其實只是一個虛擬的通道,

HTTP 2.0 還將所有的傳輸資訊分割為更小的訊息和幀,并對它們采用二進制格式編碼,

通過這兩種機制,HTTP 2.0 的客戶端可以將多個請求分到不同的流中,然后將請求內容拆成幀,進行二進制傳輸,這些幀可以打散亂序發送, 然后根據每個幀首部的流識別符號重新組裝,并且可以根據優先級,決定優先處理哪個流的資料,

 

 

由于基于 HTTP 2.0,GRPC 和其他的 RPC 不同,可以定義四種服務方法,

第一種,也是最常用的方式是單向 RPC,即客戶端發送一個請求給服務端,從服務端獲取一個應答,就像一次普通的函式呼叫,

rpc SayHello(HelloRequest) returns (HelloResponse){}

第二種方式是服務端流式 RPC,即服務端回傳的不是一個結果,而是一批,客戶端發送一個請求給服務端,可獲取一個資料流用來讀取一系列訊息,客戶端從回傳的資料流里一直讀取,直到沒有更多訊息為止,

rpc LotsOfReplies(HelloRequest) returns (stream HelloResponse){}

第三種方式為客戶端流式 RPC,也即客戶端的請求不是一個,而是一批,客戶端用提供的一個資料流寫入并發送一系列訊息給服務端,一旦客戶端完成訊息寫入,就等待服務端讀取這些訊息并回傳應答,

rpc LotsOfGreetings(stream HelloRequest) returns (HelloResponse) {}

第四種方式為雙向流式 RPC,即兩邊都可以分別通過一個讀寫資料流來發送一系列訊息,這兩個資料流操作是相互獨立的,所以客戶端和服務端能按其希望的任意順序讀寫,服務端可以在寫應答前等待所有的客戶端訊息,或者它可以先讀一個訊息再寫一個訊息,或者讀寫相結合的其他方式,每個資料流里訊息的順序會被保持,

rpc BidiHello(stream HelloRequest) returns (stream HelloResponse){}

如果基于 HTTP 2.0,客戶端和服務器之間的互動方式要豐富得多,不僅可以單方向遠程呼叫,還可以實作當服務端狀態改變的時候,主動通知客戶端,

至此,傳輸問題得到了解決,

 

服務發現與治理問題

最后是服務發現與服務治理的問題,

GRPC 本身沒有提供服務發現的機制,需要借助其他的組件,發現要訪問的服務端,在多個服務端之間進行容錯和負載均衡,

其實負載均衡本身比較簡單,LVS、HAProxy、Nginx 都可以做,關鍵問題是如何發現服務端,并根據服務端的變化,動態修改負載均衡器的配置,

在這里我們介紹一種對于 GRPC 支持比較好的負載均衡器 Envoy,其實 Envoy 不僅僅是負載均衡器,它還是一個高性能的 C++ 寫的 Proxy 轉發器,可以配置非常靈活的轉發規則,

這些規則可以是靜態的,放在組態檔中的,在啟動的時候加載,要想重新加載,一般需要重新啟動,但是 Envoy 支持熱加載和熱重啟,這在一定程度上緩解了這個問題,

當然,最好的方式是將規則設定為動態的,放在統一的地方維護,這個統一的地方在 Envoy 眼中被稱為服務發現(Discovery Service),過一段時間去這里拿一下配置,就修改了轉發策略,

無論是靜態的,還是動態的,在配置里面往往會配置四個東西,

  • 第一個是 listener,Envoy 既然是 Proxy,專門做轉發,就得監聽一個埠,接入請求,然后才能夠根據策略轉發,這個監聽的埠就稱為 listener,
  • 第二個是 endpoint,是目標的 IP 地址和埠,這個是 Proxy 最終將請求轉發到的地方,
  • 第三個是 cluster,一個 cluster 是具有完全相同行為的多個 endpoint,也即如果有三個服務端在運行,就會有三個 IP 和埠,但是部署的是完全相同的三個服務,它們組成一個 cluster,從 cluster 到 endpoint 的程序稱為負載均衡,可以輪詢,
  • 第四個是 route,有時候多個 cluster 具有類似的功能,但是是不同的版本號,可以通過 route 規則,選擇將請求路由到某一個版本號,也即某一個 cluster,

如果是靜態的,則將后端的服務端的 IP 地址拿到,然后放在組態檔里面就可以了,

如果是動態的,就需要配置一個服務發現中心,這個服務發現中心要實作 Envoy 的 API,Envoy 可以主動去服務發現中心拉取轉發策略,

 

 

 

看來,Envoy 行程和服務發現中心之間要經常相互通信,互相推送資料,所以 Envoy 在控制面和服務發現中心溝通的時候,就可以使用 GRPC,也就天然具備在用戶面支撐 GRPC 的能力,

Envoy 如果復雜的配置,都能干什么事呢?

一種常見的規則是配置路由策略,例如后端的服務有兩個版本,可以通過配置 Envoy 的 route,來設定兩個版本之間,也即兩個 cluster 之間的 route 規則,一個占 99% 的流量,一個占 1% 的流量,

另一種常見的規則就是負載均衡策略,對于一個 cluster 下的多個 endpoint,可以配置負載均衡機制和健康檢查機制,當服務端新增了一個,或者掛了一個,都能夠及時配置 Envoy,進行負載均衡,

 

 

 所有這些節點的變化都會上傳到注冊中心,所有這些策略都可以通過注冊中心進行下發,所以,更嚴格的意義上講,注冊中心可以稱為注冊治理中心

Envoy 這么牛,是不是能夠將服務之間的相互呼叫全部由它代理?如果這樣,服務也不用像 Dubbo,或者 Spring Cloud 一樣,自己感知到注冊中心,自己注冊,自己治理,對應用干預比較大,

如果我們的應用能夠意識不到服務治理的存在,就可以直接進行 GRPC 的呼叫,

這就是未來服務治理的趨勢 Serivce Mesh,也即應用之間的相互呼叫全部由 Envoy 進行代理,服務之間的治理也被 Envoy 進行代理,完全將服務治理抽象出來,到平臺層解決,

 

 至此 RPC 框架中有治理功能的 Dubbo、Spring Cloud、Service Mesh 就聚齊了,

 

小結

  • GRPC 是一種二進制,性能好,跨語言,還靈活,同時可以進行服務治理的多快好省的 RPC 框架,唯一不足就是還是要寫協議檔案,
  • GRPC 序列化使用 Protocol Buffers,網路傳輸使用 HTTP 2.0,服務治理可以使用基于 Envoy 的 Service Mesh,

 

轉載請註明出處,本文鏈接:https://www.uj5u.com/qita/211567.html

標籤:其他

上一篇:熱門技術中的應用-微服務中的相關協議4-二進制RPC協議:還是叫NBA,總說全稱多費勁

下一篇:網路協議知識串講:雙十一故事串起碎片網路協議(上)

標籤雲
其他(157675) Python(38076) JavaScript(25376) Java(17977) C(15215) 區塊鏈(8255) C#(7972) AI(7469) 爪哇(7425) MySQL(7132) html(6777) 基礎類(6313) sql(6102) 熊猫(6058) PHP(5869) 数组(5741) R(5409) Linux(5327) 反应(5209) 腳本語言(PerlPython)(5129) 非技術區(4971) Android(4554) 数据框(4311) css(4259) 节点.js(4032) C語言(3288) json(3245) 列表(3129) 扑(3119) C++語言(3117) 安卓(2998) 打字稿(2995) VBA(2789) Java相關(2746) 疑難問題(2699) 细绳(2522) 單片機工控(2479) iOS(2429) ASP.NET(2402) MongoDB(2323) 麻木的(2285) 正则表达式(2254) 字典(2211) 循环(2198) 迅速(2185) 擅长(2169) 镖(2155) 功能(1967) .NET技术(1958) Web開發(1951) python-3.x(1918) HtmlCss(1915) 弹簧靴(1913) C++(1909) xml(1889) PostgreSQL(1872) .NETCore(1853) 谷歌表格(1846) Unity3D(1843) for循环(1842)

熱門瀏覽
  • 網閘典型架構簡述

    網閘架構一般分為兩種:三主機的三系統架構網閘和雙主機的2+1架構網閘。 三主機架構分別為內端機、外端機和仲裁機。三機無論從軟體和硬體上均各自獨立。首先從硬體上來看,三機都用各自獨立的主板、記憶體及存盤設備。從軟體上來看,三機有各自獨立的作業系統。這樣能達到完全的三機獨立。對于“2+1”系統,“2”分為 ......

    uj5u.com 2020-09-10 02:00:44 more
  • 如何從xshell上傳檔案到centos linux虛擬機里

    如何從xshell上傳檔案到centos linux虛擬機里及:虛擬機CentOs下執行 yum -y install lrzsz命令,出現錯誤:鏡像無法找到軟體包 前言 一、安裝lrzsz步驟 二、上傳檔案 三、遇到的問題及解決方案 總結 前言 提示:其實很簡單,往虛擬機上安裝一個上傳檔案的工具 ......

    uj5u.com 2020-09-10 02:00:47 more
  • 一、SQLMAP入門

    一、SQLMAP入門 1、判斷是否存在注入 sqlmap.py -u 網址/id=1 id=1不可缺少。當注入點后面的引數大于兩個時。需要加雙引號, sqlmap.py -u "網址/id=1&uid=1" 2、判斷文本中的請求是否存在注入 從文本中加載http請求,SQLMAP可以從一個文本檔案中 ......

    uj5u.com 2020-09-10 02:00:50 more
  • Metasploit 簡單使用教程

    metasploit 簡單使用教程 浩先生, 2020-08-28 16:18:25 分類專欄: kail 網路安全 linux 文章標簽: linux資訊安全 編輯 著作權 metasploit 使用教程 前言 一、Metasploit是什么? 二、準備作業 三、具體步驟 前言 Msfconsole ......

    uj5u.com 2020-09-10 02:00:53 more
  • 游戲逆向之驅動層與用戶層通訊

    驅動層代碼: #pragma once #include <ntifs.h> #define add_code CTL_CODE(FILE_DEVICE_UNKNOWN,0x800,METHOD_BUFFERED,FILE_ANY_ACCESS) /* 更多游戲逆向視頻www.yxfzedu.com ......

    uj5u.com 2020-09-10 02:00:56 more
  • 北斗電力時鐘(北斗授時服務器)讓網路資料更精準

    北斗電力時鐘(北斗授時服務器)讓網路資料更精準 北斗電力時鐘(北斗授時服務器)讓網路資料更精準 京準電子科技官微——ahjzsz 近幾年,資訊技術的得了快速發展,互聯網在逐漸普及,其在人們生活和生產中都得到了廣泛應用,并且取得了不錯的應用效果。計算機網路資訊在電力系統中的應用,一方面使電力系統的運行 ......

    uj5u.com 2020-09-10 02:01:03 more
  • 【CTF】CTFHub 技能樹 彩蛋 writeup

    ?碎碎念 CTFHub:https://www.ctfhub.com/ 筆者入門CTF時時剛開始刷的是bugku的舊平臺,后來才有了CTFHub。 感覺不論是網頁UI設計,還是題目質量,賽事跟蹤,工具軟體都做得很不錯。 而且因為獨到的金幣制度的確讓人有一種想去刷題賺金幣的感覺。 個人還是非常喜歡這個 ......

    uj5u.com 2020-09-10 02:04:05 more
  • 02windows基礎操作

    我學到了一下幾點 Windows系統目錄結構與滲透的作用 常見Windows的服務詳解 Windows埠詳解 常用的Windows注冊表詳解 hacker DOS命令詳解(net user / type /md /rd/ dir /cd /net use copy、批處理 等) 利用dos命令制作 ......

    uj5u.com 2020-09-10 02:04:18 more
  • 03.Linux基礎操作

    我學到了以下幾點 01Linux系統介紹02系統安裝,密碼啊破解03Linux常用命令04LAMP 01LINUX windows: win03 8 12 16 19 配置不繁瑣 Linux:redhat,centos(紅帽社區版),Ubuntu server,suse unix:金融機構,證券,銀 ......

    uj5u.com 2020-09-10 02:04:30 more
  • 05HTML

    01HTML介紹 02頭部標簽講解03基礎標簽講解04表單標簽講解 HTML前段語言 js1.了解代碼2.根據代碼 懂得挖掘漏洞 (POST注入/XSS漏洞上傳)3.黑帽seo 白帽seo 客戶網站被黑帽植入劫持代碼如何處理4.熟悉html表單 <html><head><title>TDK標題,描述 ......

    uj5u.com 2020-09-10 02:04:36 more
最新发布
  • 2023年最新微信小程式抓包教程

    01 開門見山 隔一個月發一篇文章,不過分。 首先回顧一下《微信系結手機號資料庫被脫庫事件》,我也是第一時間得知了這個訊息,然后跟蹤了整件事情的經過。下面是這起事件的相關截圖以及近日流出的一萬條資料樣本: 個人認為這件事也沒什么,還不如關注一下之前45億快遞資料查詢渠道疑似在近日復活的訊息。 訊息是 ......

    uj5u.com 2023-04-20 08:48:24 more
  • web3 產品介紹:metamask 錢包 使用最多的瀏覽器插件錢包

    Metamask錢包是一種基于區塊鏈技術的數字貨幣錢包,它允許用戶在安全、便捷的環境下管理自己的加密資產。Metamask錢包是以太坊生態系統中最流行的錢包之一,它具有易于使用、安全性高和功能強大等優點。 本文將詳細介紹Metamask錢包的功能和使用方法。 一、 Metamask錢包的功能 數字資 ......

    uj5u.com 2023-04-20 08:47:46 more
  • vulnhub_Earth

    前言 靶機地址->>>vulnhub_Earth 攻擊機ip:192.168.20.121 靶機ip:192.168.20.122 參考文章 https://www.cnblogs.com/Jing-X/archive/2022/04/03/16097695.html https://www.cnb ......

    uj5u.com 2023-04-20 07:46:20 more
  • 從4k到42k,軟體測驗工程師的漲薪史,給我看哭了

    清明節一過,盲猜大家已經無心上班,在數著日子準備過五一,但一想到銀行卡里的余額……瞬間心情就不美麗了。最近,2023年高校畢業生就業調查顯示,本科畢業月平均起薪為5825元。調查一出,便有很多同學表示自己又被平均了。看著這一資料,不免讓人想到前不久中國青年報的一項調查:近六成大學生認為畢業10年內會 ......

    uj5u.com 2023-04-20 07:44:00 more
  • 最新版本 Stable Diffusion 開源 AI 繪畫工具之中文自動提詞篇

    🎈 標簽生成器 由于輸入正向提示詞 prompt 和反向提示詞 negative prompt 都是使用英文,所以對學習母語的我們非常不友好 使用網址:https://tinygeeker.github.io/p/ai-prompt-generator 這個網址是為了讓大家在使用 AI 繪畫的時候 ......

    uj5u.com 2023-04-20 07:43:36 more
  • 漫談前端自動化測驗演進之路及測驗工具分析

    隨著前端技術的不斷發展和應用程式的日益復雜,前端自動化測驗也在不斷演進。隨著 Web 應用程式變得越來越復雜,自動化測驗的需求也越來越高。如今,自動化測驗已經成為 Web 應用程式開發程序中不可或缺的一部分,它們可以幫助開發人員更快地發現和修復錯誤,提高應用程式的性能和可靠性。 ......

    uj5u.com 2023-04-20 07:43:16 more
  • CANN開發實踐:4個DVPP記憶體問題的典型案例解讀

    摘要:由于DVPP媒體資料處理功能對存放輸入、輸出資料的記憶體有更高的要求(例如,記憶體首地址128位元組對齊),因此需呼叫專用的記憶體申請介面,那么本期就分享幾個關于DVPP記憶體問題的典型案例,并給出原因分析及解決方法。 本文分享自華為云社區《FAQ_DVPP記憶體問題案例》,作者:昇騰CANN。 DVPP ......

    uj5u.com 2023-04-20 07:43:03 more
  • msf學習

    msf學習 以kali自帶的msf為例 一、msf核心模塊與功能 msf模塊都放在/usr/share/metasploit-framework/modules目錄下 1、auxiliary 輔助模塊,輔助滲透(埠掃描、登錄密碼爆破、漏洞驗證等) 2、encoders 編碼器模塊,主要包含各種編碼 ......

    uj5u.com 2023-04-20 07:42:59 more
  • Halcon軟體安裝與界面簡介

    1. 下載Halcon17版本到到本地 2. 雙擊安裝包后 3. 步驟如下 1.2 Halcon軟體安裝 界面分為四大塊 1. Halcon的五個助手 1) 影像采集助手:與相機連接,設定相機引數,采集影像 2) 標定助手:九點標定或是其它的標定,生成標定檔案及內參外參,可以將像素單位轉換為長度單位 ......

    uj5u.com 2023-04-20 07:42:17 more
  • 在MacOS下使用Unity3D開發游戲

    第一次發博客,先發一下我的游戲開發環境吧。 去年2月份買了一臺MacBookPro2021 M1pro(以下簡稱mbp),這一年來一直在用mbp開發游戲。我大致分享一下我的開發工具以及使用體驗。 1、Unity 官網鏈接: https://unity.cn/releases 我一般使用的Apple ......

    uj5u.com 2023-04-20 07:40:19 more