前言

最近開發了一個基于grpc協議的微服務框架grpc-nebula的一個專案，此微服務框架已經開源但是比較小眾，今天就簡單分享下這個微服務架構，grpc-nebula分為java版本和c++版本，本次就只分享java版本的，雖然大家在作業中用不到這個框架，但是多了解些并且和自己所用框架進行對比，能夠加深自己對微服務框架的理解程度以及拓寬知識的寬度，

微服務框架介紹

grpc簡介

grpc是一個多語言、高性能、開源的通用遠程程序呼叫(RPC)框架，

來自于Google的開源專案，2016年8月19日發布了成熟的1.0.0版本基于HTTP/2等技術
grpc支持Java, C，C++, Python等多種常用的編程語言，并且客戶端和服務端可以采用不同的編程語言來實作
資料序列化使用Protocol Buffers
grpc社區非常活躍，版本迭代也比較快速，2019年4月11日發布了1.20.0版本

官網地址： http://www.grpc.io/

原始碼地址： https://github.com/grpc

grpc-nebula（Java版本）簡介

微服務治理框架(Java版)，基于開源專案 grpc-java 進行開發，新增如下特性：

服務自動注冊與發現，采用zookeeper為注冊中心，服務與注冊中心之間保持長鏈接，具有心跳檢測機制，能夠周期性的檢查服務的狀態，確保服務可用性狀態一致性，可處理服務行程意外終止、服務器宕機等場景，
服務呼叫負載均衡，對于多實體的服務的呼叫，提供對多個服務實體的負載均衡調度，實作負載按照預定的調度演算法進行調度執行，
服務流量控制，通過設定請求數或連接數上限，動態實作對各服務介面的流控管理，
服務訪問控制與黑白名單機制，提供多種形式的服務訪問控制策略，能夠根據設定的安全策略對呼叫者進行安全檢查，支持黑白名單等安全機制，
服務呼叫例外處理，當一個服務有多個服務器實體時，如果客戶端呼叫A服務器連續多次出錯，框架會自動將了客戶端的HTTP/2連接切換到提供相同服務的B服務器，
服務端支持主備切換
服務端支持服務分組、多機房支持
服務端支持注冊到多套注冊中心
區分內部外部服務，內部服務外部服務分別注冊到不同的注冊中心

框架背景

微服務治理框架是由東方證券和博云聯合開發，

隨著東方證券業務的多年發展，已有大量的業務及支撐系統上線運營對外提供服務，服務與服務之間開始呈現復雜的依賴關系，系統運維的復雜度急劇增加，特別是由于以往系統建設主要由各廠商開發等因素的影響，東方證券內部存在大量的異構業務系統，對外暴露的介面也呈現多種形式，進一步增加了系統開發、運維的難度，

東方證券內已經建設或正在建設的業務系統種類繁多，包括網上交易、APP、互聯網中臺、集中交易、賬戶系統、清算系統等，除此之外還有很多正在規劃的業務系統，各業務系統一般由不同的專案團隊或供應商開發，并交付給東方證券的系統運行部門統一運維，在這個程序中存在諸多問題，

針對以上需求，同時根據東方證券大中臺能力中心整體建設規劃，基于gRPC框架技術，新增服務治理特性，構建微服務治理平臺，從而實作東方證券內部及外部服務的統一化管理，構建服務呼叫關系及拓撲結構，優化改進服務質量，

本次開源的內容為東方證券微服務治理平臺的RPC框架，

開發環境搭建與配置

安裝gradle構建工具

東方證券gRPC服務治理框架的源代碼使用 gradle 作為構建工具，gradle
要求版本為4.9或以上，配置環境變數GRADLE_HOME，并將 gradle 可執行檔案追加到環境變數 PATH 中，

設定本地Maven快取的存盤目錄

在 USER_HOME/.m2 目錄下增加 settings.xml 檔案，修改其中 localRepository
的值，指定本地Maven快取的存盤目錄，

settings.xml檔案可以從maven的安裝包下的conf目錄拷貝，

將生成的jar包和依賴添加到本地Maven快取

切換到源代碼根目錄，執行以下命令

gradle clean install

配置依賴

以maven工程為例，增加如下依賴至pom.xml檔案:

<properties>
	<orientsec.grpc.version>1.2.4</orientsec.grpc.version>
</properties>

<!-- orientsec-grpc-java -->
<dependency>
	<groupId>com.orientsec.grpc</groupId>
	<artifactId>orientsec-grpc-netty-shaded</artifactId>
	<version>${orientsec.grpc.version}</version>
</dependency>
<dependency>
	<groupId>com.orientsec.grpc</groupId>
	<artifactId>orientsec-grpc-protobuf</artifactId>
	<version>${orientsec.grpc.version}</version>
</dependency>
<dependency>
	<groupId>com.orientsec.grpc</groupId>
	<artifactId>orientsec-grpc-stub</artifactId>
	<version>${orientsec.grpc.version}</version>
</dependency>

安裝Zookeeper

安裝Zookeeper，建議使用3.4.13或以上版本，

微服務治理框架(Java版)開發手冊

功能串列

公共

基于zookeeper的注冊中心
支持Zookeeper開啟ACL
主備切換
服務分組、多機房支持
區分內部外部服務
注冊中心容災和降級

容災：注冊中心不可用時服務端和客戶端可以正常啟動，注冊中心恢復后注冊資訊需要自動注冊到注冊中心，

降級：可以端可以通過組態檔指定服務端地址，此時即使注冊中心不可用，客戶端也可以訪問服務端；這種情況下，注冊中心即使恢復，也不會再去訪問注冊中心獲取最新的服務串列，

服務端

服務端啟動時，注冊服務端資訊
服務端關閉時，注銷服務端資訊
服務端流量控制(并發請求數、并發連接數)

服務端可以采取兩種手段進行服務流量控制，一種是并發請求數控制，另一種是連接數控制，

并發請求數，指的是服務端同一時刻最多可以處理的請求數量，

并發連接數，指的是對于同一個客戶端IP，與服務端建立的TCP連接數量，

服務端配置資訊監聽
提供【注冊服務、更新已注冊服務】的介面

用于在應用不重啟的情況下提供給業務方進行呼叫

服務端支持注冊到多套注冊中心，支持不同注冊中心注冊不同的IP、埠
服務端注冊時，可以任意指定服務注冊時使用的IP和埠

客戶端

客戶端啟動時，注冊客戶端資訊
客戶端關閉時，注銷客戶端資訊
監聽服務端串列、服務端權重資訊
監聽路由規則，獲取可訪問的服務串列
支持路由規則可以設定為IP段、專案
客戶端監聽配置資訊的更新
客戶端流量控制：限制客戶端對某個服務每秒鐘的請求次數（Requests Per Second）
兩種負載均衡模式（連接負載均衡、請求負載均衡）

負載均衡的模式支持兩種模式：一種是“請求負載均衡”，另一種是“連接負載均衡”，“請求負載均衡”指的是每次呼叫服務端都呼叫負載均衡演算法選擇一臺服務器，“連接負載均衡”指的是，創建通道(Channel)后第一次呼叫選擇服務器之后，一直復用與之前已選定的服務器建立的連接，默認情況下設定為“連接負載均衡”，

四種負載均衡演算法（隨機、輪詢、加權輪詢、一致性Hash）

框架支持以下四種負載均衡演算法：

(1) 隨機演算法 pick_first

實作原理：資料集合下標亂數

(2) 輪詢演算法 round_robin

實作原理：資料集合下標加1，取余運算

(3) 加權輪詢演算法 weight_round_robin

實作原理：采用nginx的平滑加權輪詢演算法，

(4) 一致性Hash演算法 consistent_hash

實作原理：采用MD5演算法來將對應的key哈希到一個具有2^{32次方個桶的空間中，即0~(2}32)-1的數字空間中，同時，引入虛擬機器節點，解決資料分配不均衡的問題，

grpc斷線重連指數退避演算法支持引數配置功能

當grpc連接到服務端發生失敗時，通常希望不要立即重試(以避免泛濫的網路流量或大量的服務請求)，而是做某種形式的指數退避演算法

相關引數：
(1)INITIAL_BACKOFF (第一次失敗重試前等待的時間)

(2)MAX_BACKOFF (失敗重試等待時間上限)

(3)MULTIPLIER (下一次失敗重試等待時間乘以的倍數)

(4)JITTER (隨機抖動因子)

其中MAX_BACKOFF的值為20，單位秒，引數值目前是直接“硬編碼”在框架中的，為了優化系統性能，支持不同的義務系統配置不同的引數值，將該引數的取值修改為可配置的，

服務容錯

（1）基于累計錯誤次數：一段時間內(10分鐘)，如果客戶端呼叫某個服務端累計出錯5次，客戶端自動切換到提供相同服務的新服務端，

（2）熔斷機制：在一個統計周期內，客戶端呼叫某個服務端總請求次數達到設定的閾值，計算在該統計周期內錯誤百分比，如果超過設定的錯誤率閾值，打開熔斷器，即將該服務端從客戶端的備選服務端串列中洗掉，

（3）服務呼叫出錯后自動重試：支持通過配置consumer.default.retries、consumer.default.retries[服務名]、consumer.default.retries[服務+方法名]開啟這個功能，

說明：服務容錯方法只對同步方法呼叫起效，因為，異步呼叫的時，在框架代碼內部無法捕捉到例外，

使用示例

下面以maven專案orientsec-grpc-java-demo(原始碼)作為示例，具體介紹如何使用微服務治理框架(Java版)，

1. pom.xml檔案配置

依賴資訊如下：

<properties>
    <orientsec.grpc.version>1.2.5</orientsec.grpc.version>               
</properties>

 <dependencies>
    <!-- orientsec-grpc-java -->
    <dependency>
        <groupId>com.orientsec.grpc</groupId>
        <artifactId>orientsec-grpc-netty-shaded</artifactId>
        <version>${orientsec.grpc.version}</version>
    </dependency>
    <dependency>
        <groupId>com.orientsec.grpc</groupId>
        <artifactId>orientsec-grpc-protobuf</artifactId>
        <version>${orientsec.grpc.version}</version>
    </dependency>
    <dependency>
        <groupId>com.orientsec.grpc</groupId>
        <artifactId>orientsec-grpc-stub</artifactId>
        <version>${orientsec.grpc.version}</version>
    </dependency>
</dependencies>

這里配置的依賴資訊和原生grpc-java依賴資訊的區別是：

groupId 從 io.grpc 修改為 com.orientsec.grpc
artifactId 在原來的基礎上增加了前綴 orientsec-
version 使用 ${orientsec.grpc.version} ( 即 1.2.5 )

2. 框架組態檔dfzq-grpc-config.properties

應用啟動時，按以下順序搜索組態檔；如果沒找到，則順延到下一條：

(a) 用戶可以通過啟動引數-Ddfzq.grpc.config=/xxx/xxx 配置grpc組態檔所在的目錄的絕對路徑

(b) 從啟動目錄下的config中查找grpc組態檔（如果找不到從jar包內的classpath:/config/目錄下查找）

? 從啟動目錄下查找grpc組態檔（如果找不到從jar包內的classpath:/目錄下查找）

maven專案，可以將組態檔放在原始碼/src/main/resources/config目錄下，也可以放在原始碼/src/main/resources/目錄下，

dfzq-grpc-config.properties 的內容如下：

# ------------ begin of common config ------------

# 必填,型別string,說明:當前應用名稱
common.application=grpc-test-application

# 必填,型別string,說明:當前專案名
common.project=grpc-test-project

# 必填,型別string,說明:專案負責人,員工工號,多個工號之間使用英文逗號
common.owner=1023,1234

# 可選,型別string,說明:服務注冊根路徑,默認值/Application/grpc
common.root=/Application/grpc

# 可選,型別string,說明:服務注冊使用的IP地址
# 如果不配置該引數值，當前服務器的IP地址為"非127.0.0.1的第一個網卡的IP地址"
# 使用場合:一臺服務器安裝有多個網卡,如果需要指定不是第一個網卡的IP地址為服務注冊的IP地址
#common.localhost.ip=xxx.xxx.xxx.xxx

# ------------ end of common config ------------




# ------------ begin of provider config ------------

# 必填,型別string,說明:服務的版本資訊，一般表示服務介面的版本號
provider.version=1.0.0

# ----------------------------------------
# 可選,型別int,預設值20,說明:服務提供端可處理的最大連接數，即同一時刻最多有多少個消費端與當前服務端建立連接
# 如果不限制連接數，將這個值配置為0
# 對連接數的控制，無法控制到指定的服務，只能控制到指定的IP:port
provider.default.connections=20

# 可選,型別int,預設值2000,說明:服務提供端可處理的最大并發請求數
# 如果不限制并發請求數，將這個值配置為0
# 備注：同一個連接發送多次請求
provider.default.requests=2000

# 可選,型別int,預設值100,說明:服務provider權重，是服務provider的容量，在負載均衡基于權重的選擇演算法中用到
provider.weight=100

# ------------ end of provider config ------------




# ------------ begin of consumer config ------------

# 可選,型別string,預設值connection,說明：負載均衡模式
# 可選值為 connection 和 request,分別表示“連接負載均衡”、“請求負載均衡”
# “連接負載均衡”適用于大部分業務場景，服務端和客戶端消耗的資源較小，
# “請求負載均衡”適用于服務端業務邏輯復雜、并有多臺服務器提供相同服務的場景，
consumer.loadbalance.mode=request

# 可選,型別string,預設值round_robin,說明:負載均衡策略，
# 可選范圍：pick_first、round_robin、weight_round_robin、consistent_hash
# 引數值的含義分別為：隨機、輪詢、加權輪詢、一致性Hash
consumer.default.loadbalance=weight_round_robin

# 可選,型別string,負載均衡策略選擇是consistent_hash(一致性Hash)，配置進行hash運算的引數名稱的串列
# 多個引數之間使用英文逗號分隔，例如 id,name
# 如果負載均衡策略選擇是consistent_hash，但是該引數未配置引數值、或者引數值串列不正確，則取第一個引數的引數值回傳
# 備注：該引數只支持通過組態檔配置
# consumer.consistent.hash.arguments=id

# 可選,型別String,默認值consumers,說明:所屬范疇
consumer.category=consumers

# 可選,型別String,固定值consumer,說明:provider表示服務提供端，consumer表示服務消費端
consumer.side=consumer

# 可選,型別int,預設值0,0表示不進行重試,說明:服務呼叫出錯后自動重試次數
consumer.default.retries=2

# 指數退避協議https://github.com/grpc/grpc/blob/master/doc/connection-backoff.md
# 可選,型別long,預設值120,單位秒,說明:grpc斷線重連指數退避協議"失敗重試等待時間上限"引數
consumer.backoff.max=120

# ------------ end of consumer config ------------




# ------------ begin of zookeeper config ------------

# zookeeper主機串列
# zookeeper.host.server=168.61.2.23:2181,168.61.2.24:2181,168.61.2.25:2181
zookeeper.host.server=127.0.0.1:2181

# 可選,型別int,預設值86400000,單位毫秒,即預設值為1天,說明:zk斷線重連最長時間
zookeeper.retry.time=86400000

# 可選,型別int,預設值5000,單位毫秒,說明:連接超時時間
zookeeper.connectiontimeout=5000

# 可選,型別int,預設值4000,單位毫秒,說明:會話超時時間
zookeeper.sessiontimeout=4000

# 可選,型別string,訪問控制用戶名
zookeeper.acl.username=admin

# 可選,型別string,訪問控制密碼
# 這里的密碼配置的是密文，使用com.orientsec.grpc.common.util.DesEncryptUtils#encrypt(String plaintext)進行加密
zookeeper.acl.password=9b579c35ca6cc74230f1eed29064d10a

# ------------ end of zookeeper config ------------

3. 客戶端呼叫的寫法變化

使用原生grpc-java的寫法

  String host = "192.168.0.1";
  int port = 50051;

  channel = ManagedChannelBuilder.forAddress(host, port)
  		.usePlaintext()
  		.build();	

  blockingStub = GreeterGrpc.newBlockingStub(channel);

使用微服務治理框架(Java版)的寫法

  String target = "zookeeper:///" + GreeterGrpc.SERVICE_NAME;

  channel = ManagedChannelBuilder.forTarget(target)
          .usePlaintext()
          .build();

  blockingStub = GreeterGrpc.newBlockingStub(channel);

區別在于使用字串“ zookeeper:/// + 服務名稱 ”的方式指定服務，這樣可以根據服務名稱從多臺提供相同服務的服務器中動態選擇一臺服務器，

4. Protocol Buffers檔案

Protocol Buffers檔案用來定義服務名稱、方法、入參、出參，maven專案中可以通過protobuf-maven-plugin插件，根據Protocol Buffers檔案生成Java代碼，

示例： src/main/proto/greeter.proto

syntax = "proto3";
option java_multiple_files = true;
option java_package = "com.orientsec.demo";
option java_outer_classname = "GreeterProto";
package com.orientsec.demo;


service Greeter {
    rpc sayHello (GreeterRequest) returns (GreeterReply) {}
}

message GreeterRequest {
    int32  no   = 1;
    string name = 2;
    bool sex = 3;
    double salary = 4;
    string desc = 5;
}

message GreeterReply {
    bool success = 1;
    string message = 2;
    int32  no   = 3;
    double salary = 4;
    int64 total = 5;
}

5. 服務實作類

服務實作類，是對Protocol Buffers檔案定義的方法sayHello進行具體的業務實作，

示例：com.orientsec.demo.service.GreeterImpl

/**
 * Greeter服務實作類
 */
public class GreeterImpl extends GreeterGrpc.GreeterImplBase {
  /**
   * sayHello方法實作
   */
  public void sayHello(GreeterRequest request, StreamObserver<GreeterReply> responseObserver) {
    int no = request.getNo();
    String name = request.getName();
    boolean sex = request.getSex();// true:male,false:female
    double salary = request.getSalary();
    String desc = request.getDesc();

    String appellation;
    if (sex) {
      appellation = "Mr " + name;
    } else {
      appellation = "Miss " + name;
    }

    GreeterReply reply = GreeterReply.newBuilder()
            .setSuccess(true)
            .setMessage(appellation + ", well done.(" + desc + ")")
            .setNo(no + 100)
            .setSalary(salary * 1.2)
            .setTotal(System.currentTimeMillis())
            .build();

    responseObserver.onNext(reply);
    responseObserver.onCompleted();
  }

}

6. 服務提供者(服務端)

服務提供者，啟動一個Server物件，等待客戶端的連接，

服務提供者可以提供一個服務，也可以提供多個服務（addService方法），

例：com.orientsec.demo.server.GreeterServer

public class GreeterServer {
  private static final Logger logger = LoggerFactory.getLogger(GreeterServer.class);

  private Server server;
  private int port = Constants.Port.GREETER_SERVICE_SERVER;

  private void start() throws IOException {
    server = ServerBuilder.forPort(port)
            .addService(new GreeterImpl())
            .build()
            .start();

    logger.info("GreeterServer start...");

    Runtime.getRuntime().addShutdownHook(new Thread() {

      @Override
      public void run() {
        // Use stderr here since the logger may have been reset by its JVM shutdown hook.
        System.err.println("*** shutting down gRPC server since JVM is shutting down");
        GreeterServer.this.stop();
        System.err.println("*** GreeterServer shut down");
      }
    });
  }

  private void stop() {
    if (server != null) {
      logger.info("stop GreeterServer...");
      server.shutdown();
    }
  }

  private void blockUntilShutdown() throws InterruptedException {
    if (server != null) {
      server.awaitTermination();
    }
  }


  public static void main(String[] args) throws Exception {
    GreeterServer server = new GreeterServer();
    server.start();

    server.blockUntilShutdown();
  }
}

7. 客戶端（單例）

客戶端通過呼叫 ManagedChannelBuilder.forTarget(String target) 方法建立Channel，其中target的組成組成規則為“ zookeeper:/// + 服務名稱 ”，框架會到注冊中心zookeeper上去尋找對應服務名稱的服務提供者，

示例：com.orientsec.demo.client.GreeterClient

public class GreeterClient {
  private static final Logger logger = LoggerFactory.getLogger(GreeterClient.class);

  private final ManagedChannel channel;
  private final GreeterGrpc.GreeterBlockingStub blockingStub;

  public static GreeterClient getInstance() {
    return SingletonHolder.INSTANCE;
  }

  // 懶漢式單例模式--直到使用時才創建物件
  private static class SingletonHolder {
    private static final GreeterClient INSTANCE = new GreeterClient();
  }

  private GreeterClient() {
    //channel = ManagedChannelBuilder.forAddress(host, port)
    //        .usePlaintext()
    //        .build();

    String target = "zookeeper:///" + GreeterGrpc.SERVICE_NAME;

    channel = ManagedChannelBuilder.forTarget(target)
            .usePlaintext()
            .build();

    blockingStub = GreeterGrpc.newBlockingStub(channel);
  }


  public void shutdown() throws InterruptedException {
    channel.shutdown().awaitTermination(5, TimeUnit.SECONDS);
  }

  public void greet() {
    try {
      int no = 100;
      String name = "Alice";
      boolean sex = false;// true:male,false:female
      double salary = 6000.0;
      String desc = "我愛夏天";

      GreeterRequest request = GreeterRequest.newBuilder()
              .setNo(no)
              .setName(name)
              .setSex(sex)
              .setSalary(salary)
              .setDesc(desc)
              .build();

      GreeterReply reply = blockingStub.sayHello(request);

      logger.info(String.valueOf(reply.getSuccess()));
      logger.info(reply.getMessage());
    } catch (Exception e) {
      logger.error(e.getMessage(), e);
    }
  }

  /**
   * main
   */
  public static void main(String[] args) throws Exception {
    GreeterClient client = GreeterClient.getInstance();

    long count = -1;
    long interval = 9000L;// 時間單位為毫秒
    long LOOP_NUM = 10;

    while (true) {
      count++;
      if (count >= LOOP_NUM) {
        break;
      }

      client.greet();
      TimeUnit.MILLISECONDS.sleep(interval);
    }

    client.shutdown();
  }
}

8. 編譯

mvn clean
mvn install

使用eclipse編譯時源代碼路徑會自動更新，使用IntelliJ IDEA時，需要手動將.proto檔案生成的java檔案所在目錄設定為源代碼目錄

9. 運行示例程式

啟動框架組態檔中指定的zookeeper，運行 com.orientsec.demo.server.GreeterServer ，再運行com.orientsec.demo.client.GreeterClient ，

如何在Spring Boot專案中使用框架

詳見代碼示例 orientsec-grpc-springboot-demo

常見問題

1.安裝多張網卡的服務器如何指定服務注冊使用的IP地址

一臺服務器安裝有多個網卡的情況下, 支持將【服務注冊使用的IP地址】設定為某個指定的IP地址，使用方法如下：在組態檔dfzq-grpc-config.properties中增加 common.localhost.ip=xxx.xxx.xxx.xxx 配置，

#可選,型別string,說明:服務注冊使用的IP地址
#如果不配置該引數值，當前服務器的IP地址為"非127.0.0.1的第一個網卡的IP地址"
#使用場合:一臺服務器安裝有多個網卡,如果需要指定不是第一個網卡的IP地址為服務注冊的IP地址common.localhost.ip=xxx.xxx.xxx.xxx

如果配置的IP地址不合法，忽略該配置；如果配置的IP地址不包含在本機網卡的IP地址中，忽略該配置，

2.客戶端呼叫服務端出錯原因匯總

服務端未啟動
客戶端與服務端配置的注冊中心地址不一樣(即zookeeper服務器地址不一樣）
網路限制：客戶端能ping通服務端，但是無法telnet到服務端指定埠
微服務治理框架(Java版)，服務端默認并發連接數為20，并發請求數為2000，即默認情況下，最多只能有20個客戶端同時連接服務端，同一時刻最多能接受2000個請求，可以通過調整服務端的組態檔
dfzq-grpc-config.properties 進行解決，

#可選,型別int,預設值20,說明:服務提供端可處理的最大連接數，即同一時刻最多有多少個消費端與當前服務端建立連接
#如果不限制連接數，將這個值配置為0 #對連接數的控制，無法控制到指定的服務，只能控制到指定的IP:port #provider.default.connections= #可選,型別int,預設值2000,說明:服務提供端可處理的最大并發請求數 #如果不限制并發請求數，將這個值配置為0 #備注：同一個連接發送多次請求 #provider.default.requests=

轉載請註明出處，本文鏈接：https://www.uj5u.com/shujuku/210446.html

標籤：其他

上一篇：剛面完阿里Java高級崗40K的offer，這些技術你必須要掌握！

下一篇：資料治理方案技術調研 Atlas VS Datahub VS Amundsen

基于grpc協議的微服務架構grpc-nebula

前言