主頁 >  其他 > 服務網格資料平面的關鍵:層層剖析Envoy配置

服務網格資料平面的關鍵:層層剖析Envoy配置

2020-09-15 14:59:17 其他

Envoy是一種高性能C++分布式代理,專為單個服務和應用程式設計,作為Service Mesh中的重要組件,充分理解其配置就顯得尤為重要,本文列出了使用Envoy而不用其他代理的原因,并給出了Envoy及其服務的配置,然后對其進行詳細解讀,幫助讀者理解其配置,從而掌握Envoy,


服務網格是微服務設定中的通信層,也就是說往返于每個服務的所有請求都通過網格,服務網格在微服務設定中也成為基礎架構層,它能夠讓服務之間的通信變得安全可靠,關于Service Mesh的基礎內容,我們已經在這篇文章中詳細介紹過,

每一個服務都有自己的代理服務(sidecars),然后所有代理服務一起形成服務網格,Sidecars處理服務之間的通信,也就是說所有的流量都會通過網格并且該透明層可以控制服務之間如何互動,

服務網格通過由API控制的組件提供可觀察性、服務發現以及負載均衡等,

實際上,如果一個服務要呼叫另一個服務,它不會直接呼叫目標服務,而是先將請求路由到本地代理,然后代理再將該請求路由到目標服務,這一程序意味著服務實體不會和其他服務直接接觸,僅與本地代理進行通信,

根據ThoughtWorks Technology Radar(這是一份半年度的檔案,用于評估現有技術和新生技術的風險和收益)指出,“服務網格提供一致的發現、安全性、跟蹤(tracing)、監控以及故障處理,而無需共享資源(如API網關或ESB),一個十分典型的用例是輕量的反向代理行程會與每個服務行程或單獨的容器一起部署,”

當談到服務網格時,不可避免談到的是“sidecar”——可用于每個服務實體的代理,每個sidecar負責管理一個服務的一個實體,我們將在本文中進一步詳細討論sidecar,

服務網格可以交付什么?

當前,越來越多的企業和組織開始轉向微服務架構,這樣的企業需要服務網格所提供的上述功能,解耦庫的使用或自定義代碼的方法無疑是贏家,

為什么使用Envoy?

Envoy不是構建一個服務網格的唯一選擇,市面上還有其他的代理如Nginx、Traefik等,我之所以選擇Envoy,這個用C++撰寫的高性能代理,是因為我更喜歡Envoy的輕量、強大的路由,及其提供的可觀察性和可擴展性,

讓我們首先構建1個包含3個服務的服務網格設定,這是我們正在嘗試構建的架構:

Front Envoy

在我們的設定中Front Envoy是一個邊緣代理,我們通常在其中執行TLS終止、身份驗證、生成請求頭等操作,

我們來看看Front Envoy配置:

---
admin:
  access_log_path: "/tmp/admin_access.log"
  address: 
    socket_address: 
      address: "127.0.0.1"
      port_value: 9901
static_resources: 
  listeners:
    - 
      name: "http_listener"
      address: 
        socket_address: 
          address: "0.0.0.0"
          port_value: 80
      filter_chains:
          filters: 
            - 
              name: "envoy.http_connection_manager"
              config:
                stat_prefix: "ingress"
                route_config: 
                  name: "local_route"
                  virtual_hosts: 
                    - 
                      name: "http-route"
                      domains: 
                        - "*"
                      routes: 
                        - 
                          match: 
                            prefix: "/"
                          route:
                            cluster: "service_a"
                http_filters:
                  - 
                    name: "envoy.router"
  clusters:
    - 
      name: "service_a"
      connect_timeout: "0.25s"
      type: "strict_dns"
      lb_policy: "ROUND_ROBIN"
      hosts:
        - 
          socket_address: 
            address: "service_a_envoy"
            port_value: 8786

Envoy配置主要由以下部分組成:

1、 監聽器(Listener)

2、 路由

3、 集群

4、 端點

監聽器

一個或多個監聽器可以在單個Envoy實體中運行,在以上9到36行的代碼提到了當前監聽器的地址和埠,每個監聽器也可以有一個或多個網路過濾器,這些過濾器可以啟用路由、tls終止、流量轉移等活動,除了envoy.http_connection_manager使用的是內置過濾器之外,Envoy還有其他幾個過濾器,

路 由

22行到34行代碼為過濾器配置了路由規范,同時它也指定了我們所接受請求的域以及路由匹配器,路由匹配器可以根據配置的規則匹配每個請求,并將請求轉發到適當的集群,

集 群

集群是Envoy將流量路由到的上游服務規范,41行到48行代碼定義了“Service A”,這是Front Envoy要通信的唯一上游,“connect_timeout”是在回傳503之前建立與上游服務的連接的時間限制,

通常情況下,有多個“Serivce A”實體,并且Envoy支持多種負載均衡演算法來路由流量,在本例中,我們使用了一個簡單的回圈演算法,

端 點

“host”指定我們要將流量路由到的Service A的實體,在本例中,我們只有1個實體,

第47行代碼沒有直接與Service A進行通信,而是與Service A的Envoy代理實體進行通信,該代理將路由到本地Service A實體,

我們還可以利用回傳Service A的所有實體的服務名稱(如Kubernetes中的headless服務),來執行客戶端負載均衡,Envoy快取Service A的所有host,并每5秒重繪一次host串列,

此外,Envoy還支持主動和被動的健康檢查,因此,如果我們要進行主動健康檢查,我們需要在集群配置部分對其進行配置,

其 他

第2行到第7行配置了管理服務器,它能夠幫助查看配置、更改日志級別、查看統計資訊等,

第8行的“static_resources”可以手動加載所有配置,我們將在下文討論如何動態地執行此操作,

雖然這里描述了許多其他配置,但是我們的目標不是全面介紹所有配置,而是以最少的配置開始,

Service A

這是Service A的Envoy配置:


admin:
  access_log_path: "/tmp/admin_access.log"
  address: 
    socket_address: 
      address: "127.0.0.1"
      port_value: 9901
static_resources:
  listeners:

    -
      name: "service-a-svc-http-listener"
      address:
        socket_address:
          address: "0.0.0.0"
          port_value: 8786
      filter_chains:
        -
          filters:
            -
              name: "envoy.http_connection_manager"
              config:
                stat_prefix: "ingress"
                codec_type: "AUTO"
                route_config:
                  name: "service-a-svc-http-route"
                  virtual_hosts:
                    -
                      name: "service-a-svc-http-route"
                      domains:
                        - "*"
                      routes:
                        -
                          match:
                            prefix: "/"
                          route:
                            cluster: "service_a"
                http_filters:
                  -
                    name: "envoy.router"
    -
      name: "service-b-svc-http-listener"
      address:
        socket_address:
          address: "0.0.0.0"
          port_value: 8788
      filter_chains:
        -
          filters:
            -
              name: "envoy.http_connection_manager"
              config:
                stat_prefix: "egress"
                codec_type: "AUTO"
                route_config:
                  name: "service-b-svc-http-route"
                  virtual_hosts:
                    -
                      name: "service-b-svc-http-route"
                      domains:
                        - "*"
                      routes:
                        -
                          match:
                            prefix: "/"
                          route:
                            cluster: "service_b"
                http_filters:
                  -
                    name: "envoy.router"

    -
      name: "service-c-svc-http-listener"
      address:
        socket_address:
          address: "0.0.0.0"
          port_value: 8791
      filter_chains:
        -
          filters:
            -
              name: "envoy.http_connection_manager"
              config:
                stat_prefix: "egress"
                codec_type: "AUTO"
                route_config:
                  name: "service-b-svc-http-route"
                  virtual_hosts:
                    -
                      name: "service-b-svc-http-route"
                      domains:
                        - "*"
                      routes:
                        -
                          match:
                            prefix: "/"
                          route:
                            cluster: "service_c"
                http_filters:
                  -
                    name: "envoy.router"                                
  clusters:
      -
        name: "service_a"
        connect_timeout: "0.25s"
        type: "strict_dns"
        lb_policy: "ROUND_ROBIN"
        hosts:
          -
            socket_address:
              address: "service_a"
              port_value: 8081  
      -
        name: "service_b"
        connect_timeout: "0.25s"
        type: "strict_dns"
        lb_policy: "ROUND_ROBIN"
        hosts:
          -
            socket_address:
              address: "service_b_envoy"
              port_value: 8789

      -
        name: "service_c"
        connect_timeout: "0.25s"
        type: "strict_dns"
        lb_policy: "ROUND_ROBIN"
        hosts:
          -
            socket_address:
              address: "service_c_envoy"
              port_value: 8790

11行到39行定義了一個監聽器來路由流量到實際的Service A實體,在103行到111行中找到service_a實體的相應集群定義,

Service A與Service B和Service C進行通信,它指向了兩個以上的監聽器以及集群,在本例中,我們為每個上游(localhost、Service B和Service C)分離了監聽器,另一種方法是使用單個監聽器,并根據URL或請求頭路由到任意上游,

Service B 和 Service C

Service B和Service C處于葉級,除了本地主機服務實體外,不與任何其他上游通信,因此其配置十分簡單,

而讓事情變得復雜的是上述配置中的單個監聽器和單個集群,

配置完成后,我們將此設定部署到Kubernetes或使用docker-compose對其進行測驗,你可以運行docker-compose builddocker-compose up并點擊localhost:8080,以查看請求是否成功通過所有服務和Envoy代理,我們可以使用日志對其進行驗證,

Envoy xDS

我們為每個sidecar提供了配置,并且根據不同的服務,服務之間的配置也有所不同,雖然我們可以手動制作和管理sidecar配置,但最初至少要提供2或3個服務,并且隨著服務數量的增加,配置會變得十分復雜,此外,每次sidecar配置更改時,你都必須重新啟動Envoy實體,以使更改生效,

正如上文所討論的,我們可以通過使用API server來避免手動配置并加載所有組件:集群(CDS)、端點(EDS)、監聽器(LDS)以及路由(RDS),所以每個sidecar將與API server通信并接收配置,當新配置更新到API server時,它將自動反映在Envoy實體中,從而避免了重新啟動,

你可以在以下鏈接中了解關于動態配置的資訊:

https://www.envoyproxy.io/docs/envoy/latest/configuration/overview/v2_overview#dynamic

這有一個簡單的xDS server:

https://github.com/tak2siva/Envoy-Pilot

如何在Kubernetes中實作

本部分將討論如果我們要在Kubernetes中實作所討論的設定該怎么辦,以下是架構圖:

因此,將需要更改:

  • Pod

  • 服務

部署Pod

盡管Pod規范中僅定義了一個容器——按照定義,一個Pod可以容納一個或多個容器,為了對每個服務實體運行sidecar代理,我們將Envoy容器添加到每個Pod中,為了與外界通信,服務容器將通過localhost與Envoy容器進行對話,

部署檔案如下所示:


admin:
  access_log_path: "/tmp/admin_access.log"
  address: 
    socket_address: 
      address: "127.0.0.1"
      port_value: 9901
static_resources:
  listeners:

    -
      name: "service-b-svc-http-listener"
      address:
        socket_address:
          address: "0.0.0.0"
          port_value: 8789
      filter_chains:
        -
          filters:
            -
              name: "envoy.http_connection_manager"
              config:
                stat_prefix: "ingress"
                codec_type: "AUTO"
                route_config:
                  name: "service-b-svc-http-route"
                  virtual_hosts:
                    -
                      name: "service-b-svc-http-route"
                      domains:
                        - "*"
                      routes:
                        -
                          match:
                            prefix: "/"
                          route:
                            cluster: "service_b"
                http_filters:
                  -
                    name: "envoy.router"
    
  clusters:
      -
        name: "service_b"
        connect_timeout: "0.25s"
        type: "strict_dns"
        lb_policy: "ROUND_ROBIN"
        hosts:
          -
            socket_address:
              address: "service_b"
              port_value: 8082

在容器部分添加了Envoy sidecar,并且在33到39行的configmap中我們掛載了我們的Envoy組態檔,

更改服務

Kubernetes服務負責維護Pod端點串列,該串列可以路由流量,盡管kube-proxy通常處理Pod端點之間的負載均衡,但在本例中,我們將執行客戶端負載均衡,并且我們不希望kube-proxy進行負載均衡,此外,我們想要提取Pod端點串列并對其進行負載均衡,為此,我們需要使用“headless服務“來回傳端點串列,

如下所示:


apiVersion: apps/v1beta1
kind: Deployment
metadata:
  name: servicea
spec:
  replicas: 2
  template:
    metadata:
      labels:
        app: servicea
    spec:
      containers:
      - name: servicea
        image: dnivra26/servicea:0.6
        ports:
        - containerPort: 8081
          name: svc-port
          protocol: TCP
      - name: envoy
        image: envoyproxy/envoy:latest
        ports:
          - containerPort: 9901
            protocol: TCP
            name: envoy-admin
          - containerPort: 8786
            protocol: TCP
            name: envoy-web
        volumeMounts:
          - name: envoy-config-volume
            mountPath: /etc/envoy-config/
        command: ["/usr/local/bin/envoy"]
        args: ["-c", "/etc/envoy-config/config.yaml", "--v2-config-only", "-l", "info","--service-cluster","servicea","--service-node","servicea", "--log-format", "[METADATA][%Y-%m-%d %T.%e][%t][%l][%n] %v"]
      volumes:
        - name: envoy-config-volume
          configMap:
            name: sidecar-config
            items:
              - key: envoy-config
                path: config.yaml

有兩件事需要注意,一是第6行使服務變成headless,二是我們不是將Kubernetes服務埠映射到應用程式的服務埠,而是映射到Envoy監聽器埠,這意味著,流量首先通向Envoy,即便如此,Kubernetes也可以完美運行,

在本文中,我們看到了如何使用Envoy代理構建服務網格,其中,我們設定了所有通信都將通過網格,因此,現在網格不僅有大量有關流量的資料,而且還具有控制權,

以下鏈接中你可以獲取我們所討論的配置和代碼:

https://github.com/dnivra26/envoy_servicemesh

原文鏈接:

https://www.thoughtworks.com/insights/blog/building-service-mesh-envoy-0

轉載請註明出處,本文鏈接:https://www.uj5u.com/qita/47581.html

標籤:其他

上一篇:docker容器和虛擬機的比較

下一篇:Kubernetes服務發現入門:如何高效管理服務?

標籤雲
其他(157675) Python(38076) JavaScript(25376) Java(17977) C(15215) 區塊鏈(8255) C#(7972) AI(7469) 爪哇(7425) MySQL(7132) html(6777) 基礎類(6313) sql(6102) 熊猫(6058) PHP(5869) 数组(5741) R(5409) Linux(5327) 反应(5209) 腳本語言(PerlPython)(5129) 非技術區(4971) Android(4554) 数据框(4311) css(4259) 节点.js(4032) C語言(3288) json(3245) 列表(3129) 扑(3119) C++語言(3117) 安卓(2998) 打字稿(2995) VBA(2789) Java相關(2746) 疑難問題(2699) 细绳(2522) 單片機工控(2479) iOS(2429) ASP.NET(2402) MongoDB(2323) 麻木的(2285) 正则表达式(2254) 字典(2211) 循环(2198) 迅速(2185) 擅长(2169) 镖(2155) 功能(1967) .NET技术(1958) Web開發(1951) python-3.x(1918) HtmlCss(1915) 弹簧靴(1913) C++(1909) xml(1889) PostgreSQL(1872) .NETCore(1853) 谷歌表格(1846) Unity3D(1843) for循环(1842)

熱門瀏覽
  • 網閘典型架構簡述

    網閘架構一般分為兩種:三主機的三系統架構網閘和雙主機的2+1架構網閘。 三主機架構分別為內端機、外端機和仲裁機。三機無論從軟體和硬體上均各自獨立。首先從硬體上來看,三機都用各自獨立的主板、記憶體及存盤設備。從軟體上來看,三機有各自獨立的作業系統。這樣能達到完全的三機獨立。對于“2+1”系統,“2”分為 ......

    uj5u.com 2020-09-10 02:00:44 more
  • 如何從xshell上傳檔案到centos linux虛擬機里

    如何從xshell上傳檔案到centos linux虛擬機里及:虛擬機CentOs下執行 yum -y install lrzsz命令,出現錯誤:鏡像無法找到軟體包 前言 一、安裝lrzsz步驟 二、上傳檔案 三、遇到的問題及解決方案 總結 前言 提示:其實很簡單,往虛擬機上安裝一個上傳檔案的工具 ......

    uj5u.com 2020-09-10 02:00:47 more
  • 一、SQLMAP入門

    一、SQLMAP入門 1、判斷是否存在注入 sqlmap.py -u 網址/id=1 id=1不可缺少。當注入點后面的引數大于兩個時。需要加雙引號, sqlmap.py -u "網址/id=1&uid=1" 2、判斷文本中的請求是否存在注入 從文本中加載http請求,SQLMAP可以從一個文本檔案中 ......

    uj5u.com 2020-09-10 02:00:50 more
  • Metasploit 簡單使用教程

    metasploit 簡單使用教程 浩先生, 2020-08-28 16:18:25 分類專欄: kail 網路安全 linux 文章標簽: linux資訊安全 編輯 著作權 metasploit 使用教程 前言 一、Metasploit是什么? 二、準備作業 三、具體步驟 前言 Msfconsole ......

    uj5u.com 2020-09-10 02:00:53 more
  • 游戲逆向之驅動層與用戶層通訊

    驅動層代碼: #pragma once #include <ntifs.h> #define add_code CTL_CODE(FILE_DEVICE_UNKNOWN,0x800,METHOD_BUFFERED,FILE_ANY_ACCESS) /* 更多游戲逆向視頻www.yxfzedu.com ......

    uj5u.com 2020-09-10 02:00:56 more
  • 北斗電力時鐘(北斗授時服務器)讓網路資料更精準

    北斗電力時鐘(北斗授時服務器)讓網路資料更精準 北斗電力時鐘(北斗授時服務器)讓網路資料更精準 京準電子科技官微——ahjzsz 近幾年,資訊技術的得了快速發展,互聯網在逐漸普及,其在人們生活和生產中都得到了廣泛應用,并且取得了不錯的應用效果。計算機網路資訊在電力系統中的應用,一方面使電力系統的運行 ......

    uj5u.com 2020-09-10 02:01:03 more
  • 【CTF】CTFHub 技能樹 彩蛋 writeup

    ?碎碎念 CTFHub:https://www.ctfhub.com/ 筆者入門CTF時時剛開始刷的是bugku的舊平臺,后來才有了CTFHub。 感覺不論是網頁UI設計,還是題目質量,賽事跟蹤,工具軟體都做得很不錯。 而且因為獨到的金幣制度的確讓人有一種想去刷題賺金幣的感覺。 個人還是非常喜歡這個 ......

    uj5u.com 2020-09-10 02:04:05 more
  • 02windows基礎操作

    我學到了一下幾點 Windows系統目錄結構與滲透的作用 常見Windows的服務詳解 Windows埠詳解 常用的Windows注冊表詳解 hacker DOS命令詳解(net user / type /md /rd/ dir /cd /net use copy、批處理 等) 利用dos命令制作 ......

    uj5u.com 2020-09-10 02:04:18 more
  • 03.Linux基礎操作

    我學到了以下幾點 01Linux系統介紹02系統安裝,密碼啊破解03Linux常用命令04LAMP 01LINUX windows: win03 8 12 16 19 配置不繁瑣 Linux:redhat,centos(紅帽社區版),Ubuntu server,suse unix:金融機構,證券,銀 ......

    uj5u.com 2020-09-10 02:04:30 more
  • 05HTML

    01HTML介紹 02頭部標簽講解03基礎標簽講解04表單標簽講解 HTML前段語言 js1.了解代碼2.根據代碼 懂得挖掘漏洞 (POST注入/XSS漏洞上傳)3.黑帽seo 白帽seo 客戶網站被黑帽植入劫持代碼如何處理4.熟悉html表單 <html><head><title>TDK標題,描述 ......

    uj5u.com 2020-09-10 02:04:36 more
最新发布
  • 2023年最新微信小程式抓包教程

    01 開門見山 隔一個月發一篇文章,不過分。 首先回顧一下《微信系結手機號資料庫被脫庫事件》,我也是第一時間得知了這個訊息,然后跟蹤了整件事情的經過。下面是這起事件的相關截圖以及近日流出的一萬條資料樣本: 個人認為這件事也沒什么,還不如關注一下之前45億快遞資料查詢渠道疑似在近日復活的訊息。 訊息是 ......

    uj5u.com 2023-04-20 08:48:24 more
  • web3 產品介紹:metamask 錢包 使用最多的瀏覽器插件錢包

    Metamask錢包是一種基于區塊鏈技術的數字貨幣錢包,它允許用戶在安全、便捷的環境下管理自己的加密資產。Metamask錢包是以太坊生態系統中最流行的錢包之一,它具有易于使用、安全性高和功能強大等優點。 本文將詳細介紹Metamask錢包的功能和使用方法。 一、 Metamask錢包的功能 數字資 ......

    uj5u.com 2023-04-20 08:47:46 more
  • vulnhub_Earth

    前言 靶機地址->>>vulnhub_Earth 攻擊機ip:192.168.20.121 靶機ip:192.168.20.122 參考文章 https://www.cnblogs.com/Jing-X/archive/2022/04/03/16097695.html https://www.cnb ......

    uj5u.com 2023-04-20 07:46:20 more
  • 從4k到42k,軟體測驗工程師的漲薪史,給我看哭了

    清明節一過,盲猜大家已經無心上班,在數著日子準備過五一,但一想到銀行卡里的余額……瞬間心情就不美麗了。最近,2023年高校畢業生就業調查顯示,本科畢業月平均起薪為5825元。調查一出,便有很多同學表示自己又被平均了。看著這一資料,不免讓人想到前不久中國青年報的一項調查:近六成大學生認為畢業10年內會 ......

    uj5u.com 2023-04-20 07:44:00 more
  • 最新版本 Stable Diffusion 開源 AI 繪畫工具之中文自動提詞篇

    🎈 標簽生成器 由于輸入正向提示詞 prompt 和反向提示詞 negative prompt 都是使用英文,所以對學習母語的我們非常不友好 使用網址:https://tinygeeker.github.io/p/ai-prompt-generator 這個網址是為了讓大家在使用 AI 繪畫的時候 ......

    uj5u.com 2023-04-20 07:43:36 more
  • 漫談前端自動化測驗演進之路及測驗工具分析

    隨著前端技術的不斷發展和應用程式的日益復雜,前端自動化測驗也在不斷演進。隨著 Web 應用程式變得越來越復雜,自動化測驗的需求也越來越高。如今,自動化測驗已經成為 Web 應用程式開發程序中不可或缺的一部分,它們可以幫助開發人員更快地發現和修復錯誤,提高應用程式的性能和可靠性。 ......

    uj5u.com 2023-04-20 07:43:16 more
  • CANN開發實踐:4個DVPP記憶體問題的典型案例解讀

    摘要:由于DVPP媒體資料處理功能對存放輸入、輸出資料的記憶體有更高的要求(例如,記憶體首地址128位元組對齊),因此需呼叫專用的記憶體申請介面,那么本期就分享幾個關于DVPP記憶體問題的典型案例,并給出原因分析及解決方法。 本文分享自華為云社區《FAQ_DVPP記憶體問題案例》,作者:昇騰CANN。 DVPP ......

    uj5u.com 2023-04-20 07:43:03 more
  • msf學習

    msf學習 以kali自帶的msf為例 一、msf核心模塊與功能 msf模塊都放在/usr/share/metasploit-framework/modules目錄下 1、auxiliary 輔助模塊,輔助滲透(埠掃描、登錄密碼爆破、漏洞驗證等) 2、encoders 編碼器模塊,主要包含各種編碼 ......

    uj5u.com 2023-04-20 07:42:59 more
  • Halcon軟體安裝與界面簡介

    1. 下載Halcon17版本到到本地 2. 雙擊安裝包后 3. 步驟如下 1.2 Halcon軟體安裝 界面分為四大塊 1. Halcon的五個助手 1) 影像采集助手:與相機連接,設定相機引數,采集影像 2) 標定助手:九點標定或是其它的標定,生成標定檔案及內參外參,可以將像素單位轉換為長度單位 ......

    uj5u.com 2023-04-20 07:42:17 more
  • 在MacOS下使用Unity3D開發游戲

    第一次發博客,先發一下我的游戲開發環境吧。 去年2月份買了一臺MacBookPro2021 M1pro(以下簡稱mbp),這一年來一直在用mbp開發游戲。我大致分享一下我的開發工具以及使用體驗。 1、Unity 官網鏈接: https://unity.cn/releases 我一般使用的Apple ......

    uj5u.com 2023-04-20 07:40:19 more