在 KubeSphere 中使用 APISIX Ingress 網關接入自定義監控-有解無憂

KubeSphere 3.2.0 發布了！為專案網關增配了整套監控及管理頁面，同時引入了集群網關來提供集群層面全域的 Ingress 網關能力，當然，我們還是可以部署使用第三方 Ingress Controller，本文將以 Apache APISIX Ingress Controller 為例介紹如何通過 KubeSphere 快速為 Kubernetes 集群使用兩種不同型別的網關，同時對它們的使用狀態進行監控，

本文將分為一下幾部分展開：

KubeSphere 專案網關的新管理界面的應用展示
通過 KubeSphere 的應用管理能力快速使用 Apache APISIX Ingress Controller
利用 KubeSphere 的自定義監控能力獲取 Apache APISIX 網關的運行指標

準備作業

安裝 KubeSphere

安裝 KubeSphere 有兩種方法，一是在 Linux 上直接安裝，可以參考檔案：在 Linux 安裝 KubeSphere；二是在已有 Kubernetes 中安裝，可以參考檔案：在 Kubernetes 安裝 KubeSphere，

KubeSphere 最小化安裝版本已經包含了監控模塊，因此不需要額外啟用，可以通過「系統組件」頁面中的「監控」標簽頁確認安裝狀態，

部署 httpbin 演示應用

由于需要演示網關的訪問控制能力，我們必須要先有一個可以訪問的應用作為網關的后臺服務，這里我們使用 httpbin.org 提供的 kennethreitz/httpbin 容器應用作為演示應用，

在 KubeSphere 中，我們可以先創建新的專案或使用已有的專案，進入專案頁面后，選擇「應用負載」下的「服務」直接創建無狀態作業負載并生成配套的服務，

使用 kennethreitz/httpbin 容器默認的 80 埠作為服務埠，創建完成后確保在「作業負載」和「服務」頁面下都可以看到 httpbin 的對應條目，如下圖所示，

專案網關的新面貌

專案網關是 KubeSphere 3.0 以來就有的功能：“KubeSphere 專案中的網關是一個 NGINX Ingress 控制器，KubeSphere 內置的用于 HTTP 負載均衡的機制稱為應用路由，它定義了從外部到集群服務的連接規則，如需允許從外部訪問服務，用戶可創建路由資源來定義 URI 路徑、后端服務名稱等資訊，”

下面我們首先進入已部署了 httpbin 服務的專案，在「專案設定」中打開「網關設定」頁面，然后執行「開啟網關」操作，方便起見，直接選擇 NodePort 作為「訪問方式」即可，

確定后回到網關頁面，稍等片刻后重繪頁面，可以得到如下圖這樣的部署完成狀態，可以看到 NodePort 默認被賦予了兩個節點埠，下面我們通過右上角的「管理」按鈕「查看詳情」，

此時我們看到的便是 3.2.0 新帶來的專案/集群網關的新監控頁面！但是現在顯然是沒有資料的，因為我們還沒有任何流量從網關產生，那么下面我們就需要為 httpbin 服務創建應用路由，

從「應用負載」進入「應用路由」頁面，開始「創建」路由，為路由取名為 httpbin 后，我們指定一個方便測驗的域名，并設定「路徑」為 /, 選擇「服務」httpbin 和「埠」80，

直接下一步跳過高級設定后完成路由創建，可以得到如下圖這樣的一條新的 httpbin 應用路由項，

下面我們可以通過專案網關的 NodePort 地址及指定的域名（如這里是 http://httpbin.ui:32516）來訪問 httpbin 應用服務，隨意重繪或操作一下頁面的請求生成功能，再進入網關的詳情頁面，便可以看到在「監控」面板上已經出現了網關的一些內置的監控指標展示，

為網關指定 NodePort 節點埠

對于公有云環境，如果使用 NodePort 方式向外暴露訪問能力，開放埠通常是有限且受控的，因此對于網關所使用的 NodePort 我們需要能夠對它進行修改，

由于網關是被 KubeSphere 統一管理的，要修改網關服務的 NodePort，需要具備訪問 kubesphere-controls-system 專案的權限，進入改專案后，通過「應用負載」的「服務」頁面即可找到命名為 kubesphere-router-<project-namespace> 形式且外部訪問已開放 NodePort 的網關服務，NodePort 服務埠需要通過「編輯 YAML」來直接修改，

開始使用集群網關

在 KubeSphere 3.1 中只支持專案級別的網關，如果用戶的專案過多，勢必會造成資源的浪費，而且不同的企業空間中的網關都是相互獨立的，

KubeSphere 3.2.0 開始支持集群級別的全域網關，所有專案可共用同一個網關，之前已創建的專案網關也不會受到集群網關的影響，也可以統一納管所有專案的網關，對其進行集中管理和配置，管理員用戶再也不需要切換到不同的企業空間中去配置網關了，

進入 KubeSphere 3.2.0 版本之后，我們更推薦大家使用集群網關的功能來統一整個集群的應用路由，要啟用集群網關其實也非常簡單：使用具備集群管理權限的賬號，進入其可管理的某個集群（如我們這里以 default 集群為例），在「集群設定」的「網關設定」中即可「開啟網關」，同時查看「專案網關」，

集群網關開啟的方式以及對齊 NodePort 訪問埠的修改和之前專案網關的操作基本上是完全一樣的，所以這里對程序就不做過多贅述了，

?? 有一點需要特別注意的是：集群網關開啟后，已經開啟的專案網關還會保留；但尚未創建網關的專案是無法再創建單獨的網關的，會直接使用集群網關，

下圖展示了已創建網關的專案，在同時擁有專案及集群網關后，在「網關設定」頁面所呈現的所有網關概覽，

快速使用 Apache APISIX Ingress Controller

Apache APISIX 是一款開源的高性能、動態云原生網關，由深圳支流科技有限公司于 2019 年捐贈給 Apache 基金會，當前已經成為 Apache 基金會的頂級開源專案，也是 GitHub 上最活躍的網關專案，Apache APISIX 當前已經覆寫了 API 網關，LB，Kubernetes Ingress，Service Mesh 等多種場景，

社區之前也介紹過如何使用 Apache APISIX 作為 Kubernetes 的 Ingress Controller，本文講更多側重介紹前文未涉及之細節，并結合 KubeSphere 的一些新功能加以具像化，

部署 Apache APISIX Ingress Controller

首先還是先要添加 Apache APISIX Helm Chart 倉庫，推薦用這種自管理的方式來保障倉庫內容是得到及時同步的，我們選定一個企業空間后，通過「應用管理」下面的「應用倉庫」來添加如下一個 Apache APISIX 的倉庫（倉庫 URL：https://charts.apiseven.com），

接下來我們創建一個名為 apisix-system 的專案，進入專案頁面后，選擇在「應用負載」中創建「應用」的方式來部署 Apache APISIX，并選擇 apisix 應用模版開始進行部署，

為何是部署 Apache APISIX 應用的 Helm Chart，而不是直接部署 Apache APISIX Ingress Controller?

這是因為 Apache APISIX Ingress Controller 目前和 Apache APISIX 網關是強關聯的（如下圖所示），且目前通過 Apache APISIX Helm Charts 同時部署 Apache APISIX Gateway + Dashboard + Ingress Controller 是最方便的，因此本文推薦直接使用 Apache APISIX 的 Helm Chart 進行整套組件的部署，

將應用命名為 apisix 以避免多個組件（Gateway, Dashboard, Ingress Controller）的作業負載及服務名稱產生不匹配的情況；在安裝步驟中編輯的「應用設定」的部分，請參照以下配置進行填寫（請特別注意帶有【注意】標記的注釋部分的說明，其余可以按需自行編輯修改），

global:
  imagePullSecrets: []
  
apisix:
  enabled: true
  customLuaSharedDicts: []
  image:
    repository: apache/apisix
    pullPolicy: IfNotPresent
    tag: 2.10.1-alpine
  replicaCount: 1
  podAnnotations: {}
  podSecurityContext: {}
  securityContext: {}
  resources: {}
  nodeSelector: {}
  tolerations: []
  affinity: {}
  podAntiAffinity:
    enabled: false
    
nameOverride: ''
fullnameOverride: ''

gateway:
  type: NodePort
  externalTrafficPolicy: Cluster
  http:
    enabled: true
    servicePort: 80
    containerPort: 9080
  tls:
    enabled: false
    servicePort: 443
    containerPort: 9443
    existingCASecret: ''
    certCAFilename: ''
    http2:
      enabled: true
  stream:
    enabled: false
    only: false
    tcp: []
    udp: []
  ingress:
    enabled: false
    annotations: {}
    hosts:
      - host: apisix.local
        paths: []
    tls: []
    
admin:
  enabled: true
  type: ClusterIP
  externalIPs: []
  port: 9180
  servicePort: 9180
  cors: true
  credentials:
    admin: edd1c9f034335f136f87ad84b625c8f1
    viewer: 4054f7cf07e344346cd3f287985e76a2
  allow:
    ipList:
      - 0.0.0.0/0
      
plugins:
  - api-breaker
  - authz-keycloak
  - basic-auth
  - batch-requests
  - consumer-restriction
  - cors
  - echo
  - fault-injection
  - grpc-transcode
  - hmac-auth
  - http-logger
  - ip-restriction
  - ua-restriction
  - jwt-auth
  - kafka-logger
  - key-auth
  - limit-conn
  - limit-count
  - limit-req
  - node-status
  - openid-connect
  - authz-casbin
  - prometheus
  - proxy-cache
  - proxy-mirror
  - proxy-rewrite
  - redirect
  - referer-restriction
  - request-id
  - request-validation
  - response-rewrite
  - serverless-post-function
  - serverless-pre-function
  - sls-logger
  - syslog
  - tcp-logger
  - udp-logger
  - uri-blocker
  - wolf-rbac
  - zipkin
  - traffic-split
  - gzip
  - real-ip
  #【注意】添加此插件以配合 Dashboard 展示服務資訊
  - server-info

stream_plugins:
  - mqtt-proxy
  - ip-restriction
  - limit-conn

customPlugins:
  enabled: true
  luaPath: /opts/custom_plugins/?.lua
  #【注意】如下配置保障 Prometheus 插件可對外暴露指標
  plugins:
  	- name: prometheus
    	attrs:
      	export_addr:
        	ip: 0.0.0.0
          port: 9091
      configMap:
      	name: prometheus
        mounts: []

dns:
  resolvers:
    - 127.0.0.1
    - 172.20.0.10
    - 114.114.114.114
    - 223.5.5.5
    - 1.1.1.1
    - 8.8.8.8
  validity: 30
  timeout: 5

autoscaling:
  enabled: false
  minReplicas: 1
  maxReplicas: 100
  targetCPUUtilizationPercentage: 80
  targetMemoryUtilizationPercentage: 80

configurationSnippet:
  main: ''
  httpStart: ''
  httpEnd: ''
  httpSrv: ''
  httpAdmin: ''
  stream: ''

etcd:
  enabled: true
  host:
    - 'http://etcd.host:2379'
  prefix: /apisix
  timeout: 30
  auth:
    rbac:
      enabled: false
      user: ''
      password: ''
    tls:
      enabled: false
      existingSecret: ''
      certFilename: ''
      certKeyFilename: ''
      verify: true
  service:
    port: 2379
  replicaCount: 3

dashboard:
  enabled: true
  #【注意】為 Dashboard 開啟 NodePort 方便后續使用
  service:
  	type: NodePort

ingress-controller:
  enabled: true
  config:
    apisix:
    	#【注意】一定要設定 gateway 所在的 namespace
      serviceNamespace: apisix-system
  serviceMonitor:
    enabled: true
    namespace: 'apisix-system'
    interval: 15s

部署成功后，點擊應用名稱進入詳情頁面，可以在「資源狀態」標簽頁下看到如下的服務部署和作業狀態運行狀態展示，

?? Apache APISIX 專案另有的兩個 Helm Chart 對應的默認配置引數可以分別參考：Dashboard 和 Ingress Controller 的 values.yaml，

使用 Apache APISIX Dashboard 了解系統資訊

Apache APISIX 應用部署完成后，首先我們通過 Apache APISIX Dashboard 來檢驗一下 Apache APISIX 網關的當前狀態，從「應用負載」的「服務」頁面，我們可以找到 apisix-dashboard 的服務，由于我們在應用配置中已經為 Dashboard 開啟了 NodePort，所以這里我們可以直接通過 NodePort 埠來訪問 Dashboard，

使用默認的用戶名及密碼 admin 登錄 Apache APISIX Dashboard，可以進入「系統資訊」頁面即可查看到我們當前連接管理的「Apache APISIX 節點」的資訊，

使用 Apache APISIX Ingress Controller

讓我們回到「應用路由」頁面，另外新建一個路由（如 apisix-httpbin），設定路徑為 /* httpbin 80 并為其添加 kubernetes.io/ingress.class: apisix 的鍵值，

創建完成后如何驗證應用路由生效呢？首先，我們可以回到 Apache APISIX Dashboard，進入「路由」頁面，可以看到新建的應用路由已經被 Apache APISIX Ingress Controller 識別之后自動添加到了 Apache APISIX 網關中，在「上游」頁面也可以看到自動創建的一個上游條目，

然后我們回到 apisix-system 專案的「服務」頁面，找到 apisix-gateway 服務對應的埠，由此訪問 <apisix-httpbin 應用路由指定的域名>:<apisix-gateway 外部訪問埠>（例如此處為 httpbin.ui:30408）即可訪問到 apisix-httpbin 應用路由所關聯的后臺服務，

自定義監控 Apache APISIX 網關

Apache APISIX 網關可用之后其實是缺少像原生集群或專案網關這樣自帶的狀態監控能力的，但這個我們也可以通過 Apache APISIX 的 Prometheus 插件以及 KubeSphere 自帶的自定義監控能力來彌補，

暴露 Apache APISIX 網關的 Prometheus 監控指標

由于我們在部署 Apache APISIX 應用時已經開啟了 Prometheus 插件，所以這里我們只需要把 Prometheus 監控指標的介面暴露出來即可，進入 apisix-system 專案，在「作業負載」頁面找到 apisix 并進入部署詳情頁面，隨后在左側操作面板的「更多操作」中選擇「編輯設定」，

在彈出的「編輯設定」面板中，進入到 apisix 容器的編輯界面，找到「埠設定」，添加一個新的名為 prom 的埠映射到容器的 9091 埠，保存后 apisix 作業負載會重啟，

為 Apache APISIX 網關監控指標創建 ServiceMonitor

下面我們需要將已暴露的指標介面接入到 KubeSphere 自帶的 Prometheus 中使之可被訪問（被抓取指標資料），由于 KubeSphere 是通過 Prometheus Operator 來維護內部的 Prometheus 系統的，所以最方便的方式自然是直接創建一個 ServiceMonitor 資源來實作指標介面的接入，

apiVersion: monitoring.coreos.com/v1
kind: ServiceMonitor
metadata:
  name: apisix
  namespace: apisix-system
spec:
  endpoints:
    - scheme: http
    	#【注意】使用上一步中作業負載暴露的容器埠名稱
    	targetPort: prom
    	#【注意】需要正確系結 apisix 對應的指標介面路徑
    	path: /apisix/prometheus/metrics
      interval: 15s
  namespaceSelector:
    matchNames:
      - apisix-system
  selector:
    matchLabels:
      app.kubernetes.io/name: apisix
      app.kubernetes.io/version: 2.10.0
      helm.sh/chart: apisix-0.7.2

使用 kubectl apply -f your_service_monitor.yaml 創建這個 ServiceMonitor 資源，創建成功后，如果有集群管理權限，也可以在集群的 CRD 管理頁面中搜索查看 ServiceMonitor 資源并找到名為 apisix 的自定義資源，也可以在這里做后續的 YAML 修改，

將 Apache APISIX 網關指標接入自定義監控面板

下面我們在專案左側選單串列中找到「監控告警」中的「自定義監控」，開始「創建」自定義監控面板，

在彈出視窗中填入「名稱」，選擇「自定義」監控模版，并進入「下一步」的監控面板創建，

進入編輯頁面后現在左側點擊 + 區域，在右側的「資料」區域進行 Prometheus 監控指標的配置，例如這里我們可以用 sum(apisix_nginx_http_current_connections) 來統計 Apache APISIX 網關實時的連接總數，

保存后在頁面右下角找到「+ 添加監控項」，我們選擇「折線圖」來創建一個 Nginx connection state 指標：使用 sum(apisix_nginx_http_current_connections) by (state) 作為指標、{{state}} 用作圖例名稱、選擇「圖例型別」為堆疊圖，即可得到類似如下的圖表顯示效果，保存模版后即可得到您的第一個自定義監控面板！

Apache APISIX 網關目前提供的 Prometheus 指標可以參見官方檔案的可有的指標部分，

由于指標配置起來還是比較麻煩的，推薦在集群層面的「自定義監控」中直接匯入 Apache APISIX Grafana 模版（下載 JSON 通過「本地上傳」進行匯入），

創建完成后可以直接得到一個非常豐富的 Apache APISIX 網關監控面板，KubeSphere 也同時在積極推進將 Grafana 模版匯入的功能引入到專案的自定義監控能力中去，敬請期待！

至此，我們了解了 KubeSphere 3.2.0 中新的專案及集群網關的更豐富的狀態資訊展示能力；同時也完成了 Apache APISIX Ingress 網關接入 KubeSphere 并對其使用自定義監控，讓我們開啟 KubeSphere 應用網關的奇妙旅程吧～

本文由博客一文多發平臺 OpenWrite 發布！

轉載請註明出處，本文鏈接：https://www.uj5u.com/qita/373813.html

標籤：其他

上一篇：CentOS7部署ceph

下一篇：Nginx基礎學習