作者林育新，騰訊云容器產品工程師，目前主要負責騰訊云TKE的控制臺的相關研發作業，
概述
在開源社區當中，Kubernetes 的 Ingress Controller 的實作有多種方式，Nginx Ingress 只是其中的一種實作方式，當然也是目前社區中使用量最大的一種 Ingress Controller 的實作方式，其不僅功能強大，而且性能極高，本文主要介紹如何使用騰訊云容器服務實作多種方式進行 Nginx Ingress 的部署，并會簡單介紹各種方式的實作原理以及優缺點和適用場景，
Nginx Ingress 是什么
Nginx Ingress 是 Kubernetes 的一種物件，通過nginx-ingress-controller 將用戶宣告的 nginx-ingress 轉化成 nginx 的轉發規則，其核心解決的問題是流量的轉發和東西向的負載均衡，
主要的作業原理是nginx-ingress-controller監聽api-server的變化（Kubernetes Informers），通過 watch Kubernetes 的 Ingress、Service、Endpoint、Secret、ConfigMap 等物件變化，更改 Nginx 實體的配置，進行流量轉發，
目前社區中，針對于 Nginx Ingress 主要有如下的兩種實作方式
- Kubernetes 開源社區的實作
- Nginx 官方的實作
為什么需要 Nginx Ingress
開源社區當中，對 Ingress Controller 的實作方式有多種，每一種 Controller 都有其適用的場景以及各自的優缺點，為什么推薦使用 nginx-ingress-controller？下面我們來探討一下，如果不使用 nginx-ingress-controller 會給業務帶來什么困擾
這里以騰訊云容器服務控制臺（以下簡稱 TKE）默認推薦的 ingress controller 為例子，存在如下的一些問題：
- CLB 型別的 Ingress 能力無法滿足現有業務的需求，如無法共享同一個外網入口，支持默認默認轉發后端等
- 原有業務已使用了
nginx-inrgess，并且運維已習慣于配置nginx.conf，不希望做過多的改變
使用 nginx-ingress-controller，能夠很好地解決以上的問題，
需要什么前提條件
部署 nginx-ingress-operator
組件部署安裝
進入騰訊云容器服務控制臺當中，選擇需要部署 Nginx Ingress 的集群，進入集群-組件管理當中，部署安裝 Nginx Ingess 組件，如下圖：
組件安裝并且正常運行
部署方案
TKE 提供了多種對于nginx-ingress-controller的部署方案以及接入 LB 的方式，適配不同的業務場景需求，以下會對不同的方案進行介紹，
nginx-ingress-controller 部署方案
方案一： DaemonSet + 節點池
Nginx 作為關鍵的流量接入網關，是至關重要的組件，不建議將 Nginx 與其他業務部署在相同的節點內，可以通過節點池設定污點的方式，進行部署，關于節點池的相關說明，可以查看騰訊云容器服務節點池概述，
使用此部署方案，應該注意如下幾個事項：
-
提前準備好部署
nginx-ingress-controller的節點池，同時設定節點池的污點Taint和Label，防止其他 Pod 調度到該節點池， -
確保已成功部署安裝好
nginx-ingress-operator組件，部署方式參考上方指引 -
進入組件詳情，創建
nginx-ingress-controller實體（單一集群內可同時存在多個實體）
- 部署方式選擇
指定節點池DaemonSet部署 - 設定容忍污點
- 設定 Request/Limit，其中 Request 需設定比節點池的機型配置小（節點本身有資源預留，避免實體因資源不足而不可用），Limit 可不設定
- 其他引數根據業務需要進行設定即可
- 部署方式選擇
方案二：Deployment + HPA
使用 Deployment + HPA 的方案進行部署，您可以根據業務需要配置污點和容忍，將 Nginx 和業務 Pod 進行分散部署，搭配 HPA，設定 CPU/記憶體等指標進行彈性伸縮，
使用此部署方案，應該注意如下幾個事項：
-
在集群中設定即將部署
nginx-ingress-controller的節點的 Label -
確保已成功部署安裝好
nginx-ingress-operator組件，部署方式參考上方指引， -
進入組件詳情，創建
nginx-ingress-controller實體（單一集群內可同時存在多個實體）
- 部署方式選擇
自定義Deployment+HPA部署 - 設定 HPA 觸發策略
- 設定 Request/Limit
- 設定節點調度策略，推薦
nginx-ingress-controller獨占節點，避免其他業務資源侵占而導致不可用 - 其他引數根據業務需要進行設定即可
- 部署方式選擇
Nginx 前端接入 LB 的部署方式
上文介紹了在 TKE 的集群當中部署 nginx-ingress-operator 和 nginx-ingress-controller 的使用流程和部署方案建議，完成以上步驟，僅僅是在集群內部署了 Nginx 的相關組件，但要接收外部的流量，還需要配置，還需要配置 nginx 的前端 LB，當前 TKE 已完成對 Nginx Ingress 的產品化支持，可以根據業務需要選擇以下部署模式之一，
方案一：VPC-CNI 模式集群使用 CLB 直通 Nginx 的 Service（推薦）
前置條件（滿足其一即可）：
- 集群自身網路插件為
VPC-CNI- 集群自身網路插件為
Global Router，并已開啟VPC-CNI的支持（兩種模式混用）
我們以節點池部署的負載示例
當前方案性能好，所有的 Pod 都使用的彈性網卡，彈性網卡的 Pod 是支持 CLB 直綁 Pod 的，可以繞過 NodePort，并且不需要手動維護 CLB，支持自動擴縮容，是最理想的方案，
方案二：Global Router 模式集群使用普通 LoadBalancer 模式的 Service
當前 TKE 對于 LoadBalancer 型別的 Service 默認的實作是基于 NodePort，CLB 會系結各節點的 NodePort 作為后端的 RS，將流量轉發到節點的 NodePort，然后節點再通過 Iptables 或 IPVS 將請求路由到 Service 對應的后端 Pod（指 Nginx Ingress Controller 的 Pod），
您的集群如果不支持 VPC-CNI 的網路模式，可以通過常規的 LoadBalancer 訪問方式的 Service 接入流量，
這是在 TKE 上部署 Nginx Ingress 最簡單的方式，流量會經過一層 NodePort，多一層轉發，但可能存在以下的問題：
- 轉發路徑較長，流量到 NodePort 后，還會再經過 Kubernetes 內部負載均衡，通過 Iptables 或 IPVS 轉發到 Nginx，會增加一點網路耗時
- 經過 NodePort，必然會發生 SNAT，如果流量過于集中，容易導致源埠耗盡或者 conntrack 插入沖突而導致丟包，引發部分流量例外，
- 每個節點的 NodePort 也充當一個負載均衡器，CLB 如果系結大量節點的 NodePort，負載均衡的狀態就分散在每個節點上，容易導致全域負載不均，
- CLB 會對 NodePort 進行健康探測，探測包最侄訓被轉發到 Nginx Ingress 的 Pod，如果 CLB 系結的節點數量多于 Nginx Ingress 的 Pod，會導致探測包對 Nginx Ingress 造成較大的壓力，
方案三：使用 HostNetwork + LB
方案二雖然是最簡單的部署方式，但是流量會經過一層 NodePort，且可能存在如上所描述的問題，我們可以讓 Nginx Ingress 使用 HostNetwork，CLB 直接系結節點 IP + 埠(80,443)，由于使用 HostNetwork，nginx ingress 的 Pod 就不能被調度到同一個節點當中，避免埠監聽沖突，
由于 TKE 尚未對此方案進行產品化，可以通過提前規劃，選擇部分節點，專門用于部署 nginx-ingress-controller，為節點打上 Label，然后以 DaemonSet 的方式部署在這些節點上（即 nginx-ingress-controller 的部署方案一），
如何集成監控
TKE 通過集成 騰訊云容器團隊的高性能云原生監控服務（傳送門：https://console.cloud.tencent.com/tke2/prometheus ），也可在以前發布的文章《如何用 Prometheus 監控十萬 container 的 Kubernetes 集群》中了解 Prometheus，Kvass 和怎么利用 kvass 為基礎的 Prometheus 集群化技術，
系結監控實體
查看監控資料
如何采集和消費日志
TKE 通過集成 騰訊云日志服務 CLS，提供了全套完整的產品化能力，實作 nginx-ingress-controller 的日志采集和消費能力，但需要注意如下幾個事項：
- 前置要求：確保當前集群已開啟日志采集功能
- 在
nginx-ingress-controller實體中，配置日志采集的相關選項，
總結
本文梳理了如何使用騰訊云容器服務控制臺玩轉 Nginx Ingress，主要介紹了控制臺上的對于 nginx-ingress-controller 的兩種部署方式以及建議，以及前端接入 LB 的三種方式，除了在 TKE 上進行 Nginx Ingress 的一鍵部署，TKE 還提供集群所部署的 nginx-ingress-controller 日志和監控的相關能力的產品化支持，對于想要在 TKE 上使用 Nginx Ingress，本文是一個很好的參考和指引，
【騰訊云原生】云說新品、云研新術、云游新活、云賞資訊，掃碼關注同名公眾號，及時獲取更多干貨！！
轉載請註明出處，本文鏈接：https://www.uj5u.com/qita/241779.html
標籤：其他