Kubernetes 學習筆記（二）：本地部署一個 kubernetes 集群

目標是方便快捷地部署一個比較穩定的 k8s 集群（開發/測驗用）

前言

前面用到過的 minikube 只是一個單節點的 k8s 集群，這對于學習而言是不夠的，我們需要有一個多節點集群，才能用到各種調度/監控功能，而且單節點只能是一個加引號的“集群”，

kubernetes 安裝方式面面觀

kubernetes 是一個組件化的系統，安裝程序有很大的靈活性，很多組件都有多種實作，這些實作各有特點，讓初學者眼花繚亂，

而且要把這些組件一個個安裝配置好并且能協同作業，也是很不容易的，

因此社區出現了各種各樣的安裝方案，安裝方案如此之多，以致于我不曉得該用哪個好，，于是特地調查了一番，將幾個流行的安裝方案羅列如下：

1. kops: 只支持 aws/gce，另外 openstack/vsphere 的支持正處于 beta 狀態，不支持裸機部署，
2. kubeadm: k8s 官方推出的一個 k8s 快速安裝工具，但是仍然有一定的作業量，
3. kubespray: k8s 社區專案，使用 ansible 部署可用于生產環境的 k8s，（k8s-sigs，即 k8s special interest group）
   • 這個算是官方專案，和后面一些快速部署工具相比，它的門檻更高些——要求用戶熟悉 ansible 的高級用法，但是自建生產環境的話，應該是最推薦的選項，
4. KubeOperator: 提供 UI 界面的部署工具及集群運維系統(底層用的是 ansible)，對 vshpere 的支持比較好，通過 vCenter 可以動態地伸縮 worker 節點，
5. kubeasz: 和 kubespray 一樣，都是使用 ansible 進行部署，不過是純中文的，而且是分步部署，還添加了幾個方便的運維功能，
6. sealos: 一行命令部署 k8s 集群，基于 kubeadm，支持離線安裝，
   • 國人開發的專案，使用方式非常簡單，只是它的離線安裝包是收費的，各版本價格從 0.01-50 元不等，，（代碼開源，因此離線包可以自己制作，但是很麻煩，）
   • 它支持的自定義引數比較少，很多引數都只能在部署完成后，再手動去修改 apiserver/kube-proxy 等組件的組態檔，
   • 基本是個人維護，
7. rke/rancher: 完全使用容器運行 k8s 自身，組態檔簡單，一行命令部署集群（國內會自動從阿里云拉鏡像），另外中文檔案非常詳細，
   • rke 評價：現在在開發環境用了半年 rke 了，體驗上講，安裝配置是相當方便，但是它也存在幾個比較明顯的問題：
     • rke up 經常會健康檢查失敗，需要跑兩三次才能成功，
     • 對修改集群有點語焉不詳，找了半天檔案才知道修改集群就是改 cluster.yaml 然后重新跑 rke up，
     • 將 cni 插件從 canal 切換到 calico/flannel 后重新 rke up，集群網路直接就炸了，rke remove 再 rke up 都沒用（清理不干凈），也沒看到哪里有講網路插件不能更換，
     • 我們有一部分機器晚上會關機，有時候第二天開機后，nginx_proxy 容器就掛了，導致節點無法訪問 apiserver 而下線，，
   • Rancher 評價：用了一段時間了，檔案我覺得是非常詳細，很受用，但是 rancher 本身感覺不怎么穩定，經常莫名其妙地報錯、卡頓，，也不知道是不是我配置不對，，

此外社區還有 n 種方案可供選擇，五花八門，而且關注度（stars）都不低，貪多嚼不爛，我就不一一介紹了，

一番搜索，我最終確定了用 rancher 來部署我的第一個 kubernetes 多節點集群，怎么簡單怎么來哈哈~

2020.4 更新：半年來在開發環境試用過 rancher/rke/sealos/kubespray/minikube，個人感覺，本地單節點集群可以用 minikube，快速部署測驗集群可以用 rke/sealos，
而 kubespray 感覺比較重，適合生產環境部署，當然搞熟悉了的話全部用 kubespray 也行，
要深入學習 k8s，可以用 kubeadm 手動部署一遍集群，

一、準備虛擬機

要部署多節點嘛，自然得先有多臺主機，我自己的機器記憶體夠用，就直接開了一臺 Ubuntu 虛擬機，然后克隆了四份，（這個克隆操作導致我后面掉進了坑，，）

主機的作業系統可以用自己熟悉的 Ubuntu/Debian/CentOS 等，這里主要強調一個坑：

1. 各主機的 hostname 不能相同！！！否則后續的節點永遠部署不上！第一次手動安裝節點很容易被這個問題卡住，（血淚教訓，，）
   • 因為我節點的虛擬機都是克隆 rancher-server 節點的，它們的 hostname 全都一樣，搞了好久才找到問題原因，
   • Ubuntu Server 18.04 無法修改 hostname

如果是使用 rke/kubespray 進行批量安裝，可以直接在組態檔里指定節點 hostname，這倆工具會幫你自動修改，

具體的主機配置程序官方檔案寫得非常詳細，請移步 Rancher-基礎環境配置

二、使用 rancher 部署 k8s 集群

1. 部署 rancher server

首先在用做 rancher server 的虛擬機上跑官方給出的 docker 命令啟動 rancher server：

sudo docker run -d -v <主機路徑>:/var/lib/rancher/ --restart=unless-stopped -p 80:80 -p 443:443 rancher/rancher:stable

不過說實話我覺得用 docker-compose 的方式會更好一點，

部署好后訪問 https://<server-ip> 配置好賬號/密碼/url，這沒啥好說的，

注意事項

1. 以 docker 方式部署 rancher，顯然是存在單點故障的，生產環境建議查看官方檔案的 HA 部署，
2. 使用 rancher 部署好的集群，如果你使用 rancher 生成的 kubeconfig 的話，rancher 掛了你就無法使用 kubectl 了，
   • 所以rancher 一定要做好備份，或者在部署時啟用「授權集群訪問地址」，否則 rancher 出了問題就jj了，

2. 部署 kubernetes 集群

現在進入了 rancher 首頁，點擊右上角的「添加集群」，選擇「自定義」來添加本地集群，

當然如果你用的是云服務，那直接使用 rancher 提供的對應的功能顯然更方便，(在導航欄「工具」-「驅動管理」中可以添加「阿里云」「騰訊云」「華為云」等國內云服務支持)

然后輸入「集群名稱」，「云提供商」選擇「無」，

然后就是最后一步——在各個節點上部署 rancher agent——了，

只要你勾選了 worker 選項（其實就是添加了 --worker 引數），rancher agent 在運行時，就會自動在節點上部署 k8s 節點所需要的所有容器，

在多個節點上運行帶 --worker 的 rancher agnet 命令，就能得到多個 k8s worker，而 etcd 和 controller 開發環境各部署一個就好了，

然后就可以愉快地玩耍了hhh~

3. 離線部署 k8s 集群

要使用 rancher 離線部署，首先需要一個 docker 私有鏡像倉庫，推薦使用 harbor.

雖然也可以使用官方的 rancher_save_images.sh 把所有鏡像打包成 tar.gz 進行離線安裝，但是這并沒有使用私有倉庫的方式靈活簡便，（前提是你本來就已經有一個內網私有倉庫，，）

1. 參照 準備離線鏡像 的腳本，使用 image-list.txt 拉取鏡像到本地，然后批量上傳到私有倉庫
2. 參照 修改鏡像倉庫地址，讓 rancher 從內網倉庫拉取系統鏡像，

然后參照上一步 2. 部署 kubernetes 集群 就行，

三、使用 kubespray 部署本地 k8s 集群

今天嘗試了一下使用 kubespray 部署一個本地 k8s 集群，總的來說，坑比較多，，主要是我完全沒學過 ansible，用起來磕磕絆絆，

使用 kubespary 部署，難點有二：

1. 國內網路問題，gcr.io 和 quay.io 的鏡像都無法拉取，github 的 release 下載也特別慢，
   • 鏡像可以使用 azure 的鏡像源：
     • 把 gcr.io 全都替換成 gcr.azk8s.cn
     • 把 quay.io 全都替換成 quay.azk8s.cn
     • 而 dockerhub 官方鏡像，可以換成 dockerhub.azk8s.cn
   • 但是 github 就沒辦法了
2. ansible 的配置問題，我節點用的 ubuntu server 1804，第一次用 ansible，遇到好多問題：
   1. 用 kubespray 的 requirements.txt 安裝 ansible，運行 ansible 命令時提示找不到 /usr/bin/python，升級到最新版本才能識別到 /usr/bin/python3
   2. 然后又提示需要將節點的指紋加入 know_hosts，我一直輸入 yes 都沒用，，全部手動用 ssh 登錄了一次才好，（回退 ansible 的版本也沒用，）
   3. 啟用了 download_run_once 之后，ansible 把下載下來的資料用 rsync 傳到別的節點時老是報錯，要我將指紋加入 know_hosts（輸入 yes），只好關掉，（回退 ansible 的版本也沒用，）
   4. 現在終于正常了，但是有幾個工具的下載鏈接是 github release 的，慢到吐血，我只好手動下載下來，再手動分發到所有節點上，，

趟完了上面說的坑之后，終于把 kubernetes 安裝上了，安裝體驗上來說比 rancher 差多了，當然這也和我是 ansible 小白有很大關系，，，

優勢：
1. 節點只要有 python 就行，好像連 docker 都可以交給 kubespray 安裝（只要你能忍受它的速度，，）
1. 會自動配置節點的 hostname，不需要手動一臺臺地改了，

然后裝完后我才曉得，原來 kubeconfig 是需要手動生成的，，之前用 rancher 時它直接就給生成好了，我以為這是自動的來著，，

四、使用 rke（rancher kubernetes engine）離線部署 k8s 集群

前面使用 rancher 部署了一個 k8s 集群，但是那種方式不適合內網環境，因為它所有的鏡像都還是會從外網拉取，遇到出口帶寬被限速，或者與公網物理隔離的情況下，就無能為力了，（rancher 的 UI 界面也可以設定私有倉庫）

因此我改用 rke 進行部署，這種方式自定義程度更高，而且支持配置私有 docker 倉庫，通過 ssh 批量部署，其實用法和 kubespray 有點像，但是比 kubespray 簡單多了，（kuberspray 的組態檔實在太多了，，）

經過使用我發現，rke 才是最簡單方便的 kubernetes 部署方式，流程如下：

1. OS 還是使用 ubuntu1804，ssh 賬號使用 root（測驗環境，方便）
   • 注：CentOS/RedHat 不能使用 root 賬號進行操作，
   • 其他系統配置參見 rke - 系統需求
2. 使用 ssh-keygen 創建密鑰對，通過 ssh-copy-id 將公鑰傳到各節點上，
3. 下載 rke，和 kubectl 一樣是個單一可執行檔案，
   • 下載好后將它重命名為 rke，放到 PATH 路徑下（比如 /usr/local/bin），
4. 創建組態檔：cluster.yml
5. 修改 cluster.yml，配置好所有的節點與對應的角色，
   • 節點可以指定一個 hostname_override，覆寫掉原有的 hostname，這非常方便，
6. cluster.yml 還有非常多的其他引數，作為新手大部分我們都不要去改，但是有幾個重點需要注意
   1. private_registries: 配置私有倉庫，提前將 rancher 的鏡像離線到本地倉庫（如 harbor），可以大大加快部署速度，
   2. kubernetes_version: k8s 版本號，可通過 rke config --list-version --all 查看所有支持的版本號，
   3. service.kube_api: apiserver 相關的配置，其中 service_node_port_range 限定了 node_port 的埠范圍，
   4. service.kube_controller/kubelet/kube_proxy: 調整 k8s 的其他各項引數，，
   5. authorization.mode: 測驗環境可以改成 none，方便后面使用 dashboard
   6. network.plugin: 設定網路插件，各插件的差別待了解
   7. ingress.provider: rke 部署的這個 ingress 我弄了半天都沒弄好，最后把這個改成 none，然后手動用 kubectl 部署官方的 ingress-controller 才正常，，
   8. dns: 域名決議嘛，默認的 coredns 就行，上游 dns 可以設 114.114.114.114
   9. addons_include: 匯入其他插件，最常見的有（詳細的部署方式下面會寫）：
      • dashboard
      • nginx-ingress-controller
7. 使用 rke up 命令部署 k8s

在 k8s 集群上部署 dashboard 和 nginx-ingress-controller

1. 部署 dashboard

部署 dashboard 存在兩個問題

1. 官方提供的鏡像地址 k8s.gcr.io/kubernetes-dashboard-amd64:v1.10.1 被墻，
2. dashboard 默認創建的 serviceaccount kubernetes-dashboard 權限相當小，啥都看不了，

解決辦法，首先下載官方的 yaml 檔案，做如下修改：

1. Deployment 使用 azure 鏡像源：gcr.azk8s.cn/google_containers/kubernetes-dashboard-amd64:v1.10.1
2. 修改 RoleBinding 那一部分的 yaml 配置，將服務賬號 kubernetes-dashboard 系結到管理員角色 cluster-admin 上，詳見官方檔案：https://github.com/kubernetes/dashboard/blob/master/docs/user/access-control/creating-sample-user.md#create-clusterrolebinding

然后再 kubectl create

訪問 dashboard

dashboard 不怎么好用，只適合粗略查看，更建議使用 k9s

1. 在本機使用 kubectl proxy 提供一個訪問集群內部 service 的入口
2. 通過 http://localhost:8001/api/v1/namespaces/kube-system/services/https:kubernetes-dashboard:/proxy/ 進入 dashboard 的 ui 界面
3. 如果在前面的集群創建時，你將 authorization.mode 設為了 none，那應該會有個 skip 的按鈕，點擊就能進入 dashboard 了，
4. 否則你大概需要參照 使用 token 登錄，

2. 本地部署 nginx-ingress-controller

建議用 traefik 替換掉它

參照 NGINX Ingress Controller - 安裝指南

1. Prerequisite Generic Deployment Command: kubectl apply -f https://raw.githubusercontent.com/kubernetes/ingress-nginx/master/deploy/static/mandatory.yaml
2. 使用 nodePort 匯出 ingress 埠：kubectl apply -f https://raw.githubusercontent.com/kubernetes/ingress-nginx/master/deploy/static/provider/baremetal/service-nodeport.yaml
   • 這個官方提供的 yaml 沒有指定 nodePort，會導致最后匯出的 nodePort 是隨機分配的，，
   • 可以手動指定成 80 和 443，或者如果埠被占用，也可以改成 8080 和 8443

然后就可以使用 ingress 啦，

標籤：其他

上一篇：從零開始入門 K8s | 應用配置管理

下一篇：istio部署-快速入門