Kubernetes筆記（一）：十分鐘部署一套K8s環境

Kubernetes是Goole開源的一個容器編排引擎，它支持自動化部署、大規模可伸縮、應用容器化管理 —— 百度百科，

接觸K8s也有半年多了，也基于阿里云平臺搭建了包含多級服務、目前運行較為穩定的K8s集群（感興趣的可參考 k8s云集群混搭模式，可能幫你節省50%以上的服務成本， k8s云集群混搭模式落地分享），但一直沒來得及對其進行系統的學習，本系列文章還像以前Docker系列一樣，以筆記的形式進行記錄與分享，會包括理論與實踐，感興趣的同學可以關注，一起探索下目前較為流行的容器化及服務編排解決方案，

工欲善其事，必先利其器，本文先介紹如何在本地自行搭建一套k8s集群，并且采用我們前面介紹過的Ansible來提高效率（參考 Ansible簡明教程）

本文所涉及的所有組態檔可在這里找到 github

一. 準備服務器節點

如果還沒有服務器，可以參考 ubuntu18.04上搭建KVM虛擬機環境超完整程序 創建虛擬服務器，

服務器節點IP（hostname）：

• 192.168.40.111 (kmaster)
• 192.168.40.112 (knode1)
• 192.168.40.113 (knode2)
• 192.168.40.114 (knode3)

作業系統版本：

• cat /etc/redhat-release : CentOS Linux release 7.6.1810 (Core)
• uname -a : 3.10.0-957.el7.x86_64

二. 配置Ansible

如果還沒有Ansible環境，可以參考 [Ansible簡明教程]https://mp.weixin.qq.com/s/JIZE1RvN7Yop5dsOHJvStw) 搭建，

1.在Ansible服務器上的/etc/hosts檔案中添加k8s服務器節點資訊(參考 hosts)

192.168.40.111 kmaster
192.168.40.112 knode1
192.168.40.113 knode2
192.168.40.114 knode3

2.在Ansible服務器上的/etc/ansible/hosts檔案中添加k8s服務器節點（參考 ansible_hosts）

[k8s-all]
kmaster
knode1
knode2
knode3

[k8s-master]
kmaster

[k8s-nodes]
knode1
knode2
knode3

三. 修改k8s集群各節點/etc/hosts（非必須）

修改所有主機/etc/hosts檔案，添加IP/主機名映射，方便通過主機名ssh訪問

1.創建playbook檔案（參考 set_hosts_playbook.yml）

vim set_hosts_playbook.yml
---
- hosts: k8s-all
  remote_user: root
  
  tasks:
    - name: backup /etc/hosts
      shell: mv /etc/hosts /etc/hosts_bak

    - name: copy local hosts file to remote
      copy: src=https://www.cnblogs.com/etc/hosts dest=/etc/ owner=root group=root mode=0644 

2.執行ansible-playbook

ansible-playbook set_hosts_playbook.yml

四. 安裝Docker

在所有主機上安裝Docker

1.創建playbook檔案（參考 install_docker_playbook.yml）

vim install_docker_playbook.yml
- hosts: k8s-all
  remote_user: root
  vars: 
     docker_version: 18.09.2

  tasks: 
     - name: install dependencies
       #shell: yum install -y yum-utils device-mapper-persistent-data lvm2 
       yum: name={{item}} state=present
       with_items:
          - yum-utils
          - device-mapper-persistent-data
          - lvm2

     - name: config yum repo
       shell: yum-config-manager --add-repo https://mirrors.ustc.edu.cn/docker-ce/linux/centos/docker-ce.repo

     - name: install docker
       yum: name=docker-ce-{{docker_version}} state=present

     - name: start docker
       shell: systemctl enable docker && systemctl start docker

2.執行ansible-playbook

ansible-playbook install_docker_playbook.yml

五. 部署k8s master

1.開始部署之前，需要做一些初始化處理：關閉防火墻、關閉selinux、禁用swap、配置k8s阿里云yum源等，所有操作放在腳本 pre-setup.sh 中，并在2中playbook中通過script模塊執行

2.創建playbook檔案 deploy_master_playbook.yml，只針對master節點，安裝kubectl，kubeadm，kubelet，以及flannel（將kube-flannel.yml檔案里鏡像地址的quay.io改為quay-mirror.qiniu.com避免超時，參考 kube-flannel.yml）

vim deploy_master_playbook.yml
- hosts: k8s-master
  remote_user: root：q
  vars:
    kube_version: 1.16.0-0
    k8s_version: v1.16.0
    k8s_master: 192.168.40.111 
  
  tasks:
    - name: prepare env
      script: ./pre-setup.sh      

    - name: install kubectl,kubeadm,kubelet
      yum: name={{item}} state=present
      with_items:
        - kubectl-{{kube_version}}
        - kubeadm-{{kube_version}}
        - kubelet-{{kube_version}}
    
    - name: init k8s
      shell: kubeadm init --image-repository registry.aliyuncs.com/google_containers --kubernetes-version {{k8s_version}} --apiserver-advertise-address {{k8s_master}}  --pod-network-cidr=10.244.0.0/16 --token-ttl 0
    
    - name: config kube
      shell: mkdir -p $HOME/.kube && cp -i /etc/kubernetes/admin.conf $HOME/.kube/config && chown $(id -u):$(id -g) $HOME/.kube/config
    
    - name: copy flannel yaml file
      copy: src=https://www.cnblogs.com/spec-dog/p/kube-flannel.yml dest=/tmp/ owner=root group=root mode=0644 
    
    - name: install flannel
      shell: kubectl apply -f /tmp/kube-flannel.yml

    - name: get join command
      shell: kubeadm token create --print-join-command 
      register: join_command
    - name: show join command
      debug: var=join_command verbosity=0

3.執行ansible-playbook

ansible-playbook deploy_master_playbook.yml

4.上述命令執行完成會輸出節點加入k8s集群的命令，如下圖，記下該命令，后面部署node時會用到

六. 部署k8s node

1.同master一樣，開始部署之前，需要做一些初始化處理：關閉防火墻、關閉selinux、禁用swap、配置k8s阿里云yum源等，所有操作放在腳本 pre-setup.sh 中，并在2中playbook中通過script模塊執行

2.創建playbook檔案 deploy_nodes_playbook.yml，針對除master外的其它集群節點，安裝kubeadm，kubelet，并將節點加入到k8s集群中，使用的是前面部署master時輸出的加入集群命令

vim deploy_nodes_playbook.yml
- hosts: k8s-nodes
  remote_user: root
  vars:
     kube_version: 1.16.0-0

  tasks:
    - name: prepare env
      script: ./pre-setup.sh

    - name: install kubeadm,kubelet
      yum: name={{item}} state=present
      with_items:
        - kubeadm-{{kube_version}}
        - kubelet-{{kube_version}}
    
    - name: start kubelt
      shell: systemctl enable kubelet && systemctl start kubelet
   
    - name: join cluster
      shell: kubeadm join 192.168.40.111:6443 --token zgx3ov.zlq3jh12atw1zh8r --discovery-token-ca-cert-hash sha256:60b7c62687974ec5803e0b69cfc7ccc2c4a8236e59c8e8b8a67f726358863fa7

3.執行ansible-playbook

ansible-playbook deploy_nodes_playbook.yml

4.稍等片刻，即可在master節點上通過kubectl get nodes看到加入到集群中的節點，并且status為Ready狀態，如下

[root@kmaster ~]# kubectl get nodes
NAME      STATUS   ROLES    AGE     VERSION
kmaster   Ready    master   37m     v1.16.0
knode1    Ready    <none>   7m1s    v1.16.0
knode2    Ready    <none>   7m1s    v1.16.0
knode3    Ready    <none>   4m12s   v1.16.0

至此，k8s集群基本部署完成，接下來可安裝Ingress與Dashboard，

七. 安裝Ingress

Ingress為集群內服務提供外網訪問，包括基于Nginx與Traefik兩個版本，這里使用比較熟悉的Nginx版本，安裝Ingress的操作在master節點進行（因為前面在master節點安裝并配置了kubectl，也可在其它安裝并配置好了kubectl的節點進行）

1.下載yaml檔案（此目錄已包含 nginx-ingress.yaml，并修改了鏡像地址，可直接進入第3步）

wget -O nginx-ingress.yaml https://raw.githubusercontent.com/kubernetes/ingress-nginx/master/deploy/static/provider/baremetal/deploy.yaml

2.將里面的quay.io修改為quay-mirror.qiniu.com，避免鏡像拉取超時，同時在nginx-ingress-controller的Deployment上添加hostNetwork為true及nginx-ingress的標簽，以使用宿主機網路與控制Ingress部署的節點

vim nginx-ingress.yaml
:s/quay.io/quay-mirror.qiniu.com/g


vim nginx-ingress.yaml

    spec:
      hostNetwork: true
      nodeSelector:
        nginx-ingress: "true"

3.部署Ingress

首先在knode1節點上打標簽nginx-ingress=true，控制Ingress部署到knode1上，保持IP固定，

[root@kmaster k8s-deploy]# kubectl label node knode1 nginx-ingress=true
node/knode1 labeled

然后完成nginx-ingress的部署

kubectl apply -f nginx-ingress.yaml

4.部署完成，稍等片刻等Pod創建完成，可通過如下命令查看ingress相關Pod情況

[root@kmaster k8s-deploy]# kubectl get pods -n ingress-nginx -o wide
NAME                                        READY   STATUS      RESTARTS   AGE   IP               NODE     NOMINATED NODE   READINESS GATES
ingress-nginx-admission-create-drpg5        0/1     Completed   0          79m   10.244.2.2       knode1   <none>           <none>
ingress-nginx-admission-patch-db2rt         0/1     Completed   1          79m   10.244.3.2       knode3   <none>           <none>
ingress-nginx-controller-575cffb49c-4xm55   1/1     Running     0          79m   192.168.40.112   knode1   <none>           <none>

八. 安裝Kubernetes Dashboard

1.下載yaml檔案（此目錄已包含 kubernetes-dashboard.yaml 檔案，可直接進入第3步）

wget -O kubernetes-dashboard.yaml  https://raw.githubusercontent.com/kubernetes/dashboard/v2.0.0-beta5/aio/deploy/recommended.yaml

2.修改kubernetes-dashboard.yaml

將Service type改為NodePort，使得可通過IP訪問Dashboard，注釋掉默認的Secret（默認的secret權限很有限，看不到多少資料）

kind: Service
apiVersion: v1
metadata:
  labels:
    k8s-app: kubernetes-dashboard
  name: kubernetes-dashboard
  namespace: kubernetes-dashboard
spec:
  type: NodePort
  ports:
    - port: 443
      targetPort: 8443
      nodePort: 30443
  selector:
    k8s-app: kubernetes-dashboard

3.部署Dashboard，并創建系結cluster-admin角色的ServiceAccount —— admin-user (參考 auth.yaml)

kubectl apply -f kubernetes-dashboard.yaml
kubectl apply -f kubernetes-dashboard-auth.yaml

4.訪問Dashboard

訪問 https://集群任意節點IP:30443，打開Dashboard登錄頁面，執行如下命令獲取登錄token

kubectl -n kubernetes-dashboard describe secret $(kubectl -n kubernetes-dashboard get secret | grep admin-user | awk '{print $1}')

使用token完成登錄，如圖

九. 解決證書無效問題

安裝完后，默認的證書可能無效，在Chrome瀏覽中無法打開Dashboard，可通過重新生成證書解決，

1.創建自定義證書

[root@kmaster ~]# cd /etc/kubernetes/pki/
#生成私鑰
[root@kmaster pki]# openssl genrsa -out dashboard.key 2048
#生成證書
[root@kmaster pki]# openssl req -new -key dashboard.key -out dashboard.csr -subj "/O=JBST/CN=kubernetes-dashboard"
#使用集群的CA來簽署證書
[root@kmaster pki]# openssl x509 -req -in dashboard.csr -CA ca.crt -CAkey ca.key -CAcreateserial -out dashboard.crt -days 3650
#查看自創證書
[root@kmaster pki]# openssl x509 -in dashboard.crt -noout -text

2.注釋 kubernetes-dashboard.yaml 中默認的Secret，

#---
#
#apiVersion: v1
#kind: Secret
#metadata:
#  labels:
#    k8s-app: kubernetes-dashboard
#  name: kubernetes-dashboard-certs
#  namespace: kubernetes-dashboard
#type: Opaque

3.重新部署Dashboard，并通過自定義證書創建新的Secret

[root@kmaster k8s-deploy]# kubectl delete -f kubernetes-dashboard.yaml
[root@kmaster k8s-deploy]# kubectl apply -f kubernetes-dashboard.yaml 
[root@kmaster k8s-deploy]# kubectl create secret generic kubernetes-dashboard-certs --from-file=dashboard.crt=/etc/kubernetes/pki/dashboard.crt --from-file=dashboard.key=/etc/kubernetes/pki/dashboard.key  -n kubernetes-dashboard

十. 在本地（win10）管理k8s集群

1.下載kubectl windows版本： https://storage.googleapis.com/kubernetes-release/release/v1.16.0/bin/windows/amd64/kubectl.exe

2.將kubectl.exe檔案所在目錄加入系統環境變數的Path中

3.將master節點上 /etc/kubernetes/admin.conf 的內容拷貝到本地用戶目錄的 .kube/config 檔案中，如 C:\Users\Administrator\.kube\config

4.驗證

C:\Users\Administrator>kubectl get nodes
NAME      STATUS   ROLES    AGE     VERSION
kmaster   Ready    master   4d19h   v1.16.0
knode1    Ready    <none>   4d19h   v1.16.0
knode2    Ready    <none>   4d19h   v1.16.0
knode3    Ready    <none>   4d19h   v1.16.0

本文所涉及的所有組態檔可在這里找到 github

相關閱讀：

• k8s云集群混搭模式，可能幫你節省50%以上的服務成本
• k8s云集群混搭模式落地分享
• Ansible簡明教程

歡迎關注作者公眾號：空山新雨的技術空間

標籤：其他

上一篇：腳本安裝OpenStack M版

下一篇：萌新求教一下關于Python的問題！！！