003.Kubernetes二進制部署準備

一 安全策略

1.1 策略需求

相應的充足資源的Linux服務器；

設定相應的主機名，參考命令：hostnamectl set-hostname master01 ；

Mac及UUID唯一；

若未關閉防火墻則建議放通相應埠，如下：

• Master節點

其他更多前置準備見：https://kubernetes.io/zh/docs/setup/independent/install-kubeadm/

• Worker 節點

二 主要組件

2.1 核心組件

• etcd：保存了整個集群的狀態；
• apiserver：提供了資源操作的唯一入口，并提供認證、授權、訪問控制、API注冊和發現等機制；
• controller manager：負責維護集群的狀態，比如故障檢測、自動擴展、滾動更新等；
• scheduler：負責資源的調度，按照預定的調度策略將Pod調度到相應的機器上；
• kubelet：負責維護容器的生命周期，同時也負責Volume（CVI）和網路（CNI）的管理；
• Container runtime：負責鏡像管理以及Pod和容器的真正運行（CRI）；
• kube-proxy：負責為Service提供cluster內部的服務發現和負載均衡，

2.2 非核心組件

• kube-dns：負責為整個集群提供DNS服務；
• Ingress Controller：為服務提供外網入口；
• metrics：提供資源監控；
• Dashboard：提供GUI；
• longhorn：Kubernetes的開源分布式塊存盤系統，

延伸1：對master節點服務組件的理解：

三 部署規劃

3.1 節點規劃

提示：本實驗使用三節點master部署，從而實作master的高可用，

3.2 組件及版本

• Kubernetes 1.18.3
• Docker 19.03.12
• Etcd 3.3.22
• Flanneld 0.12.0
• 插件：

• Coredns
• Dashboard
• Metrics-server
• Longhorn

3.3 組件策略

kube-apiserver：

• 使用節點本地 nginx 4 層透明代理實作高可用；
• 關閉非安全埠 8080 和匿名訪問；
• 在安全埠 6443 接收 https 請求；
• 嚴格的認證和授權策略 (x509、token、RBAC)；
• 開啟 bootstrap token 認證，支持 kubelet TLS bootstrapping；
• 使用 https 訪問 kubelet、etcd，加密通信；

kube-controller-manager：

• 3 節點高可用；
• 關閉非安全埠，在安全埠 10259 接收 https 請求；
• 使用 kubeconfig 訪問 apiserver 的安全埠；
• 自動 approve kubelet 證書簽名請求 (CSR)，證書過期后自動輪轉；
• 各 controller 使用自己的 ServiceAccount 訪問 apiserver；

kube-scheduler：

• 3 節點高可用；
• 使用 kubeconfig 訪問 apiserver 的安全埠；

kubelet：

• 使用 kubeadm 動態創建 bootstrap token，而不是在 apiserver 中靜態配置；
• 使用 TLS bootstrap 機制自動生成 client 和 server 證書，過期后自動輪轉；
• 在 KubeletConfiguration 型別的 JSON 檔案配置主要引數；
• 關閉只讀埠，在安全埠 10250 接收 https 請求，對請求進行認證和授權，拒絕匿名訪問和非授權訪問；
• 使用 kubeconfig 訪問 apiserver 的安全埠；

kube-proxy：

• 使用 kubeconfig 訪問 apiserver 的安全埠；
• 在 KubeProxyConfiguration 型別的 JSON 檔案配置主要引數；
• 使用 ipvs 代理模式；

集群插件：

• DNS：使用功能、性能更好的 coredns；
• Dashboard：支持登錄認證；
• Metric：metrics-server，使用 https 訪問 kubelet 安全埠；
• Longhorn：Kubernetes的開源分布式塊存盤系統，

提示：本方案后續操作若未特別說明，則表示所有操作僅需要在master01節點進行，

本方案總體參考：https://github.com/opsnull/follow-me-install-kubernetes-cluster，

四 前置準備

4.1 手動添加決議

  1 [root@master01 ~]# hostnamectl set-hostname master01	#其他節點依次修改對應主機名
  2 [root@master01 ~]# cat >> /etc/hosts << EOF
  3 172.24.8.71 master01
  4 172.24.8.72 master02
  5 172.24.8.73 master03
  6 172.24.8.74 worker01
  7 172.24.8.75 worker02
  8 172.24.8.76 worker03
  9 EOF

4.2 初始化準備

[root@master01 ~]# vi k8sinit.sh

  1 #!/bin/sh
  2 #****************************************************************#
  3 # ScriptName: k8sinit.sh
  4 # Author: xhy
  5 # Create Date: 2020-06-27 21:59
  6 # Modify Author: xhy
  7 # Modify Date: 2020-06-27 21:59
  8 # Version: 
  9 #***************************************************************#
 10 # Initialize the machine. This needs to be executed on every machine.
 11 
 12 # Mkdir k8s directory
 13 mkdir -p /opt/k8s/bin/
 14 mkdir -p /data/k8s/k8s
 15 mkdir -p /data/k8s/docker
 16 
 17 # Install docker
 18 useradd -m docker
 19 
 20 # Disable the SELinux.
 21 sed -i 's/^SELINUX=.*/SELINUX=disabled/' /etc/selinux/config
 22 
 23 # Turn off and disable the firewalld.
 24 systemctl stop firewalld
 25 systemctl disable firewalld
 26 
 27 # Modify related kernel parameters & Disable the swap.
 28 cat > /etc/sysctl.d/k8s.conf << EOF
 29 net.ipv4.ip_forward = 1
 30 net.bridge.bridge-nf-call-ip6tables = 1
 31 net.bridge.bridge-nf-call-iptables = 1
 32 net.ipv4.tcp_tw_recycle = 0
 33 vm.swappiness = 0
 34 vm.overcommit_memory = 1
 35 vm.panic_on_oom = 0
 36 net.ipv6.conf.all.disable_ipv6 = 1
 37 EOF
 38 sysctl -p /etc/sysctl.d/k8s.conf >&/dev/null
 39 swapoff -a
 40 sed -i '/ swap / s/^\(.*\)$/#\1/g' /etc/fstab
 41 modprobe br_netfilter
 42 
 43 # Add ipvs modules
 44 cat > /etc/sysconfig/modules/ipvs.modules <<EOF
 45 #!/bin/bash
 46 modprobe -- ip_vs
 47 modprobe -- ip_vs_rr
 48 modprobe -- ip_vs_wrr
 49 modprobe -- ip_vs_sh
 50 modprobe -- nf_conntrack_ipv4
 51 modprobe -- nf_conntrack
 52 EOF
 53 
 54 chmod 755 /etc/sysconfig/modules/ipvs.modules
 55 bash /etc/sysconfig/modules/ipvs.modules
 56 
 57 # Install rpm
 58 yum install -y conntrack ntpdate ntp ipvsadm ipset jq iptables curl sysstat libseccomp wget gcc gcc-c++ make libnl libnl-devel libnfnetlink-devel openssl-devel
 59 
 60 # Update kernel
 61 rpm --import http://down.linuxsb.com:8888/RPM-GPG-KEY-elrepo.org
 62 rpm -Uvh http://down.linuxsb.com:8888/elrepo-release-7.0-4.el7.elrepo.noarch.rpm
 63 yum --disablerepo="*" --enablerepo="elrepo-kernel" install -y kernel-ml
 64 sed -i 's/^GRUB_DEFAULT=.*/GRUB_DEFAULT=0/' /etc/default/grub
 65 grub2-mkconfig -o /boot/grub2/grub.cfg
 66 yum update -y
 67 
 68 # ADD k8s bin to PATH
 69 echo 'export PATH=/opt/k8s/bin:$PATH' >> /root/.bashrc
 70 
 71 # Reboot the machine.
 72 # reboot

腳本釋義：此腳本所包含的操作及優化分解如下：

• 添加docker賬戶；
• 關閉SELinux；
• 關閉iptables；
• 關閉swap：
  • vm.swappiness = 0
• 其他內核優化：
  • vm.overcommit_memory = 1 # 不檢查物理記憶體是否夠用
  • vm.panic_on_oom = 0 # 開啟 OOM
  • net.ipv6.conf.all.disable_ipv6 = 1 # 關閉 IPV6
  • net.ipv4.ip_forward = 1 # 打開轉發功能
  • net.bridge.bridge-nf-call-ip6tables = 1
  • net.bridge.bridge-nf-call-iptables = 1 # 橋接流量獲得通過主機iptables規則
  • net.ipv4.tcp_tw_recycle = 0 # 開啟TCP連接中TIME-WAIT sockets的快速回收
  • net.ipv6.conf.all.disable_ipv6 = 1 # 禁用整個系統所有介面的IPv6

提示：必須關閉 tcp_tw_recycle，否則和 NAT 沖突，會導致服務不通；關閉 IPV6，防止觸發 docker BUG，

• 安裝建議軟體包；

提示：為了更好的管理和查看ipvs，可安裝相應的管理工具ipvsadm，具體使用參考《002.LVS管理工具的安裝與使用》，

• 加載IPVS：

pod的負載均衡是用kube-proxy來實作的，實作方式有兩種，一種是默認的iptables，一種是ipvs，相對iptables，ipvs有更好的性能，且當前ipvs已經加入到了內核的主干，

• ip_vs
• ip_vs_rr
• ip_vs_wrr
• ip_vs_sh
• nf_conntrack_ipv4
• 升級內核版本，

提示：對于某些特性，可能需要升級內核，內核升級操作見《018.Linux升級內核》，4.19版及以上內核nf_conntrack_ipv4已經改為nf_conntrack，

4.3 互信配置

為了更方便遠程分發檔案和執行命令，本實驗配置master節點到其它節點的 ssh 信任關系，

  1 [root@master01 ~]# ssh-keygen -f ~/.ssh/id_rsa -N ''
  2 [root@master01 ~]# ssh-copy-id -i ~/.ssh/id_rsa.pub root@master01
  3 [root@master01 ~]# ssh-copy-id -i ~/.ssh/id_rsa.pub root@master02
  4 [root@master01 ~]# ssh-copy-id -i ~/.ssh/id_rsa.pub root@worker01
  5 [root@master01 ~]# ssh-copy-id -i ~/.ssh/id_rsa.pub root@worker02

提示：本步驟操作僅需要在master01節點操作，

4.4 環境變數

[root@master01 ~]# vi environment.sh

  1 #!/bin/sh
  2 #****************************************************************#
  3 # ScriptName: environment.sh
  4 # Author: xhy
  5 # Create Date: 2020-06-27 22:19
  6 # Modify Author: xhy
  7 # Modify Date: 2020-06-27 22:19
  8 # Version: 
  9 #***************************************************************#
 10 
 11 # 生成 EncryptionConfig 所需的加密 key
 12 export ENCRYPTION_KEY=$(head -c 32 /dev/urandom | base64)
 13 
 14 # 集群 MASTER 機器 IP 陣列
 15 export MASTER_IPS=(172.24.8.71 172.24.8.72 172.24.8.73)
 16 
 17 # 集群 MASTER IP 對應的主機名陣列
 18 export MASTER_NAMES=(master01 master02 master03)
 19 
 20 # 集群 NODE 機器 IP 陣列
 21 export NODE_IPS=(172.24.8.74 172.24.8.75)
 22 
 23 # 集群 NODE IP 對應的主機名陣列
 24 export NODE_NAMES=(worker01 worker02)
 25 
 26 # 集群所有機器 IP 陣列
 27 export ALL_IPS=(172.24.8.71 172.24.8.72 172.24.8.73 172.24.8.74 172.24.8.75)
 28 
 29 # 集群所有IP 對應的主機名陣列
 30 export ALL_NAMES=(master01 master02 master03 worker01 worker02)
 31 
 32 # etcd 集群服務地址串列
 33 export ETCD_ENDPOINTS="https://172.24.8.71:2379,https://172.24.8.72:2379,https://172.24.8.73:2379"
 34 
 35 # etcd 集群間通信的 IP 和埠
 36 export ETCD_NODES="master01=https://172.24.8.71:2380,master02=https://172.24.8.72:2380,master03=https://172.24.8.73:2380"
 37 
 38 # kube-apiserver 的反向代理(kube-nginx)地址埠
 39 export KUBE_APISERVER="https://172.24.8.100:16443"
 40 
 41 # 節點間互聯網路介面名稱
 42 export IFACE="eth0"
 43 
 44 # etcd 資料目錄
 45 export ETCD_DATA_DIR="/data/k8s/etcd/data"
 46 
 47 # etcd WAL 目錄，建議是 SSD 磁盤磁區，或者和 ETCD_DATA_DIR 不同的磁盤磁區
 48 export ETCD_WAL_DIR="/data/k8s/etcd/wal"
 49 
 50 # k8s 各組件資料目錄
 51 export K8S_DIR="/data/k8s/k8s"
 52 
 53 # docker 資料目錄
 54 export DOCKER_DIR="/data/k8s/docker"
 55 
 56 ## 以下引數一般不需要修改
 57 
 58 # TLS Bootstrapping 使用的 Token，可以使用命令 head -c 16 /dev/urandom | od -An -t x | tr -d ' ' 生成
 59 BOOTSTRAP_TOKEN="41f7e4ba8b7be874fcff18bf5cf41a7c"
 60 
 61 # 最好使用 當前未用的網段 來定義服務網段和 Pod 網段
 62 
 63 # 服務網段，部署前路由不可達，部署后集群內路由可達(kube-proxy 保證)
 64 SERVICE_CIDR="10.20.0.0/16"
 65 
 66 # Pod 網段，建議 /16 段地址，部署前路由不可達，部署后集群內路由可達(flanneld 保證)
 67 CLUSTER_CIDR="10.10.0.0/16"
 68 
 69 # 服務埠范圍 (NodePort Range)
 70 export NODE_PORT_RANGE="1-65535"
 71 
 72 # flanneld 網路配置前綴
 73 export FLANNEL_ETCD_PREFIX="/kubernetes/network"
 74 
 75 # kubernetes 服務 IP (一般是 SERVICE_CIDR 中第一個IP)
 76 export CLUSTER_KUBERNETES_SVC_IP="10.20.0.1"
 77 
 78 # 集群 DNS 服務 IP (從 SERVICE_CIDR 中預分配)
 79 export CLUSTER_DNS_SVC_IP="10.20.0.254"
 80 
 81 # 集群 DNS 域名（末尾不帶點號）
 82 export CLUSTER_DNS_DOMAIN="cluster.local"
 83 
 84 # 將二進制目錄 /opt/k8s/bin 加到 PATH 中
 85 export PATH=/opt/k8s/bin:$PATH

  1 [root@master01 ~]# chmod u+x *.sh
  2 [root@master01 ~]# source /root/environment.sh

4.5 分發并執行環境初始化

  1 [root@master01 ~]# for all_ip in ${ALL_IPS[@]}
  2   do
  3     echo ">>> ${all_ip}"
  4     scp -rp /etc/hosts root@${all_ip}:/etc/hosts
  5     scp -rp k8sinit.sh root@${all_ip}:/root/
  6     ssh root@${all_ip} "bash /root/k8sinit.sh"
  7   done

提示：本步驟操作僅需要在master01節點操作，

標籤：Linux

上一篇：kali linux 網路配置

下一篇：linux SSH設定