007.Kubernetes二進制所有節點部署Flannel

一 部署flannel

1.1 安裝flannel

kubernetes 要求集群內各節點(包括 master 節點)能通過 Pod 網段互聯互通，flannel 使用 vxlan 技術為各節點創建一個可以互通的 Pod 網路，使用的埠為 UDP 8472，

flanneld 第一次啟動時，從 etcd 獲取配置的 Pod 網段資訊，為本節點分配一個未使用的地址段，然后創建 flannedl.1 網路介面（也可能是其它名稱，如 flannel1 等），

flannel 將分配給自己的 Pod 網段資訊寫入 /run/flannel/docker 檔案，docker 后續使用這個檔案中的環境變數設定 docker0 網橋，從而從這個地址段為本節點的所有 Pod 容器分配 IP，

提示：更多flannel參考：《008.Docker Flannel+Etcd分布式網路部署》，

  1 [root@master01 ~]# cd /opt/k8s/work/
  2 [root@master01 work]# mkdir flannel
  3 [root@master01 work]# wget https://github.com/coreos/flannel/releases/download/v0.12.0/flannel-v0.12.0-linux-amd64.tar.gz
  4 [root@master01 work]# tar -xzvf flannel-v0.12.0-linux-amd64.tar.gz -C flannel

提示：本步驟操作僅需要在master01節點操作，

1.2 分發flannel

  1 [root@master01 ~]# cd /opt/k8s/work
  2 [root@master01 work]# source /root/environment.sh
  3 [root@master01 work]# for all_ip in ${ALL_IPS[@]}
  4   do
  5     echo ">>> ${all_ip}"
  6     scp flannel/{flanneld,mk-docker-opts.sh} root@${all_ip}:/opt/k8s/bin/
  7     ssh root@${all_ip} "chmod +x /opt/k8s/bin/*"
  8   done

提示：本步驟操作僅需要在master01節點操作，

1.3 創建flannel證書和密鑰

  1 [root@master01 ~]# cd /opt/k8s/work
  2 [root@master01 work]# cat > flanneld-csr.json <<EOF
  3 {
  4     "CN": "flanneld",
  5     "hosts": [],
  6     "key": {
  7         "algo": "rsa",
  8         "size": 2048
  9     },
 10     "names": [
 11         {
 12             "C": "CN",
 13             "ST": "Shanghai",
 14             "L": "Shanghai",
 15             "O": "k8s",
 16             "OU": "System"
 17         }
 18     ]
 19 }
 20 EOF		#創建flanneld的CA證書請求檔案

提示：本步驟操作僅需要在master01節點操作，

解釋：

該證書只會被 kubectl 當做 client 證書使用，所以 hosts 欄位為空，

  1 [root@master01 ~]# cd /opt/k8s/work
  2 [root@master01 work]# cfssl gencert -ca=/opt/k8s/work/ca.pem \
  3 -ca-key=/opt/k8s/work/ca-key.pem -config=/opt/k8s/work/ca-config.json \
  4 -profile=kubernetes flanneld-csr.json | cfssljson -bare flanneld	#生成密鑰和證書

1.4 分發證書和私鑰

  1 [root@master01 ~]# cd /opt/k8s/work
  2 [root@master01 work]# source /root/environment.sh
  3 [root@master01 work]# for all_ip in ${ALL_IPS[@]}
  4   do
  5     echo ">>> ${all_ip}"
  6     ssh root@${all_ip} "mkdir -p /etc/flanneld/cert"
  7     scp flanneld*.pem root@${all_ip}:/etc/flanneld/cert
  8   done

提示：本步驟操作僅需要在master01節點操作，

1.5 寫入集群 Pod 網段資訊

  1 [root@master01 ~]# cd /opt/k8s/work
  2 [root@master01 work]# source /root/environment.sh
  3 [root@master01 work]# etcdctl \
  4   --endpoints=${ETCD_ENDPOINTS} \
  5   --ca-file=/opt/k8s/work/ca.pem \
  6   --cert-file=/opt/k8s/work/flanneld.pem \
  7   --key-file=/opt/k8s/work/flanneld-key.pem \
  8   mk ${FLANNEL_ETCD_PREFIX}/config '{"Network":"'${CLUSTER_CIDR}'", "SubnetLen": 21, "Backend": {"Type": "vxlan"}}'

提示：本步驟操作僅需要在master01節點操作，

注意：本步驟只需執行一次，

提示：flanneld 版本 (v0.11.0/v0.12.0) 不支持 etcd v3.4.x，若部署的etcd為3.4.x，則此處etcd寫入pod網段必須使用 etcd v2 API 寫入配置 key 和網段資料，即操作如下：

  1 [root@master01 work]# ETCDCTL_API=2 etcdctl \
  2   --endpoints=${ETCD_ENDPOINTS} \
  3 ……

寫入的 Pod 網段 ${CLUSTER_CIDR} 地址段（如 /16）必須小于 SubnetLen，必須與 kube-controller-manager 的 --cluster-cidr 引數值一致，

1.6 創建flanneld的systemd

  1 [root@master01 ~]# cd /opt/k8s/work
  2 [root@master01 work]# source /root/environment.sh
  3 [root@master01 work]# cat > flanneld.service << EOF
  4 [Unit]
  5 Description=Flanneld overlay address etcd agent
  6 After=network.target
  7 After=network-online.target
  8 Wants=network-online.target
  9 After=etcd.service
 10 Before=docker.service
 11 
 12 [Service]
 13 Type=notify
 14 ExecStart=/opt/k8s/bin/flanneld \\
 15   -etcd-cafile=/etc/kubernetes/cert/ca.pem \\
 16   -etcd-certfile=/etc/flanneld/cert/flanneld.pem \\
 17   -etcd-keyfile=/etc/flanneld/cert/flanneld-key.pem \\
 18   -etcd-endpoints=${ETCD_ENDPOINTS} \\
 19   -etcd-prefix=${FLANNEL_ETCD_PREFIX} \\
 20   -iface=${IFACE} \\
 21   -ip-masq
 22 ExecStartPost=/opt/k8s/bin/mk-docker-opts.sh -k DOCKER_NETWORK_OPTIONS -d /run/flannel/docker
 23 Restart=always
 24 RestartSec=5
 25 StartLimitInterval=0
 26 
 27 [Install]
 28 WantedBy=multi-user.target
 29 RequiredBy=docker.service
 30 EOF

提示：本步驟操作僅需要在master01節點操作，

解釋：

mk-docker-opts.sh：該腳本將分配給 flanneld 的 Pod 子網段資訊寫入 /run/flannel/docker 檔案，后續 docker 啟動時使用這個檔案中的環境變數配置 docker0 網橋；

flanneld：使用系統預設路由所在的介面與其它節點通信，對于有多個網路介面（如內網和公網）的節點，可以用 -iface 引數指定通信介面;

flanneld：運行時需要 root 權限；

-ip-masq: flanneld 為訪問 Pod 網路外的流量設定 SNAT 規則，同時將傳遞給 Docker 的變數 --ip-masq（/run/flannel/docker 檔案中）設定為 false，這樣 Docker 將不再創建 SNAT 規則； Docker 的 --ip-masq 為 true 時，創建的 SNAT 規則比較“暴力”：將所有本節點 Pod 發起的、訪問非 docker0 介面的請求做 SNAT，這樣訪問其他節點 Pod 的請求來源 IP 會被設定為 flannel.1 介面的 IP，導致目的 Pod 看不到真實的來源 Pod IP， flanneld 創建的 SNAT 規則比較溫和，只對訪問非 Pod 網段的請求做 SNAT，

1.7 分發flannel systemd

  1 [root@master01 ~]# cd /opt/k8s/work
  2 [root@master01 work]# source /root/environment.sh
  3 [root@master01 work]# for all_ip in ${ALL_IPS[@]}
  4   do
  5     echo ">>> ${all_ip}"
  6     scp flanneld.service root@${all_ip}:/etc/systemd/system/
  7   done

提示：本步驟操作僅需要在master01節點操作，

二 啟動并驗證

2.1 啟動flannel

  1 [root@master01 ~]# cd /opt/k8s/work
  2 [root@master01 work]# source /root/environment.sh
  3 [root@master01 work]# for all_ip in ${ALL_IPS[@]}
  4   do
  5     echo ">>> ${all_ip}"
  6     ssh root@${all_ip} "systemctl daemon-reload && systemctl enable flanneld && systemctl restart flanneld"
  7   done

提示：本步驟操作僅需要在master01節點操作，

2.2 檢查flannel啟動

  1 [root@master01 ~]# cd /opt/k8s/work
  2 [root@master01 work]# source /root/environment.sh
  3 [root@master01 work]# for all_ip in ${ALL_IPS[@]}
  4   do
  5     echo ">>> ${all_ip}"
  6     ssh root@${all_ip} "systemctl status flanneld|grep Active"
  7   done

提示：本步驟操作僅需要在master01節點操作，

2.3 檢查pod網段資訊

  1 [root@master01 ~]# cd /opt/k8s/work
  2 [root@master01 work]# source /root/environment.sh
  3 [root@master01 work]# etcdctl \
  4   --endpoints=${ETCD_ENDPOINTS} \
  5   --ca-file=/etc/kubernetes/cert/ca.pem \
  6   --cert-file=/etc/flanneld/cert/flanneld.pem \
  7   --key-file=/etc/flanneld/cert/flanneld-key.pem \
  8   get ${FLANNEL_ETCD_PREFIX}/config			#查看集群 Pod 網段(/16)
  9 
 10 [root@master01 ~]# cd /opt/k8s/work
 11 [root@master01 work]# source /root/environment.sh
 12 [root@master01 work]# etcdctl \
 13   --endpoints=${ETCD_ENDPOINTS} \
 14   --ca-file=/etc/kubernetes/cert/ca.pem \
 15   --cert-file=/etc/flanneld/cert/flanneld.pem \
 16   --key-file=/etc/flanneld/cert/flanneld-key.pem \
 17   ls ${FLANNEL_ETCD_PREFIX}/subnets			#查看已分配的 Pod 子網段串列(/24)
 18 
 19 [root@master01 ~]# cd /opt/k8s/work
 20 [root@master01 work]# source /root/environment.sh
 21 [root@master01 work]# etcdctl \
 22   --endpoints=${ETCD_ENDPOINTS} \
 23   --ca-file=/etc/kubernetes/cert/ca.pem \
 24   --cert-file=/etc/flanneld/cert/flanneld.pem \
 25   --key-file=/etc/flanneld/cert/flanneld-key.pem \
 26   get ${FLANNEL_ETCD_PREFIX}/subnets/10.10.168.0-21	#查看某一 Pod 網段對應的節點 IP 和 flannel 介面地址

提示：本步驟操作僅需要在master01節點操作，

解釋：

10.10.168.0/21 被分配給節點 master01（172.24.8.71）；

VtepMAC 為 worker01 節點的 flannel.1 網卡 MAC 地址，

提示：flanneld 版本 (v0.11.0/v0.12.0) 不支持 etcd v3.4.x，若部署的etcd為3.4.x，則此處etcd寫入pod網段必須使用 etcd v2 API 寫入配置 key 和網段資料，即操作如下：

  1 [root@master01 work]# ETCDCTL_API=2 etcdctl \
  2   --endpoints=${ETCD_ENDPOINTS} \
  3 ……

2.4 檢查flannel網路資訊

  1 [root@master01 ~]# for all_ip in ${ALL_IPS[@]}
  2   do
  3     echo ">>> ${all_ip}"
  4     ssh root@${all_ip} "/usr/sbin/ip addr show flannel.1 && /usr/sbin/ip addr show docker0"
  5   done

提示：本步驟操作僅需要在master01節點操作，

解釋：flannel.1 網卡的地址為分配的 Pod 子網段的第一個 IP（.0），且是 /32 的地址，

  1 [root@master01 ~]# ip route show |grep flannel.1
  2 10.10.80.0/21 via 10.10.80.0 dev flannel.1 onlink
  3 10.10.96.0/21 via 10.10.96.0 dev flannel.1 onlink
  4 10.10.176.0/21 via 10.10.176.0 dev flannel.1 onlink
  5 10.10.216.0/21 via 10.10.216.0 dev flannel.1 onlink

解釋：

到其它節點 Pod 網段請求都被轉發到 flannel.1 網卡；

flanneld 根據 etcd 中子網段的資訊，如 ${FLANNEL_ETCD_PREFIX}/subnets/172.30.32.0-21 ，來決定進請求發送給哪個節點的互聯 IP，

2.5 驗證各節點flannel

在各節點上部署 flannel 后，檢查是否創建了 flannel 介面(名稱可能為 flannel0、flannel.0、flannel.1 等)：

  1 [root@master01 ~]# cd /opt/k8s/work
  2 [root@master01 work]# source /root/environment.sh
  3 [root@master01 work]# for all_ip in ${ALL_IPS[@]}
  4   do
  5     echo ">>> ${all_ip}"
  6     ssh root@${all_ip} "/usr/sbin/ip addr show flannel.1 | grep -w inet"
  7   done

在各節點上 ping 所有 flannel 介面 IP，確保能通：

  1 [root@master01 ~]# cd /opt/k8s/work
  2 [root@master01 work]# source /root/environment.sh
  3 [root@master01 work]# for all_ip in ${ALL_IPS[@]}
  4   do
  5     echo ">>> ${all_ip}"
  6     ssh ${all_ip} "ping -c 1 10.10.168.0"
  7     ssh ${all_ip} "ping -c 1 10.10.96.0"
  8     ssh ${all_ip} "ping -c 1 10.10.216.0"
  9     ssh ${all_ip} "ping -c 1 10.10.176.0"
 10     ssh ${all_ip} "ping -c 1 10.10.80.0"
 11   done

提示：本步驟操作僅需要在master01節點操作，

標籤：Linux

上一篇：樹莓派入門

下一篇：ramfs 和 tmpfs 以及 ramdisk相關調研