一 部署 kube-proxy
kube-proxy 運行在所有節點上，它監聽 apiserver 中 service 和 endpoint 的變化情況，創建路由規則以提供服務 IP 和負載均衡功能，
1.1 安裝kube-proxy
提示：master01 節點已下載相應二進制，可直接分發至worker節點，
1.2 分發kube-proxy
1 [root@master01 ~]# cd /opt/k8s/work 2 [root@master01 work]# source /root/environment.sh 3 [root@master01 work]# for all_ip in ${ALL_IPS[@]} 4 do 5 echo ">>> ${all_ip}" 6 scp kubernetes/server/bin/kube-proxy root@${all_ip}:/opt/k8s/bin/ 7 ssh root@${all_ip} "chmod +x /opt/k8s/bin/*" 8 done
提示：本步驟操作僅需要在master01節點操作，
1.3 創建kube-scheduler證書和私鑰
1 [root@master01 ~]# cd /opt/k8s/work 2 [root@master01 work]# source /root/environment.sh 3 [root@master01 work]# cat > kube-proxy-csr.json <<EOF 4 { 5 "CN": "system:kube-proxy", 6 "key": { 7 "algo": "rsa", 8 "size": 2048 9 }, 10 "names": [ 11 { 12 "C": "CN", 13 "ST": "Shanghai", 14 "L": "Shanghai", 15 "O": "k8s", 16 "OU": "System" 17 } 18 ] 19 } 20 EOF #創建kube-scheduler的CA證書請求檔案
提示：本步驟操作僅需要在master01節點操作，
解釋：
- CN：指定該證書的 User 為 system:kube-proxy；
- 預定義的 RoleBinding system:node-proxier 將User system:kube-proxy 與 Role system:node-proxier 系結，該 Role 授予了呼叫 kube-apiserver Proxy 相關 API 的權限；
- 該證書只會被 kube-proxy 當做 client 證書使用，所以 hosts 欄位為空，
1 [root@master01 ~]# cd /opt/k8s/work 2 [root@master01 work]# cfssl gencert -ca=/opt/k8s/work/ca.pem \ 3 -ca-key=/opt/k8s/work/ca-key.pem -config=/opt/k8s/work/ca-config.json \ 4 -profile=kubernetes kube-proxy-csr.json | cfssljson -bare kube-proxy #生成密鑰和證書
提示：本步驟操作僅需要在master01節點操作，
1.4 創建和分發kubeconfig
kube-proxy 使用 kubeconfig 檔案訪問 apiserver，該檔案提供了 apiserver 地址、嵌入的 CA 證書和 kube-proxy 證書：
1 [root@master01 ~]# cd /opt/k8s/work 2 [root@master01 work]# source /root/environment.sh 3 [root@master01 work]# kubectl config set-cluster kubernetes \ 4 --certificate-authority=/opt/k8s/work/ca.pem \ 5 --embed-certs=true \ 6 --server=${KUBE_APISERVER} \ 7 --kubeconfig=kube-proxy.kubeconfig 8 9 [root@master01 work]# kubectl config set-credentials kube-proxy \ 10 --client-certificate=kube-proxy.pem \ 11 --client-key=kube-proxy-key.pem \ 12 --embed-certs=true \ 13 --kubeconfig=kube-proxy.kubeconfig 14 15 [root@master01 work]# kubectl config set-context default \ 16 --cluster=kubernetes \ 17 --user=kube-proxy \ 18 --kubeconfig=kube-proxy.kubeconfig 19 20 [root@master01 work]# kubectl config use-context default --kubeconfig=kube-proxy.kubeconfig 21 22 [root@master01 ~]# cd /opt/k8s/work 23 [root@master01 work]# source /root/environment.sh 24 [root@master01 work]# for all_ip in ${ALL_IPS[@]} 25 do 26 echo ">>> ${all_ip}" 27 scp kube-proxy.kubeconfig root@${all_ip}:/etc/kubernetes/ 28 done
提示：本步驟操作僅需要在master01節點操作，
1.5 創建kube-proxy 組態檔
從 v1.10 開始，kube-proxy 部分引數可以組態檔中配置，可以使用 --write-config-to 選項生成該組態檔，
1 [root@master01 ~]# cd /opt/k8s/work 2 [root@master01 work]# source /root/environment.sh 3 [root@master01 work]# cat > kube-proxy-config.yaml.template <<EOF 4 kind: KubeProxyConfiguration 5 apiVersion: kubeproxy.config.k8s.io/v1alpha1 6 clientConnection: 7 burst: 200 8 kubeconfig: "/etc/kubernetes/kube-proxy.kubeconfig" 9 qps: 100 10 bindAddress: ##ALL_IP## 11 healthzBindAddress: ##ALL_IP##:10256 12 metricsBindAddress: ##ALL_IP##:10249 13 enableProfiling: true 14 clusterCIDR: ${CLUSTER_CIDR} 15 hostnameOverride: ##ALL_NAME## 16 mode: "ipvs" 17 portRange: "" 18 kubeProxyIPTablesConfiguration: 19 masqueradeAll: false 20 kubeProxyIPVSConfiguration: 21 scheduler: rr 22 excludeCIDRs: [] 23 EOF
提示：本步驟操作僅需要在master01節點操作，
解釋：
- bindAddress: 監聽地址；
- clientConnection.kubeconfig: 連接 apiserver 的 kubeconfig 檔案；
- clusterCIDR: kube-proxy 根據 --cluster-cidr 判斷集群內部和外部流量，指定 --cluster-cidr 或 --masquerade-all 選項后 kube-proxy 才會對訪問 Service IP 的請求做 SNAT；
- hostnameOverride: 引數值必須與 kubelet 的值一致，否則 kube-proxy 啟動后會找不到該 Node，從而不會創建任何 ipvs 規則；
- mode: 使用 ipvs 模式，
1.6 分發組態檔
1 [root@master01 ~]# cd /opt/k8s/work 2 [root@master01 work]# source /root/environment.sh 3 [root@master01 work]# for (( i=0; i < 6; i++ )) 4 do 5 echo ">>> ${ALL_NAMES[i]}" 6 sed -e "s/##ALL_NAME##/${ALL_NAMES[i]}/" -e "s/##ALL_IP##/${ALL_IPS[i]}/" kube-proxy-config.yaml.template > kube-proxy-config-${ALL_NAMES[i]}.yaml.template 7 scp kube-proxy-config-${ALL_NAMES[i]}.yaml.template root@${ALL_NAMES[i]}:/etc/kubernetes/kube-proxy-config.yaml 8 done
提示：本步驟操作僅需要在master01節點操作，
1.7 創建kube-proxy的systemd
1 [root@master01 ~]# cd /opt/k8s/work 2 [root@master01 work]# source /root/environment.sh 3 [root@master01 work]# cat > kube-proxy.service <<EOF 4 [Unit] 5 Description=Kubernetes Kube-Proxy Server 6 Documentation=https://github.com/GoogleCloudPlatform/kubernetes 7 After=network.target 8 9 [Service] 10 WorkingDirectory=${K8S_DIR}/kube-proxy 11 ExecStart=/opt/k8s/bin/kube-proxy \\ 12 --config=/etc/kubernetes/kube-proxy-config.yaml \\ 13 --logtostderr=true \\ 14 --v=2 15 Restart=on-failure 16 RestartSec=5 17 LimitNOFILE=65536 18 19 [Install] 20 WantedBy=multi-user.target 21 EOF
提示：本步驟操作僅需要在master01節點操作，
1.8 分發kube-proxy systemd
1 [root@master01 ~]# cd /opt/k8s/work 2 [root@master01 work]# source /root/environment.sh 3 [root@master01 work]# for all_name in ${ALL_NAMES[@]} 4 do 5 echo ">>> ${all_name}" 6 scp kube-proxy.service root@${all_name}:/etc/systemd/system/ 7 done #分發system
提示：本步驟操作僅需要在master01節點操作，
二 啟動并驗證
2.1 啟動kube-proxy 服務
1 [root@master01 ~]# cd /opt/k8s/work 2 [root@master01 work]# source /root/environment.sh 3 [root@master01 work]# for all_ip in ${ALL_IPS[@]} 4 do 5 echo ">>> ${all_ip}" 6 ssh root@${all_ip} "mkdir -p ${K8S_DIR}/kube-proxy" 7 ssh root@${all_ip} "modprobe ip_vs_rr" 8 ssh root@${all_ip} "systemctl daemon-reload && systemctl enable kube-proxy && systemctl restart kube-proxy" 9 done #啟動服務前必須先創建作業目錄
提示：本步驟操作僅需要在master01節點操作，
2.2 檢查kube-proxy 服務
1 [root@master01 ~]# cd /opt/k8s/work 2 [root@master01 work]# source /root/environment.sh 3 [root@master01 work]# for all_ip in ${ALL_IPS[@]} 4 do 5 echo ">>> ${all_ip}" 6 ssh root@${all_ip} "systemctl status kube-proxy | grep Active" 7 done
提示：本步驟操作僅需要在master01節點操作，
2.3 查看監聽埠
kube-proxy 監聽 10249 和 10256 埠：
- 10249：對外提供 /metrics;
- 10256：對外提供 /healthz 的訪問，
1 [root@master01 ~]# cd /opt/k8s/work 2 [root@master01 work]# source /root/environment.sh 3 [root@master01 work]# for all_ip in ${ALL_IPS[@]} 4 do 5 echo ">>> ${all_ip}" 6 ssh root@${all_ip} "sudo netstat -lnpt | grep kube-prox" 7 done
提示：本步驟操作僅需要在master01節點操作，
2.4 查看ipvs 路由規則
1 [root@master01 ~]# cd /opt/k8s/work 2 [root@master01 work]# source /root/environment.sh 3 [root@master01 work]# for all_ip in ${ALL_IPS[@]} 4 do 5 echo ">>> ${all_ip}" 6 ssh root@${all_ip} "/usr/sbin/ipvsadm -ln" 7 done
提示：本步驟操作僅需要在master01節點操作，
可見所有通過 https 訪問 K8S SVC kubernetes 的請求都轉發到 kube-apiserver 節點的 6443 埠，
三 故障解決
3.1 iptables問題
若出現如下報錯：
1 kube-proxy Not using `--random-fully` in the MASQUERADE rule for iptables because the local version of iptables does not support it
表示當前iptables版本并不支持--random-fully，至少要在1.6.2版本才能支持，可通過編譯升級iptables，
3.2 編譯iptables
1 [root@master01 ~]# cd /opt/k8s/work 2 [root@master01 work]# source /root/environment.sh 3 [root@master01 work]# wget https://www.netfilter.org/projects/iptables/files/iptables-1.6.2.tar.bz2 4 [root@master01 work]# for all_name in ${ALL_NAMES[@]} 5 do 6 echo ">>> ${all_name}" 7 scp iptables-1.6.2.tar.bz2 root@${all_name}:/root/ 8 ssh root@${all_name} "yum -y install gcc make libnftnl-devel libmnl-devel autoconf automake libtool bison flex libnetfilter_conntrack-devel libnetfilter_queue-devel libpcap-devel bzip2" 9 ssh root@${all_name} "export LC_ALL=C && tar -xvf iptables-1.6.2.tar.bz2 && cd iptables-1.6.2 && ./autogen.sh && ./configure && make -j4 && make install && ls 10 -l /usr/local/sbin" 11 ssh root@${all_name} "systemctl daemon-reload && systemctl restart kubelet && systemctl restart kube-proxy" 12 done #編譯安裝iptables及重啟相關服務
提示：本步驟操作僅需要在master01節點操作，
轉載請註明出處，本文鏈接：https://www.uj5u.com/caozuo/155261.html
標籤：Linux
上一篇：Linux上軟體安裝