https://kubernetes.io/zh-cn/docs/setup/production-environment/container-runtimes/ https://kubernetes.io/docs/setup/production-environment/tools/kubeadm/install-kubeadm/

在master和worker節點上安裝containerd、kubelet、kubeadm、kubectl

lsmod | grep br_netfilter
lsmod | grep overlay
# 以上兩個命令應該有輸出，否則需要做如下設定：
# cat <<EOF | sudo tee /etc/modules-load.d/k8s.conf
# overlay
# br_netfilter
# EOF
# sudo modprobe overlay
# sudo modprobe br_netfilter

sysctl net.bridge.bridge-nf-call-iptables net.bridge.bridge-nf-call-ip6tables net.ipv4.ip_forward
# 以上命令輸出三個值都是1，否則做如下設定
# cat <<EOF | sudo tee /etc/sysctl.d/k8s.conf
# net.bridge.bridge-nf-call-iptables  = 1
# net.bridge.bridge-nf-call-ip6tables = 1
# net.ipv4.ip_forward                 = 1
# EOF
# sudo sysctl --system

# 安裝containerd并且使用systemd
yum install -y containerd
containerd config default > /etc/containerd/config.toml
sed -i 's/SystemdCgroup = false/SystemdCgroup = true/' /etc/containerd/config.toml
sed -iE 's/sandbox_image.*/sandbox_image = "registry.k8s.io\/pause:3.9"/g' /etc/containerd/config.toml
systemctl daemon-reload
systemctl enable containerd
systemctl restart containerd
cat <<EOF | sudo tee /etc/yum.repos.d/kubernetes.repo

#安裝kubelet,kubeadm,kubectl

[kubernetes]
name=Kubernetes
baseurl=https://packages.cloud.google.com/yum/repos/kubernetes-el7-\$basearch
enabled=1
gpgcheck=1
gpgkey=https://packages.cloud.google.com/yum/doc/rpm-package-key.gpg
exclude=kubelet kubeadm kubectl
EOF

# 將 SELinux 設定為 permissive 模式（相當于將其禁用）
sudo setenforce 0
sudo sed -i 's/^SELINUX=enforcing$/SELINUX=permissive/' /etc/selinux/config

sudo yum install -y kubelet-1.27.3 kubeadm-1.27.3 kubectl-1.27.3 --disableexcludes=kubernetes

sudo systemctl enable --now kubelet

在master節點里使用kubeadm創建集群：

https://kubernetes.io/zh-cn/docs/setup/production-environment/tools/kubeadm/create-cluster-kubeadm/

echo "export POD_SUBNET=10.100.0.1/16">>/etc/profile
source /etc/profile

kubeadm config images pull --kubernetes-version=v1.27.3
# 執行完以上命令之后，使用crictl images可以看到下載的鏡像

kubeadm init --kubernetes-version=v1.27.3 --pod-network-cidr=$POD_SUBNET --control-plane-endpoint=${dns/master_ip}

# 配置 kubectl
rm -rf /root/.kube/
mkdir /root/.kube/
cp -i /etc/kubernetes/admin.conf /root/.kube/config
echo "export KUBECONFIG=/etc/kubernetes/admin.conf">>/etc/profile
source /etc/profile

# 允許master節點運行pod：kubectl taint nodes --all node-role.kubernetes.io/control-plane-
# kubeadm init完了之后，還需要安裝一個CNI 
# https://kubernetes.io/docs/concepts/cluster-administration/networking/#how-to-implement-the-kubernetes-networking-model
# https://github.com/containernetworking/cni
# https://github.com/projectcalico/calico
# https://docs.tigera.io/calico/latest/getting-started/kubernetes/quickstart

kubectl create -f https://raw.githubusercontent.com/projectcalico/calico/v3.25.1/manifests/tigera-operator.yaml
wget https://raw.githubusercontent.com/projectcalico/calico/v3.25.1/manifests/custom-resources.yaml
sed -i "s#192.168.0.0/16#${POD_SUBNET}#" custom-resources.yaml
kubectl apply -f custom-resources.yaml
# 等待一段時間口即可看到所有pods都處于running狀態：

在master節點里創建完成之后，就可以讓worker節點加入到master里，在master里執行：kubeadm token create --print-join-command 輸出的內容在worker節點里運行，輸出如下：

在master節點里運行kubectl get nodes即可看到當前的所有節點

安裝圖形化管理工具

官方推薦的dashboard：

kubectl apply -f https://raw.githubusercontent.com/kubernetes/dashboard/v2.7.0/aio/deploy/recommended.yaml kubectl proxy --address='0.0.0.0' --port=8080 --accept-hosts='.*' 安全性限制的很嚴格，只支持localhost或者是https登錄，這種情況需要將master節點掛到一個域名后面并且添加CA證書然后訪問：https://your_domain/api/v1/namespaces/kubernetes-dashboard/services/https:kubernetes-dashboard:/proxy/#/login 另一個比較好用的：https://github.com/eip-work/kuboard-press

sudo docker run -d \
  --restart=unless-stopped \
  --name=kuboard \
  -p 8080:80/tcp \
  -p 10081:10081/tcp \
  -e KUBOARD_ENDPOINT="http://內網IP:8080" \
  -e KUBOARD_AGENT_SERVER_TCP_PORT="10081" \
  -v /root/kuboard-data:/data \
  eipwork/kuboard:v3

創建完成后在瀏覽器端用masterip:8080即可打開，按照引導步驟將集群匯入到UI里面之后就可以看到dashboard

從界面也可以看到所有的namespace：

在k8s里面部署一個服務

可以在界面手動創建一個namespace：test，然后在test里面創建deployment，測驗將我們stage里用的airflow的worker部署到k8s里面，需要配置作業容器的資訊，掛在efs到容器，

由于我們使用aws里的ecr，拉取鏡像的時候需要登錄，所以需要在這個新建的namespace里先創建拉取鏡像需要的docker-registry型別的secret，可以使用kubectl創建一個secret，名字是ecrsecret：kubectl create secret docker-registry ecrsecret -n test --docker-server=https://${your_accountId}.dkr.ecr.${your_region}.amazonaws.com --docker-username=AWS --docker-password=$(aws ecr get-login --no-include-email --region ${your_region} --registry-ids ${your_account_id}|awk '{print $6}')，輸出：secret/ecrsecret created，表示創建成功，創建deployment的時候就可以使用這個secret

全部設定好之后點擊保存即可創建deployment，查看pod和airflow的flower，發現成功添加到airflow集群，并且已經開始運行task：

使用Velero備份k8s集群資料到aws的S3

wget https://github.com/vmware-tanzu/velero/releases/download/v1.10.3/velero-v1.10.3-linux-amd64.tar.gz
tar zxvf velero-v1.10.3-linux-amd64.tar.gz
cd velero-v1.10.3-linux-amd64/
cp velero /usr/bin/velero

# 執行完后要等待十幾秒才能看到可用備份
velero install \
  --provider aws \
  --image velero/velero:v1.10.3 \
  --plugins velero/velero-plugin-for-aws:v1.6.0 \
  --bucket ${your_store_bucket_name} \
  --prefix ${prefix} \
  --use-volume-snapshots=false \
  --backup-location-config region=us-east-1 \
  --no-secret

#備份
 velero backup create backup$(date "+%Y%m%d%H%M%S")
 aws s3 ls s3://${your_store_bucket_name}/${prefix}
  
 #查看可用的備份
 velero backup get

#如果更改了備份檔案的地址，可以使用如下命令添加location
 velero backup-location create location2 \
  --provider aws \
  --bucket ${your_store_bucket_name} \
  --prefix ${backups_prefix} \
  --config region=${your_region}

velero backup-location get

#  然后再次查看可用備份
velero backup get

#恢復
velero restore create --from-backup backupname

轉載請註明出處，本文鏈接：https://www.uj5u.com/qita/555839.html

標籤：其他

上一篇：「大學」回首填報高考志愿

下一篇：返回列表

K8S安裝記錄

在master和worker節點上安裝containerd、kubelet、kubeadm、kubectl

在master節點里使用kubeadm創建集群：

安裝圖形化管理工具

在k8s里面部署一個服務

使用Velero備份k8s集群資料到aws的S3