目錄
- 前言
- Kubernetes單Master節點集群二進制部署
- 一.Kubernetes單Master集群架構
- 二.環境準備
- 三.Etcd集群部署
- 1.準備簽發證書環境
- 2.生成CA證書、etcd服務器證書以及私鑰
- 3.安裝Etcd
- 4.在Master01節點啟動Etcd集群節點01
- 5.將證書,命令檔案,服務啟動腳本拷貝到另外兩個etcd集群節點
- 6.在其他節點修改etcd組態檔
- 7.檢查群集狀態
- 二.部署docker引擎
- 三.Flannel網路配置
- 1.添加flannel 網路配置資訊
- 2.安裝并啟動Flannel服務
- 3.配置Docker連接Flannel
- 4.在兩個Node節點內創建Docker容器,進行測驗
- 四、部署master節點
- 1、api-server生成證書
- 2、創建bootstrap token認證檔案
- 3、啟動apiserver
- 4、啟動scheduler服務
- 5、啟動controller-manager
- 6、查看master 節點狀態
- 五、node節點的部署
- node01節點的部署
- 1、把 kubelet、kube-proxy拷貝到node節點上去(master01上操作)
- 2、復制node.zip到/opt目錄下再解壓(node01節點操作)
- 3、安裝軟體包(master01上操作)
- 4、拷貝組態檔到node節點中(master01上操作)
- 5、創建bootstrap角色賦予權限用于連接apiserver請求簽名(關鍵)(master01上操作)
- 6、執行kubelet.sh腳本(在node01節點上操作)
- 7、檢查到node01節點的請求(master01上操作)
- 8、查看證書(node01上)
- 9、查看maser01群集節點,成功加入node01節點
- 10、加載ip_vs模塊(node01和02)
- 11、啟動proxy服務(node01)
- 12、將node01中的組態檔復制到node02(在node01上操作)
- 13、執行(node02上操作)
- 14、啟動kube-proxy
- 15、查看集群節點
前言
常見的K8S按照部署方式
●Minikube
Minikube是一個工具,可以在本地快速運行一個單節點微型K8S,僅用于學習、預覽K8S的一些特性使用,
部署地址: https://kubernetes. io/docs/setup/minikube
●Kubeadmin
Kubeadmin也是一一個:工具,提供kubeadm init和 kubeadm join,用于快速部署K8S集群,相對簡單,
https://kubernetes. io/decs/referencel/setup-toels/kubeadm/kubeadm/
●二進制安裝部署
生產首選,從官方下載發行版的二進制包,手動部署每個組件和自簽TLS證書,組成K8S集群,新手推薦,
https: //github. com/kubernetes/kubernetes/releases
Kubernetes單Master節點集群二進制部署
一.Kubernetes單Master集群架構

二.環境準備
搭建程序所需要的軟體包自取
| 節點 | 系統 | IP地址 | 服務 |
|---|---|---|---|
| K8S集群Master01 | CentOS 7 | 192.168.110.10 | kube-apiserver kube-controller-manager kube-scheduler etcd |
| K8S集群Node01 | CentOS 7 | 192.168.110.60 | kubelet kube-proxy docker flannel |
| K8S集群Node02 | CentOS 7 | 192.168.110.70 | kubelet kube-proxy docker flannel |
| Etcd集群節點01 | CentOS 7 | 192.168.110.10 | etcd |
| Etcd集群節點02 | CentOS 7 | 192.168.110.60 | etcd |
| Etcd集群節點03 | CentOS 7 | 192.168.110.70 | etcd |
#所有節點操作
systemctl stop firewalld
systemctl disable firewalld
setenforce 0
#Master節點操作 (192.168.110.10)
hostnamectl set-hostname master01
#Master節點操作(192.168.110.60)
hostnamectl set-hostname node01
#Master節點操作 (192.168.110.70)
hostnamectl set-hostname node02
三.Etcd集群部署
etcd是Core0S團隊于2013年6月發起的開源專案,它的目標是構建一個高可用的分布式鍵值(key-value) 資料庫,etcd內部采用raft協議作為一致性演算法,etcd是go語言撰寫的,
etcd作為服務發現系統,有以下的特點:
簡單:安裝配置簡單,而且提供了HTTP API進行互動,使用也很簡單
安全:支持SSL證書驗證
快速:單實體支持每秒2k+讀操作
可靠:采用raft演算法,實作分布式系統資料的可用性和–致性
etcd目前默認使用2379埠提供HTTP API服務,2380埠和peer通信(這兩個埠已經被IANA(互聯網數字分配機構)官方預留給etcd),
即etcd默認使用2379埠對外為客戶端提供通訊,使用埠2380來進行服務器間內部通訊,
etcd在生產環境中一般推薦集群方式部署,由于etcd的leader選舉機制,要求至少為3臺或以上的奇數臺,
1.準備簽發證書環境
CFSSL是CloudFlare公司開源的一款PKI/TLS工具,CFSSL 包含一個命令列工具和一一個用于簽名、驗證和捆綁TLS證書的HTTP API服務,使用Go語言撰寫,
CFSSL使用組態檔生成證書,因此自簽之前,需要生成它識別的json 格式的組態檔,CFSSL 提供了方便的命令列生成組態檔,
CFSSL用來為etcd提供TLS證書,它支持簽三種型別的證書:
1、client 證書,服務端連接客戶端時攜帶的證書,用于客戶端驗證服務端身份,如kube-apiserver 訪問etcd;
2、server證書,客戶端連接服務端時攜帶的證書,用于服務端驗證客戶端身份,如etcd對外提供服務;
3、peer證書,相互之間連接時使用的證書,如etcd節點之間進行驗證和通信,
這里全部都使用同一套證書認證,
在master01 節點上操作
//下載證書制作工具
wget https://pkg.cfssl.org/R1.2/cfssl_linux-amd64 -O /usr/local/bin/cfssl
wget https://pkg.cfssl.org/R1.2/cfssljson_linux-amd64 -O /usr/1ocal/bin/cfssljson
wget https://pkg.cfssl.org/R1.2/cfssl-certinfo_linux-amd64 -O /usr/local/bin/cfssl-certinfo
或
curl -L https://pkg.cfssl.org/R1.2/cfssl_linux-amd64 -O /usr/ local/bin/cfssl
curl -L https://pkg.cfssl.org/R1.2/cfssljson_linux-amd64 -O /usr/local/bin/cfssljson
curl -L https://pkg.cfssl.org/R1.2/cfssl-certinfo_linux-amd64 -O /usr/local/bin/cfssl-certinfo
chmod +x /usr/local/bin/cfssl*

2.生成CA證書、etcd服務器證書以及私鑰
在master01 節點上操作
mkdir /opt/k8s
cd /opt/k8s/
//上傳etcd-cert.sh 和etcd.sh 到/opt/k8s/目錄中
chmod +x etcd-cert.sh
//創建用于生成CA證書、etcd服務器證書以及私鑰的目錄
mkdir /opt/k8s/etcd-cert
mv etcd-cert.sh etcd-cert/
cd /opt/k8s/etcd-cert/
./etcd-cert.sh
#生成CA證書、etcd服務器證書以及私鑰
生成CA證書、etcd服務器證書以及私鑰的腳本詳細內容查看:etcd-cert.sh


3.安裝Etcd
在master01 節點上操作
//上傳etcd-v3.3. 10-linux-amd64.tar.gz到/opt/k8s/目錄中,解壓etcd 壓縮包
cd /opt/k8s/
tar zxvf etcd-v3.3.10-linux-amd64.tar.gz
ls etcd-v3.3.10-linux-amd64
Documentation etcd etcdctl README-etcdctl.md README.md READMEv2-etcdctl.md
etcd就是etcd服務的啟動命令,后面可跟各種啟動引數
etcdctl主要為etcd服務提供了命令列操作


4.在Master01節點啟動Etcd集群節點01
在master01 節點上操作
//創建用于存放etcd組態檔,命令檔案,證書的目錄
mkdir -p /opt/etcd/{cfg,bin,ssl}
mv /opt/k8s/etcd-v3.3.10-linux-amd64/etcd /opt/k8s/etcd-v3.3.10-1inux-amd64/etcdctl /opt/etcd/bin/
cp /opt/k8s/etcd-cert/*.pem /opt/etcd/ssl/
cd /opt/k8s/
chmod +x etcd.sh

啟動etcd服務的腳本詳細內容查看:etcd.sh
./etcd.sh etcd01 192.168.110.10 etcd02=https://192.168.110.60:2380,etcd03=https://192.168.110.70:2380
//進入卡住狀態等待其他節點加入,這里需要三臺etcd服務同時啟動,如果只啟動其中一臺后,服務會卡在那里,直到集群中所有etcd節點都已啟動,可忽略這個情況

//另外打開一個視窗查看etcd行程是否正常
ps -ef | grep etcd

5.將證書,命令檔案,服務啟動腳本拷貝到另外兩個etcd集群節點
在master01 節點上操作
//把etcd相關證書檔案和命令檔案全部拷貝到另外兩個etcd集群節點
scp -r /opt/etcd/ root@192.168.110.60:/opt/
scp -r /opt/etcd/ root@192.168.110.70:/opt/
//啟動腳本拷貝其他節點
scp /usr/lib/systemd/system/etcd.service root@192.168.110.60:/usr/lib/systemd/system/
scp /usr/lib/systemd/system/etcd.service root@192.168.110.70:/usr/lib/systemd/system/
6.在其他節點修改etcd組態檔
在node01 節點上操作
vim /opt/etcd/cfg/etcd
#[Member]
ETCD_NAME="etcd02"
ETCD_DATA_DIR="/var/lib/etcd/default.etcd"
ETCD_LISTEN_PEER_URLS="https://192.168.110.60:2380"
ETCD_LISTEN_CLIENT_URLS="https://192.168.110.60:2379"
#[Clustering]
ETCD_INITIAL_ADVERTISE_PEER_URLS="https://192.168.110.60:2380"
ETCD_ADVERTISE_CLIENT_URLS="https://192.168.110.60:2379"
ETCD_INITIAL_CLUSTER="etcd01=https://192.168.110.10:2380,etcd02=https://192.168.110.60:2380,etcd03=https://192.168.110.70:2380"
ETCD_INITIAL_CLUSTER_TOKEN="etcd-cluster"
ETCD_INITIAL_CLUSTER_STATE="new"
//啟動
systemctl start etcd
systemctl status etcd


在node02 節點上操作
vim /opt/etcd/cfg/etcd
#[Member]
ETCD_NAME="etcd03"
ETCD_DATA_DIR="/var/lib/etcd/default.etcd"
ETCD_LISTEN_PEER_URLS="https://192.168.110.70:2380"
ETCD_LISTEN_CLIENT_URLS="https://192.168.110.70:2379"
#[Clustering]
ETCD_INITIAL_ADVERTISE_PEER_URLS="https://192.168.110.70:2380"
ETCD_ADVERTISE_CLIENT_URLS="https://192.168.110.70:2379"
ETCD_INITIAL_CLUSTER="etcd01=https://192.168.110.10:2380,etcd02=https://192.168.110.60:2380,etcd03=https://192.168.110.70:2380"
ETCD_INITIAL_CLUSTER_TOKEN="etcd-cluster"
ETCD_INITIAL_CLUSTER_STATE="new"
//啟動
systemctl start etcd
systemctl status etcd



7.檢查群集狀態
在master01 節點上操作
ln -s /opt/etcd/bin/etcd* /usr/local/bin
//檢查etcd群集狀態
cd /opt/etcd/ssl
/opt/etcd/bin/etcdctl \
-ca-file=ca.pem \
-cert-file=server.pem \
-key-file=server-key.pem \
-endpoints="https://192.168.110.10:2379,https://192.168.110.60:2379,https;//192.168.110.70:2379" \
cluster-health
-cert-file: 識別HTTPS端使用SSL證書檔案
-key-file: 使用此SSL密鑰檔案標識HTTPS客戶端
-ca-file:使用此CA證書驗證啟用https的服務器的證書
–endpoints: 集群中以逗號分隔的機器地址串列
cluster–health: 檢查etcd集群的運行狀況
在這里插入圖片描述
二.部署docker引擎
在node01節點和node02節點上操作
//所有node節點部署docker引擎
yum install -y yum-utils device-mapper-persistent-data lvm2
yum-config-manager --add-repo https://mirrors.aliyun.com/docker-ce/linux/centos/docker-ce.repo
yum install -y docker-ce
systemctl start docker.service
systemctl enable docker.service
三.Flannel網路配置
K8S中Pod網路通信
●Pod內容器與容器之間的通信
在同一個Pod 內的容器(Pod 內的容器是不會跨宿主機的)共享同一個網路命令空間,相當于它們在同一臺機器上一樣,可以用
localhost 地址訪問彼此的埠,
●同一個Node內Pod之間的通信
每個Pod都有一個真實的全域IP地址,同一個Node 內的不同Pod之,間可以直接采用對方Pod的IP地址進行通信,Pod1 與Pod2都是通過Veth連接到同一個docker0 網橋,網段相同,所以它們之間可以直接通信,
●不同Node上Pod之間的通信
Pod地址與docker0 在同一網段,docker0 網段與宿主機網卡是兩個不同的網段,且不同Node之間的通信只能通過宿主機的物理網卡進行,
要想實作不同Node上Pod之間的通信,就必須想辦法通過主機的物理網卡IP地址進行尋址和通信,因此要滿足兩個條件: Pod的
IP不能沖突;將Pod的IP和所在的Node 的IP關聯起來,通過這個關聯讓不同Node上Pod之間直接通過內網IP地址通信,
Overlay Network:
疊加網路,在二層或者三層基礎網路.上疊加的一種虛擬網路技術模式,該網路中的主機通過虛擬鏈路隧道連接起來( 類似于VPN),
VXLAN:
將源資料包封裝到UDP中,并使用基礎網路的IP/MAC作為外層報文頭進行封裝,然后在以太網上傳輸,到達目的地后由隧道端點解封裝并將資料發送給目標地址,
Flannel:
Flannel的功能是讓集群中的不同節點主機創建的Docker 容器都具有全集群唯一的虛擬IP地址,
Flannel是Overlay網路的一種,也是將TCP源資料包封裝在另一種網路包里面進行路由轉發和通信,目前己經支持UDP、VXLAN、
AWSVPC等資料轉發方式,
Flannel 作業原理
node1上的pod1 要和node2上的pod1進行通信,資料從node1上的Pod1源容器中發出后,經由所在主機的docker0 虛擬網卡轉發到flannel0虛擬網卡,再由flanneld把pod ip封裝到udp中(里面有源pod IP和目的pod IP),根據在etcd保存的路由表 通過物理網卡發送給目的node2的flanneld,來進行解封裝暴露出udp里的pod IP,最后根據目的pod IP經flannel0虛擬網卡和docker0虛擬網卡轉發到目的pod中,完成通信,
ETCD之Flannel提供說明
存盤管理Flannel可分配的IP地址段資源
監控ETCD 中每個Pod的實際地址,并在記憶體中建立維護Pod 節點路由表
1.添加flannel 網路配置資訊
在master01 節點上操作
//添加flannel 網路配置資訊,寫入分配的子網段到etcd中,供flannel 使用
cd /opt/etcd/ssl
/opt/etcd/bin/etcdctl \
--ca-file=ca.pem \
--cert-file=server.pem \
--key-file=server-key.pem \
--endpoints="https://192.168.110.10:2379,https://192.168.110.60:2379,https://192.168.110.70:2379" \
set /coreos.com/network/config '{"Network": "172.17.0.0/16","Backend": {"Type": "vxlan"}}'
//查看寫入的資訊
/opt/etcd/bin/etcdctl \
--ca-file=ca.pem \
--cert-file=server.pem \
--key-file=server-key.pem \
--endpoints="https://192.168.110.10:2379,https://192.168.110.60:2379,https://192.168.110.70:2379" \
get /coreos.com/network/config

set <key> <value>
set /coreos com/network/config添加一條網路配置記錄,這個配置將用于flannel分配給每個docker的虛擬IP地址段
get <key>
get /coreos.com/network/config獲取網路配置記錄,后面不用再跟引數了
Network:用于指定Flannel地址池
Backend:用于指定資料包以什么方式轉發,默認為udp模式,Backend為vxlan 比起預設的udp性能相對好一些
2.安裝并啟動Flannel服務
在所有node 節點上操作
//上傳flannel.sh和flannel-v0.10.0-1inux-amd64.tar.gz到/opt 目錄中,解壓flannel 壓縮包
cd /opt
tar zxvf flannel-v0.10.0-linux-amd64.tar.gz
flanneld #flanneld為主要的執行檔案
mk-docker-opts.sh #mk-docker-opts.sh腳本用于生成Docker啟動引數
README.md
//創建kubernetes作業目錄
mkdir -p /opt/kubernetes/{cfg,bin,ssl}
mv mk-docker-opts.sh flanneld /opt/kubernetes/bin/
//啟動flanneld服務,開啟flannel網路功能
cd /opt
chmod +x flannel.sh
./flannel.sh https://192.168.110.10:2379,https://192.168.110.60:2379,https://192.168.110.70:2379

啟動Flannel服務的腳本詳細內容查看:flannel.sh
//flannel啟動后會生成一個docker網路相關資訊組態檔/run/flannel/subnet.env,包含了docker要使用flannel通訊的相關引數
cat / run/flannel/subnet.env
DOCKER_OPT_BIP="--bip=172.17.26.1/24"
DOCKER_OPT_ IPMASQ="--ip-masq= false"
DOCKER_OPT_MTU="--mtu=1450"
DOCKER NETWORK OPTIONS="--bip=172.17.26. 1/24 --ip-masq-false--mtu=1450"
--bip: 指定docker啟動時的子網
--ip-masq: 設定ipmasq=false 關閉snat偽裝策略
--mtu=1450:mtu要留出50位元組給外層的vxlan封包的額外開銷使用

3.配置Docker連接Flannel
在所有node 節點上操作
vim /usr/lib/systemd/system/docker.service
[Service]
....
#for containers run by docker
EnvironmentFile=/run/flannel/subnet.env #添加此行
ExecStart=/usr/bin/dockerd $DOCKER_NETWORK_OPTIONS -H fd:// --containerd=/run/containerd/containerd.sock
....

//重啟docker服務
systemctl daemon-reload
systemctl restart docker
//查看flannel網路
ifconfig

//測驗ping通對方docker0網卡證明flannel起到路由作用
node1:ping 172.17.89.1
node2:ping 172.17.51.1


4.在兩個Node節點內創建Docker容器,進行測驗
在所有node 節點上操作
docker run -it centos:7 /bin/bash
yum install net-tools -y
ifconfig
分別在兩個容器內查看IP地址
在node01節點:ping 172.17.42.2

在node02節點:ping 172.17.35.2

四、部署master節點
master01上操作
1、api-server生成證書
cd /opt/k8s/
unzip master.zip
chmod +x controller-manager.sh
mkdir /opt/kubernetes/{cfg,bin,ssl} -p
mkdir k8s-cert #創建k8s證書存放目錄
mv k8s-cert.sh k8s-cert
vim k8s-cert.sh
./k8s-cert.sh
cp apiserver*pem ca*pem /opt/kubernetes/ssl/






mv kubernetes-server-linux-amd64.tar.gz k8s/
tar zxvf kubernetes-server-linux-amd64.tar.gz


cp kube-apiserver kubectl kube-controller-manager kube-scheduler /opt/kubernetes/bin/
ln -s /opt/kubernetes/bin/* /usr/local/bin/

2、創建bootstrap token認證檔案
head -c 16 /dev/urandom | od -An -t x | tr -d ' '
#使用 head -c 16 /dev/urandom | od -An -t x | tr -d ' ' 可以隨機生成序列號
vim /opt/kubernetes/cfg/token.csv
6e96b262027ff552685dd2f332a07a17,kubelet-bootstrap,10001,"system:kubelet-bootstrap"

3、啟動apiserver
./apiserver.sh 192.168.110.10 https://192.168.110.10:2379,https://192.168.110.60:2379,https://192.168.110.70:2379
ps aux | grep kube-apiservice





4、啟動scheduler服務
./scheduler.sh 127.0.0.1
ps aux | grep ku

5、啟動controller-manager
./controller-manager.sh 127.0.0.1

6、查看master 節點狀態
/opt/kubernetes/bin/kubectl get cs

五、node節點的部署
node01節點的部署
1、把 kubelet、kube-proxy拷貝到node節點上去(master01上操作)
cd /opt/k8s/kubernetes/server/bin
scp kubelet kube-proxy root@192.168.110.60:/opt/kubernetes/bin/
scp kubelet kube-proxy root@192.168.110.70:/opt/kubernetes/bin/


2、復制node.zip到/opt目錄下再解壓(node01節點操作)
unzip node.zip
chmod +x *.sh

3、安裝軟體包(master01上操作)
cd /opt/k8s/
mkdir kubeconfig
cd kubeconfig/
chmod +x kubeconfig.sh

./kubeconfig.sh 192.168.110.10 /opt/k8s/k8s-cert/

4、拷貝組態檔到node節點中(master01上操作)
scp bootstrap.kubeconfig kube-proxy.kubeconfig root@192.168.110.60:/opt/kubernetes/cfg/
scp bootstrap.kubeconfig kube-proxy.kubeconfig root@192.168.110.70:/opt/kubernetes/cfg/


5、創建bootstrap角色賦予權限用于連接apiserver請求簽名(關鍵)(master01上操作)
//RBA授權
kubectl create clusterrolebinding kubelet-bootstrap --clusterrole=system:node-bootstrapper --user=kubelet-bootstrap
//查看角色
kubectl get clusterroles | grep system:node-bootstrapper
//查看已授權的角色
kubectl get clusterrolebinding

6、執行kubelet.sh腳本(在node01節點上操作)
./kubelet.sh 192.168.110.60


7、檢查到node01節點的請求(master01上操作)
kubectl get csr
kubectl certificate approve node-csr-jsSNBWeBJwqzIxhLtw4JVCeO1Z6W4ogAXsfIC8qUhzE


8、查看證書(node01上)
ls /opt/kubernetes/ssl/

9、查看maser01群集節點,成功加入node01節點

10、加載ip_vs模塊(node01和02)
for i in $(ls /usr/lib/modules/$(uname -r)/kernel/net/netfilter/ipvs|grep -o "^[^.]*");do echo $i; /sbin/modinfo -F filename $1 >/dev/null 2>&1 && /sb1n/modprobe $i;done

11、啟動proxy服務(node01)
./proxy.sh 192.168.110.60
systemctl status kube-proxy.service

12、將node01中的組態檔復制到node02(在node01上操作)
scp kubelet.sh proxy.sh root@192.168.110.70:/opt

13、執行(node02上操作)
./kubelet.sh 192.168.110.70

master01


14、啟動kube-proxy

15、查看集群節點

轉載請註明出處,本文鏈接:https://www.uj5u.com/qita/293842.html
標籤:其他
上一篇:企業運維實戰--jenkins持續集成快速入門并結合ansible進行簡單部署
下一篇:基于pytest的介面測驗
