一、企業群集應用概述

1.1 群集的含義

Cluster，集群、群集
由多臺主機構成，但對外只表現為一個整體，只提供一個訪問入口(域名或IP地址)， 相當于一臺大型計算機，

1.2 問題

互聯網應用中，隨著站點對硬體性能、回應速度、服務穩定性、資料可靠性等要求越來越高，單臺服務器已經無法滿足負載均衡及高可用的要求，

1.3 解決方法

●使用價格昂貴的小型機、大型機（縱向擴容）
●使用多臺相對廉價的普通服務器構建服務群集（橫向擴容）
通過整合多臺服務器，使用LVS來達到服務器的高可用和負載均衡，并以同一個
IP地址對外提供相同的服務，
在企業中常用的一種群集技術——LVS (Linux Virtual Server, Linux虛擬服務器)

二、企業群集分類

2.1 根據群集所針對的目標差異，可分為三種型別

●負載均衡群集
●高可用群集
●高性能運算群集

2.2 負載均衡群集(Load Balance Cluster)

●提高應用系統的回應能力、盡可能處理更多的訪問請求、減少延遲為目標，獲得高并發、高負載(LB) 的整體性能
●LB的負載分配依賴于主節點的分流演算法，將來自客戶機的訪問請求分擔給多個服務器節點，從而緩解整個系統的負載壓力，例如，"DNS輪詢” “反向代理”等
企業群集分類2-2

2.3 高可用群集(High Availability Cluster)

●提高應用系統的可靠性、盡可能地減少中斷時間為目標，確保服務的連續性，達到高可(HA)的容錯效果
●HA的作業方式包括雙工和主從兩種模式，雙工即所有節點同時在線；主從則只有主節點在線，但當出現故障時從節點能自動切換為主節點，例如，“故障切換”“雙機熱備” 等

2.4 高性能運算群集(High Performance Computer Cluster)

●以提高應用系統的CPU運算速度、擴展硬體資源和分析能力為目標，獲得相當于大型、超級計算機的高性能運算(HPC) 能力
●高性能依賴于“分布式運算”、 "并行計算” ，通過專用硬體和軟體將多個服務器的CPU、記憶體等資源整合在一-起， 實作只有大型、超級計算機才具備的計算能力，例如，"云計算”"網格計算”等

三、負載均衡群集架構

3.1 負載均衡的結構

3.1.1 第一層，負載調度器(Load Balancer或Director)

訪問整個群集系統的唯一入口， 對外使用所有服務器共有的VIP地址，也稱為群集
IP地址，通常會配置主、備兩臺調度器實作熱備份，當主調度器失效以后能夠平滑
替換至備用調度器，確保高可用性，

3.1.2 第二層，服務器池(Server Pool)

群集所提供的應用服務、由服務器池承擔，其中每個節點具有獨立的RIP地址(真實IP)，只處理調度器分發過來的客戶機請求，當某個節點暫時失效時,負載調度器的容錯機制會將其隔離，等待錯誤排除以后再重新納入服務器池，

3.1.3 第三層，共享存盤(Share Storage)

為服務器池中的所有節點提供穩定、一致的檔案存取服務，確保整個群集的統一性，共享存盤可以使用NAS設備，或者提供NFS共享服務的專用服務器，

四、負載均衡群集作業模式分析

■負載均衡群集是目前企業用得最多的群集型別
■群集的負載調度技術有3 E種作業模式
地址轉換
IP隧道
直接路由

4.1 NAT模式

4.1.1 地址轉換

●Network Address Translation，簡稱NAT模式
●類似于防火墻的私有網路結構，負載調度器作為所有服務器節點的網關，即作為客戶機
的訪問入口，也是各節點回應客戶機的訪問出口
●服務器節點使用私有IP地址，與負載調度器位于同一個物理網路，安全性要優于其他兩種方式模式

4.2 TUN模式

4.2.1 IP隧道

●IP Tunnel,簡稱TUN模式
●采用開放式的網路結構，負載調度器僅作為客戶機的訪問入口，各節點通過各自的Internet連接直接回應客戶機，而不再經過負載調度器
●服務器節點分散在互聯網中的不同位置,具有獨立的公網IP地址，通過專用IP隧道與負載調度器相互通信

4.3 DR模式

4.3.1 直接路由

●Direct Routing，簡稱DR模式
●采用半開放式的網路結構，與TUN模式的結構類似，但各節點并不是分散在各地，而是與調度器位于同一個物理網路
●負載調度器與各節點服務器通過本地網路連接，不需要建立專用的IP隧道
H售

五、LVS虛擬服務器

5.1 Linux Virtual Server

針對Linux內核開發的負載均衡解決方案，1998年5月，由我國的章文嵩博士創建，
官方網站: http://www.linuxvirtualserver org/
●LVS實際上相當于基于IP地址的虛擬化應用，為基于IP地址和內容請求分發的負載均衡提出了一種高效的解決方法
LVS現在已成為Linux內核的一部分，默認編譯為ip_ vs模塊，必要時能夠自動呼叫，在CentOS 7系統中，以下操作可以手動加載ip_Vs模塊，并查看當前系統中ip_vs 模塊的版本資訊，

# 確認內核對LVS的支持
[root@localhost ~]# modprobe ip_vs
[root@localhost ~]# cat /proc/net/ip_vs
IP Virtual Server version 1 .2.1 (size=4096)
Prot LocalAddress:Port Scheduler Flags
 -> RemoteAddress:Port Forward Weight ActiveConn InActConn

5.2 LVS的負載調度演算法

5.2.1 輪詢(Round Robin)

◆將收到的訪問請求按照順序輪流分配給群集中的各節點(真實服務器)，均等地對待每一臺服務器， 而不管服務器實際的連接數和系統負載

5.2.2 加權輪詢(Weighted Round Robin)

◆根據調度器設定的權重值來分發請求，權重值高的節點優先獲得任務，分配的請求數越多
◆保證性能強的服務器承擔更多的訪問流量

5.2.3 最少連接(Least Connections)

◆根據真實服務器已建立的連接數進行分配，將收到的訪問請求優先分配給連接數最少的節點

5.2.4 加權最少連接(Weighted Least Connections)

◆在服務器節點的性能差異較大時，可以為真實服務器自動調整權重
◆性能較高的節點將承擔更大比例的活動連接負載

六、使用ipvsadm工具

lvs群集創建與管理

創建虛擬服務器----->添加、洗掉服務器節點----->查看群集和節點情況----->保存負載分配策略

七、ipvsadm工具選項說明

-A：添加虛擬服務器
-D：洗掉整個虛擬服務器
-s：指定負載調度演算法(輪詢: rr、加權輪詢: wrr、 最少連接: lc、加權最少連接: wlc)
-a：表示添加真實服務器(節點服務器)
-d：洗掉某一一個節點
-t：指定VIP地址及TCP埠
-r：指定RIP地址及TCP埠
-m：表示使用NAT群集模式
-g：表示使用DR模式
-i：表示使用TUN模式
-w：設定權重(權重為0時表示暫停節點)
-p 60：表示保持長連接60秒
-l：串列查看LVS虛擬服務器(默認為查看所有)
-n：以數字形式顯示地址、埠等資訊，常與“-l"選項組合使用，ipvsadm -ln

八、NAT模式LVS負載均衡群集部署

負載調度器：內網關ens33：192.168.238.20， 外網關ens36：12.0.0.1
Web節點服務器1：192. 168.238.100
Web節點服務器2：192. 168.238.101
NFS服務器：192.168.238.10 
客戶端：192.168.238.200

1、部署共享存盤(NFS服務器：192.168.238.10)

關閉防火墻
systemctl stop firewalld.service
systemctl disable firewalld.service
setenforce 0

yum install nfs-utils rpcbind -y    提供遠程呼叫服務
systemctl start nfs.service
systemctl start rpcbind.service
systemctl enable nfs.service
systemctl enable rpcbind.service

mkdir /opt/jiedian1 /opt/jiedian2         賦權
chmod 777 /opt/jiedian1 /opt/jiedian2

vim /etc/exports   ---->盡量不給寫的權限
/usr/share *(ro, sync)    ----> 生產環境使用
/opt/jieidan1 192.168.238.0/24(rw,sync)
/opt/jiedian2 192.168.238.0/24(rw,sync)

重啟服務
systemctl restart nfs.service
showmont -e

發布共享
exportfs -rv
echo 'this is jieidan1!' > /opt/jiedian1/index.html
echo 'this is jiedian2!' >/opt/jiedian2/index.html

2、配置節點服務器(192.168.238.100、192.168.238.101 )

systemctl stop firewalld.service 
systemctl disable firewalld.service
setenforce 0

yum install httpd -y
systemctl start httpd.service
systemctl enable httpd.service

yum install nfs-utils rpcbind -y
showmount -e 192.168.238.10
systemctl start rpcbind
systemctl enable rpcbind

--192.168.238.100---
mount.nfs 192.168.238.10:/opt/jiedian1 /var/www/html
#echo 'this is jiedian1!' > /var/www/html/index.html

vim /etc/fstab
192.168.238.10:/opt/jiedian1     /var/www/html  nfs defaults,_netdev   0   0

--192.168.238.101---
mount.nfs 192.168.238.10:/opt/jiedian2 /var/www/html
#echo 'this is jiedian2!' > /var/www/html/index.html
vim /etc/fstab
192.168.238.10:/opt/jiedian2  /var/www/html   nfs    defaults,_netdev    0   0
#  共享目錄                         掛載點     協議          引數

3、配置負載調度器(內網關ens33：192.168.238.20，外網關ens36：12.0.0.1)

vim /etc/sysconfig/network.....
systemctl stop firewalld.service
systemctl disable firewalld.service
setenforce 0

(1)配置SNAT轉發規則
vim /etc/sysctl.conf
net.ipv4.ip_forward = 1

或echo '1' > /proc/sys/net/ipv4/ip_forward
sysctl -P

iptables -t nat -F
iptables -F
iptables -t nat -A POSTROUTING -s 192.168.238.0/24 -o ens36 -j SNAT --to-source 12.0.0.1
#-t 指定nat表 -A加入規則鏈 -s指定源IP地址或網段 -o出站介面  -j指定控制型別 --to-source指定要轉換的IP地址
(2)加載LVS內核模塊
modprobe ip_vs           加載ip_ vs模塊
cat /proc/net/ip_vs      查看ip_ vs版本資訊
(3)安裝ipvsadm管理工具
yum -y install ipvsadm

--啟動服務前須保存負載分配策略---
ipvsadm-save > /etc/sysconfig/ipvsadm
或者ipvsadm --save > /etc/sysconfig/ipvsadm

systemctl start ipvsadm.service

(4)配置負載分配策略(NAT模式只要在服務器上配置，節點服務器不需要特殊配置)
ipvsadm -ln     #查看是否有策略
ipvsadm -C      #清除原有策略
ipvsadm -ln     #再次檢測
ipvsadm -A -t 12.0.0.1:80 -s rr    -A添加虛擬服務器  -t指定VIP地址和埠  -s指定負載調度演算法  rr輪詢
ipvsadm -a -t 12.0.0.1:80 -r 192.168.238.100:80 -m -w 1    -a添加真實服務器  -r指定RIP地址和埠  -m使用NAT群集模式   [-w 1]指定權重
ipvsadm -a -t 12.0.0.1:80 -r 192.168.238.101:80 -m -w 1
                                                 #指定權重

----------------------------------------------------------------------------------------------------------------------------------
ipvsadm      #啟用策略
ipvsadm -ln     #查看節點狀態，Masq代表NAT模式
ipvsadm-save > /etc/sysconfig/ipvsadm          #保存策略

ipvsadm -d -t 12.0.0.1:80 -r 192.168.238.11:80 -m -w 1   #洗掉群集中某一節點服務器
ipvsadm -D -t 12.0.0.1:80        #洗掉整個虛擬服務器
systemctl stop ipvsadm           #停止服務(清除策略)
systemctl start ipvsadm          #啟動服務(重建規則)
ipvsadm-restore < /etc/sysconfig/ipvsadm       #恢復LVS策略