一、企業群集應用概述

1.1、群集的含義

Cluster，集群、群集

由多臺主機構成，但對外只表現為一個整體，只提供一個訪問入口（域名或IP地址），相當于一臺大型計算機

1.2、問題

互聯網應用中，隨著站點對硬體性能、回應速度、服務穩定性、資料可靠性等要求越來越高，單臺服務器已經無法滿足負載均衡及高可用的要求

1.3、解決方法

使用價格昂貴的小型機、大型機

使用多臺相對廉價的普通服務器構建服務群集

通過整合多臺服務器，使用LVS來達到服務器的高可用和負載均衡，并以同一個IP地址對外提供相同的服務

在企業中常用的一種群集技術——LVS（Linux Virtual Server，Linux虛擬服務器）

二、企業群集分類

2.1、根據群集針對的目標差異，可以分三個型別

負載均衡群集
高可用群集
高性能運算群集

2.2、負載均衡群集（Load Balance Cluster）

提高應用系統的回應能力、盡可能處理更多的訪問請求、減少延遲為目標，獲得高并發、高負載（LB）的整體性能
LB的負載分配依賴于主節點的分流演算法，將來自客戶機的訪問請求分擔給多個服務器節點，從而緩解整個系統的負載壓力，例如，“DNS輪詢”“反向代理”等

2.3、高可用群集（High Availability Cluster）

提高應用系統的可靠性、盡可能地減少中斷時間為目標，確保服務的連續性、達到高可用(HA)的容錯效果
HA的作業方式包括雙工和主從兩種模式，雙工即所有節點同時在線；主從則只有主節點在線，但當出現故障時從節點能自動切換為主節點，例如，“故障切換”“雙機熱備”等

2.4、高性能運算群集（High Performance Computer Cluster）

以提高應用系統的CPU運算速度、擴展硬體資源和分析能力為目標，獲得相當于大型、超級計算機的高性能運算（HPC）能力
高性能依賴于“分布式運算”、“并行計算”，通過專用硬體和軟體將多個服務器的CPU、記憶體等資源整合在一起，實作只有大型、超級計算機才具備的計算能力，例如，“云計算”“網格計算”等

三、負載均衡群集架構

第一層：負載調度器（Load Balancer或Director）
訪問整個群集系統的唯一入口， 對外使用所有服務器共有的VIP地址，也稱為群集IP地址，通常會配置主、備兩臺調度器實作熱備份,當主調度器失效以后能夠平滑替換至備用調度器，確保高可用性，

第二層：服務器池（Server Pool）
群集所提供的應用服務、由服務器池承擔，其中每個節點具有獨立的RIP地址(真實IP)，只處理調度器分發過來的客戶機請求，當某個節點暫時失效時，負載調度器的容錯機制會將其隔離，等待錯誤排除以后再重新納入服務器池，

第三層：共享存盤（Share Storage）
為服務器池中的所有節點提供穩定、一致的檔案存取服務 ，確保整個群集的統一性，共享存盤可以使用NAS設備，或者提供NFS共享服務的專用服務器，

四、負載均衡群集作業模式分析

1、負載均衡群集是目前企業用得最多的群集型別

2、群集的負載調度技術有三種模式

地址轉換（NAT模式）

IP隧道（TUN模式）

直接路由（DR模式）

（1）、Network Address Translation，簡稱NAT模式

Network Address Translation，簡稱NAT模式

類似于防火墻的私有網路結構，負載調度器作為所有服務器節點的網關，即作為客戶機的訪問入口，也是各節點回應客戶機的訪問出口

服務器節點使用私有IP地址，與負載調度器位于同一個物理網路，安全性要優于其他兩種方式

（2）、IP隧道（TUN模式）

IP Tunnel 簡稱TUN模式

采用開放式的網路結構，負載調度器僅作為客戶機的訪問入口，各節點通過各自的Internet連接直接回應客戶機，而不再經過負載調度器

服務器節點分散在互聯網中的不同位置,具有獨立的公網IP地址，通過專用IP隧道與負載調度器相互通信
直接路由（DR模式）

(3)、Direct Routing，簡稱DR模式

Direct Routing，簡稱DR模式

采用半開放式的網路結構，與TUN模式的結構類似，但各節點并不是分散在各地，而是與調度器位于同一個物理網路

負載調度器與各節點服務器通過本地網路連接，不需要建立專用的IP隧道

五、關于LVS虛擬服務器簡介

1、Linux Virtual Server歷史

針對Linux內核開發的負載均衡解決方案
1998年5月，由我國的章文嵩博士創建
官方網址：http://www.linuxvirtualserver.org/
LVS實際上相當于基于IP地址的虛擬化應用，為基于IP地址和內容請求分發的負載均衡提出了一種高效的解決方法
LVS現在已成為Linux內核的一部分，默認編譯為ip_vs模塊，必要時能夠自動呼叫，在CentOS7系統中，以下操作可以手動加載ip_vs模塊，并查看當前系統中ip_vs模塊的版本資訊

modprobe ip_vs				#呼叫ip_vs模塊
cat /proc/net/ip_vs			#查看ip_vs版本

2、LVS虛擬服務器負載調度演算法

(1)、輪詢（Round Robin）

將收到的訪問請求按照順序輪流分配給群集中的各節點(真實服務器)，均等地對待每一臺服務器 ，而不管服務器實際的連接數和系統負載

（2）、加權輪詢（Weighted Round Robin）

根據調度器設定的權重值來分發請求，權重值高的節點優先獲得任務,分配的請求數越多
保證性能強的服務器承擔更多的訪問流量

（3）、最少連接（Least Connections）

根據真實服務器已建立的連接數進行分配，將收到的訪問請求優先分配給連接數最少的節點

（4）、加權最少連接（Weighted Least Connections）

在服務器節點的性能差異較大時，可以為真實服務器自動調整權重
性能較高的節點將承擔更大比例的活動連接負載

六、使用ipvsadm工具

1、LVS群集創建與管理

2、ipvsadm工具選項

-A: 添加虛擬服務器
-D:洗掉整個虛擬服務器
-s: 指定負載調度演算法(輪詢: rr、加權輪詢: wrr、最少連接: 1c、加權最少連接: wlc)
-a:表示添加真實服務器(節點服務器)
-d: 洗掉某一個節點
-t:指定VIP地址及TCP埠
-r:指定RIP地址及TCP埠
-m:表示使用NAT群集模式
-g: 表示使用DR模式
-i: 表示使用TUN模式
-w:設定權重(權重為0時表示暫停節點)
-p60:表示保持長連接60秒;
-l: 串列查看LVS虛擬服務器(默認為查看所有)
-n: 以數字形式顯示地址、埠等資訊，常與“-l”選項組合使用，ipvsadm -1n

ipvsadm -d -t 12.0.0.1:80 -r 192.168.200.60:80 -m -w 1     #洗掉群集中某一節點服務器
ipvsadm -D -t 12.0.0.1:80     #洗掉整個虛擬服務器
systemctl stop ipvsadm     #停止服務（清除策略）
systemctl start ipvsadm    #啟動服務（重建規則）
ipvsadm-restore > /etc/sysconfig/ipvsadm      #恢復LVS策略

七、NAT模式LVS負載均衡群集部署

實驗環境：
負載調度器：內網關ens33:192.168.246.40 外網關ens36:12.0.0.1
web節點服務器1：192.168.246.20
web節點服務器2：192.168.246.30
NFS服務器：192.168.246.10
客戶端：12.0.0.12

1、部署共享存盤（NFS服務器：192.168.246.10）

systemctl stop firewalld.service
setenforce 0

yum -y install nfs-utils rpcbind
systemctl start nfs.service
systemctl start rpcbind.service
systemctl enable nfs.service
systemctl enable rpcbind.service

cd /opt
mkdir kgc benet
chmod 777 kgc benet

vim /etc/exports
/usr/share * (ro, sync)	#現網環境下不能有可寫，這樣不安全，所以只有只讀，這個是實驗，所以我在下面就配置
了可寫

/opt/kgc 192.168.246.0/24(rw,sync)
/opt/benet 192.168.246.0/24(rw,sync)

發布共享
exportfs -rv
echo 'this is benet web' > /opt/benet/index.html
echo 'this is kgc web' > /opt/kgc/index.html

2、配置節點服務器（192.168.246.20、192.168.246.30）

systemctl stop firewalld.service
setenforce 0

yum -y install httpd
systemctl start httpd.service
systemctl enable httpd.service

yum -y install nfs-utils rpcbind
systemctl start rpcbind.service
systemctl enable rpcbind.service

----------------192.168.246.20----------------------------------------------------------------------------------------------------------------------------------------------------------------
mount.nfs 192.168.246.10:/opt/kgc /var/www/html

上面的方法是臨時掛載，永久的掛載方法如下
vim /etc/fstab
192.168.246.10:/opt/kgc /var/www/html nfs defaults,_netdev 0 0

----------------192.168.246.30-----------------------------------------------------------------------------------------------------------------------------------------------------------------
mount.nfs 192.168.246.10:/opt/benet /var/www/html

上面的方法是臨時掛載，永久的掛載方法如下
vim /etc/fstab
192.168.246.10:/opt/benet /var/www/html nfs defaults,_netdev 0 0

web1：

web2：

3、配置負載調度器（內網關ens33:192.168.246.40 外網關ens36:12.0.0.1）

在調度器上添加一塊網卡，并查看網卡是否添加成功

接下來重啟網卡，進行下一步操作

systemctl stop firewalld.service
setenforce 0

配置SNAT轉發原則
vim /etc/sysctl.conf
net.ipv4.ip_forward = 1
或者echo '1' > /proc/sys/net/ipv4/ip_forward
sysctl -p

iptables -t nat -F
iptables -F
iptables -t nat -A POSTROUTING -s 192.168.246.0/24 -o ens36 -j SNAT --to-source 12.0.0.1

加載LVS內核模塊
modprobe ip_vs				#加載ip_vs模塊
cat /proc/net/ip_vs			#查看ip_vs版本資訊

安裝ipvsadm管理工具
yum -y install ipvsadm

啟動服務前必須要保存負載分配策略
ipvsadm-save > /etc/sysconfig/ipvsadm
或者 ipvsadm --save > /etc/sysconfig/ipvsadm

systemctl start ipvsadm.service

配置負載分配策略（NAT模式只要在服務器上配置，節點服務器不需要特殊配置）
ipvsadm -C					#清除原有策略
ipvsadm -A -t 12.0.0.1:80 -s rr
ipvsadm -a -t 12.0.0.1:80 -r 192.168.246.20:80 -m
ipvsadm -a -t 12.0.0.1:80 -r 192.168.246.30:80 -m
ipvsadm						#啟用策略

ipvsadm -ln					#查看節點狀態，Masq代表NAT模式
ipvsadm-save > /etc/sysconfig/ipvsadm			#保存LVS策略

4、測驗效果

在一臺IP為12.0.0.12 的客戶機上使用瀏覽器訪問 http://12.0.0.1/，不斷重繪瀏覽器測驗負載均衡效果，重繪間隔需要長點，