- 常見的Web集群調度器
- haproxy介紹
- Haproxy應用分析
- Haproxy調度演算法原理
- 1.RR(Round Robin)
- 2.LC (Least Connections)
- 3.SH (Source Hashing)
- Haproxy安裝與啟動
- 在負載均衡器上安裝Haproxy
- Haproxy組態檔詳解
- haproxy搭建實操
- haproxy群集拓撲圖
- 一、配置nfs共享儲存
- 1.安裝相關軟體,并啟動nfs
- 2.設定共享目錄,并發布
- 3.創建共享目錄,并制作測驗網頁
- 二、配置Web1
- 1.安裝并啟動nginx
- 2.掛載nfs共享儲存
- 3.測驗共享儲存掛載
- 三、配置Web2
- 1.編譯安裝nginx
- 2.掛載共享儲存目錄
- 3.測驗共享儲存掛載
- 四、配置Haproxy負載均衡
- 1.編譯安裝haproxy
- 3.配置系統服務
- 5.haproxy訪問日志配置
- 6.Haproxy引數優化
常見的Web集群調度器
- 目前常見的Web集群調度器分為軟體和硬體
- 軟體通常使用開源的LVS、Haproxy、Nginx
- 硬體一般使用比較多的是F5,也有很多人使用國內的一些產品,如梭子魚、綠盟等
haproxy介紹
Haproxy應用分析
- LVS在企業應用中抗負載能力很強,但存在不足
◆LVS不支持正則處理,不能實作動靜分離
◆對于大型網站,LVS的實施配置復雜,維護成本相對較高 - Haproxy是一款可提供高可用性、負載均衡、及基于TCP和HTTP應用的代理的軟體
◆適用于負載大的Web站點
◆運行在硬體上可支持數以萬計的并發連接的連接請求
Haproxy調度演算法原理
Haproxy支持多種調度演算法,最常用的有三種
1.RR(Round Robin)
RR演算法是最簡單最常用的一種演算法,即輪詢調度
理解舉例:
◆有三個節點A、B、C
◆第一個用戶訪問會被指派到節點A
◆第二個用戶訪問會被指派到節點B
◆第三個用戶訪問會被指派到節點C
◆第四個用戶訪問繼續指派到節點A,輪詢分配訪問請求實作負載均衡效果
2.LC (Least Connections)
最小連接數演算法,根據后端的節點連接數大小動態分配前端請求
理解舉例:
◆ 有三個節點A、B、C,各節點的連接數分別為A:4、B:5、C:6
◆ 第一個用戶連接請求,會被指派到A上,連接數變為A:5、B:5、C:6
◆ 第二個用戶請求會繼續分配到A上,連接數變為A:6、B:5、C:6;再有新的請求會分配給B,每次將新的請求指派給連接數最小的客戶端
◆ 由于實際情況下A、B、C的連接數會動態釋放,很難會出現一樣連接數的情況
◆ 此演算法相比較rr演算法有很大改進,是目前用到比較多的一種演算法
3.SH (Source Hashing)
基于來源訪問調度演算法,用于一些有Session會話記錄在服務器端的場景,可以基于來源的IP、Cookie等做集群調度
理解舉例:
◆ 有三個節點A、B、C,第一個用戶第一次訪問被指派到了A,第二個用戶第一次訪問被指派到了B
◆ 當第一個用戶第二次訪問時會被繼續指派到A,第二個用戶第二次訪問時依舊會被指派到B,只要負載均衡調度器不重啟,第一個用戶訪問都會被指派到A,第二個用戶訪問都會被指派到B,實作集群的調度
◆ 此調度演算法好處是實作會話保持,但某些IP訪問量非常大時會引起負載不均衡部分節點訪問量超大,影響業務使用
Haproxy安裝與啟動
在負載均衡器上安裝Haproxy
安裝步驟
- 安裝基礎軟體包
- 編譯安裝haproxy
- 要注意作業系統版本,是32位系統還是64位
建立Haproxy的組態檔 - 創建組態檔目錄/etc/haproxy
- 將原始碼包提供的組態檔樣例haproxy.cfg復制到組態檔目錄中
Haproxy組態檔詳解
Haproxy組態檔通常分為三個部分
- global:為全域配置
- defaults:為默認配置
- listen:為應用組件配置
global配置引數
| 引數 | 說明 |
|---|---|
| log 127.0.0.1 local0 | 配置日志記錄,local0為日志設備,默認存放到系統日志 |
| log 127.0.0.1 local1 | noticenotice為日志級別,通常有24個級別 |
| maxconn 4096 | 最大連接數 |
| uid 99 | 用戶uid |
| gid 99 | 用戶gid |
haproxy搭建實操
haproxy群集拓撲圖

一、配置nfs共享儲存
[root@localhost ~]# ifconfig
ens33: flags=4163<UP,BROADCAST,RUNNING,MULTICAST> mtu 1500
inet 192.168.30.44 netmask 255.255.255.0 broadcast 192.168.30.255
inet6 fe80::a52a:406e:6512:1c66 prefixlen 64 scopeid 0x20<link>
[root@localhost ~]# route -n //查看路由表,看網關
Destination Gateway Genmask Flags Metric Ref Use Iface
0.0.0.0 192.168.30.11 0.0.0.0 UG 100 0 0 ens33
192.168.30.0 0.0.0.0 255.255.255.0 U 100 0 0 ens33
192.168.122.0 0.0.0.0 255.255.255.0 U 0 0 0 virbr0
1.安裝相關軟體,并啟動nfs
[root@localhost ~]# rpm -q nfs-utils //查看nfs是否安裝
nfs-utils-1.3.0-0.61.el7.x86_64
[root@localhost ~]# rpm -q rpcbind //查看rpcbind是否安裝
rpcbind-0.2.0-47.el7.x86_64
[root@localhost ~]# yum -y install nfs-utils //確實安裝了
Loaded plugins: fastestmirror, langpacks
Loading mirror speeds from cached hostfile
Package 1:nfs-utils-1.3.0-0.61.el7.x86_64 already installed and latest version
Nothing to do
[root@localhost ~]# yum -y install rpcbind
Loaded plugins: fastestmirror, langpacks
Loading mirror speeds from cached hostfile
Package rpcbind-0.2.0-47.el7.x86_64 already installed and latest version
Nothing to do
[root@localhost ~]# systemctl start nfs
[root@localhost ~]# systemctl enable nfs
Created symlink from /etc/systemd/system/multi-user.target.wants/nfs-server.service to /usr/lib/systemd/system/nfs-server.service.
[root@localhost ~]# systemctl start rpcbind
[root@localhost ~]# systemctl enable rpcbind
2.設定共享目錄,并發布
[root@localhost ~]# vi /etc/exports
/opt/web1 192.168.30.0/24(rw,sync) //注意,這里的ip與授權的“()”之間不能有空格
/opt/web2 192.168.30.0/24(rw,sync)
[root@localhost ~]# systemctl restart nfs
[root@localhost ~]# systemctl restart rpcbind
[root@localhost ~]# showmount -e //查看共享目錄
Export list for localhost.localdomain:
/opt/web2 192.168.30.0/24
/opt/web1 192.168.30.0/24
[root@localhost web2]# exportfs -vr //發布共享目錄
exporting 192.168.30.0/24:/opt/web2
exporting 192.168.30.0/24:/opt/web1
3.創建共享目錄,并制作測驗網頁
[root@localhost ~]# mkdir /opt/web1/ /opt/web1/
[root@localhost ~]# vi /opt/web1/index.html
<html>
<title>I'm Web1</title>
<body><h1>I'm Web1</h1></body>
<img src="web1.jpg" />
</html>
[root@localhost ~]# vi /opt/web2/index.html
<html>
<title>I'm Web2</title>
<body><h1>I'm Web2</h1></body>
<img src="web2.png" />
</html>
二、配置Web1
1.安裝并啟動nginx
[root@localhost nginx-1.15.9]# tar xzvf nginx-1.15.9.tar.gz -C /opt
[root@localhost system]# useradd -s /sbin/nologin -M nginx //-M不創建家目錄
[root@localhost opt]# yum -y install \
gcc \
gcc-c++ \
make \
pcre-devel \
expat-devel \
perl \
zlib-devel
[root@localhost nginx-1.15.9]# cd /opt/nginx-1.15.9/
[root@localhost nginx-1.15.9]# ./configure \
--prefix=/usr/local/nginx \
--user=nginx \
--group=nginx \
--with-http_stub_status_module
[root@localhost nginx-1.15.9]# make && make install
[root@localhost nginx-1.15.9]# ln -s /usr/local/nginx/sbin/nginx /usr/local/sbin/
[root@localhost nginx-1.15.9]# killall -s QUIT nginx
[root@localhost nginx-1.15.9]# cd /lib/systemd/system/
[root@localhost system]# vim nginx.service //注意,配置執行服務檔案前關閉nginx行程
[Unit]
Description=nginx
After=network.target
[Service]
Type=forking
PIDFile=/usr/local/nginx/logs/nginx.pid
ExecStart=/usr/local/nginx/sbin/nginx
ExecReload=/usr/bin/kill -s HUP $MAINPID
ExecStop=/usr/bin/ki11 -s QUIT $MAINPID
PrivateTmp=true
[Install]
WantedBy=multi-user.target //允許多用戶
[root@localhost system]# chmod 754 nginx.service //給權限,讓組用戶也可以執行
[root@localhost system]# systemctl start nginx.service
[root@localhost system]# systemctl enable nginx.service
[root@localhost system]# systemctl status nginx.service
● nginx.service - nginx
Loaded: loaded (/usr/lib/systemd/system/nginx.service; disabled; vendor preset: disabled)
Active: active (running) since Sun 2020-09-06 05:20:11 CST; 1s ago
Process: 13374 ExecStart=/usr/local/nginx/sbin/nginx (code=exited, status=0/SUCCESS)
……省略部分
2.掛載nfs共享儲存
[root@localhost system]# yum -y install nfs-utils rpcbind
[root@localhost system]# showmount -e 192.168.30.44
Export list for 192.168.30.44:
/opt/web2 192.168.30.0/24
/opt/web1 192.168.30.0/24
[root@localhost system]# mount 192.168.30.44:/opt/web1 /usr/local/nginx/html/
[root@localhost system]# vi /etc/fstab
192.168.30.44:/opt/web1 /usr/local/nginx/html nfs defaults,_netdev 0 0
3.測驗共享儲存掛載

三、配置Web2
1.編譯安裝nginx
[root@localhost nginx-1.15.9]# tar xzvf nginx-1.15.9.tar.gz -C /opt
[root@localhost system]# useradd -s /sbin/nologin -M nginx //-M不創建家目錄
[root@localhost opt]# yum -y install \
gcc \
gcc-c++ \
make \
pcre-devel \
expat-devel \
perl \
zlib-devel
[root@localhost nginx-1.15.9]# cd /opt/nginx-1.15.9/
[root@localhost nginx-1.15.9]# ./configure \
--prefix=/usr/local/nginx \
--user=nginx \
--group=nginx \
--with-http_stub_status_module
[root@localhost nginx-1.15.9]# make && make install
[root@localhost nginx-1.15.9]# ln -s /usr/local/nginx/sbin/nginx /usr/local/sbin/
[root@localhost nginx-1.15.9]# killall -s QUIT nginx
[root@localhost nginx-1.15.9]# cd /lib/systemd/system/
[root@localhost system]# vim nginx.service //注意,配置執行服務檔案前關閉nginx行程
[Unit]
Description=nginx
After=network.target
[Service]
Type=forking
PIDFile=/usr/local/nginx/logs/nginx.pid
ExecStart=/usr/local/nginx/sbin/nginx
ExecReload=/usr/bin/kill -s HUP $MAINPID
ExecStop=/usr/bin/ki11 -s QUIT $MAINPID
PrivateTmp=true
[Install]
WantedBy=multi-user.target //允許多用戶
[root@localhost system]# chmod 754 nginx.service //給權限,讓組用戶也可以執行
[root@localhost system]# systemctl start nginx.service
[root@localhost system]# systemctl enable nginx.service
[root@localhost system]# systemctl status nginx.service
● nginx.service - nginx
Loaded: loaded (/usr/lib/systemd/system/nginx.service; disabled; vendor preset: disabled)
Active: active (running) since Sun 2020-09-06 05:20:11 CST; 1s ago
Process: 13374 ExecStart=/usr/local/nginx/sbin/nginx (code=exited, status=0/SUCCESS)
……省略部分
2.掛載共享儲存目錄
[root@localhost system]# yum -y install nfs-utils rpcbind
[root@localhost system]# showmount -e 192.168.30.44
Export list for 192.168.30.44:
/opt/web2 192.168.30.0/24
/opt/web1 192.168.30.0/24
[root@localhost system]# mount 192.168.30.44:/opt/web2 /usr/local/nginx/html/
[root@localhost system]# vi /etc/fstab
192.168.30.44:/opt/web2 /usr/local/nginx/html nfs defaults,_netdev 0 0
3.測驗共享儲存掛載

四、配置Haproxy負載均衡
1.編譯安裝haproxy
[root@localhost ~]# yum -y install pcre-devel bzip2-devel gcc gcc-c++ //安裝環境
[root@localhost ~]# tar xzvf haproxy-1.4.24.tar.gz -C /opt
[root@localhost ~]# cd /opt
[root@localhost opt]# cd haproxy-1.4.24/
[root@localhost haproxy-1.4.24]# make TARGET=linux26
[root@localhost haproxy-1.4.24]# make install
2.配置Haproxy服務
[root@localhost haproxy-1.4.24]# mkdir /etc/haproxy
[root@localhost haproxy-1.4.24]# cp examples/haproxy.cfg /etc/haproxy/
[root@localhost haproxy-1.4.24]# vi /etc/haproxy/haproxy.cfg
# this config needs haproxy-1.1.28 or haproxy-1.2.1
global
log 127.0.0.1 local0
log 127.0.0.1 local1 notice
#log loghost local0 info
maxconn 4096
chroot /usr/share/haproxy
uid 99
gid 99
daemon
#debug
#quiet
defaults
log global
mode http
option httplog
option dontlognull
retries 3
# redispatch
maxconn 2000
contimeout 5000
clitimeout 50000
srvtimeout 50000
listen appli1-rewrite 0.0.0.0:80
# cookie SERVERID rewrite
balance roundrobin
server inst1 192.168.30.22:80 check inter 2000 fall 3
server inst2 192.168.30.33:80 check inter 2000 fall 3
###############################上述組態檔解釋#############################
(1)Haproxy組態檔通常分為三個部分
global:為全域配置
defaults:為默認配置
listen:為應用組件配置
global配置引數
log 127.0.0.1 local0:配置日志記錄,配置日志記錄,local0為日志設備,默認存放到系統日志
log 127.0.0.1 local1 notice:notice為日志級別,通常有24個級別
maxconn 4096:最大連接數
uid 99:用戶uid gid 99:用戶gid
(2)defaults配置項配置默認引數,一般會被應用組件繼承,如果在應用組件中沒有特別宣告,將安裝默認配置引數設定
log global:定義日志為global配置中的日志定義
mode http:模式為http
option httplog:采用http日志格式記錄日志
option dontlognull :保證HAProxy不記錄上級負載均衡發送過來的用于檢測狀態沒有資料的心跳包
retries 3:檢查節點服務器失敗連續達到三次則認為節點不可用
maxconn 2000:最大連接數
contimeout 5000:連接超時時間
clitimeout 50000:客戶端超時時間
srvtimeout 50000:服務器超時時間
(3)listen配置專案一般為配置應用模塊引數
listen appli4-backup 0.0.0.0:10004:定義一個appli4-backup的應用
option httpchk /index.html:檢查服務器的index.html檔案
option persist :強制將請求發送到已經down掉的服務器
balance roundrobin:負載均衡調度演算法使用輪詢演算法
server inst1 192.168.114.56:80 check inter 2000 fall 3:定義在線節點
server inst2 192.168.114.56:81 check inter 2000 fall 3 backup:定義備份節點
3.配置系統服務
[root@localhost haproxy-1.4.24]# cp examples/haproxy.init /etc/init.d/haproxy
[root@localhost haproxy-1.4.24]# chmod 755 /etc/init.d/haproxy
[root@localhost haproxy-1.4.24]# chkconfig --add haproxy
[root@localhost haproxy-1.4.24]# chkconfig --list haproxy
Note: This output shows SysV services only and does not include native
……省略部分
haproxy 0:off 1:off 2:off 3:off 4:off 5:off 6:off
[root@localhost haproxy-1.4.24]# ln -s /usr/local/sbin/haproxy /usr/sbin/haproxy
[root@localhost haproxy-1.4.24]# service haproxy start
[root@localhost haproxy-1.4.24]# systemctl stop haproxy.service
[root@localhost haproxy-1.4.24]# systemctl start haproxy.service
[root@localhost haproxy-1.4.24]# netstat -anupt |grep haproxy
tcp 0 0 0.0.0.0:80 0.0.0.0:* LISTEN 20379/haproxy
udp 0 0 0.0.0.0:46295 0.0.0.0:* 20379/haproxy
4.測驗haproxy輪詢


5.haproxy訪問日志配置
[root@localhost ~]# vi /etc/haproxy/haproxy.cfg
global
log /dev/log local0 //將log有關的配置換成這兩條
log /dev/log local1 notice
……省略部分
[root@localhost ~]# systemctl restart haproxy.service //重啟haproxy服務
[root@localhost ~]# vi /etc/rsyslog.d/haproxy.conf //重新撰寫一個haproxy組態檔
if ($programname == 'haproxy' and $syslogseverity-text == 'info') then -/var/log/haproxy/haproxy-info.log
& ~
if ($programname == 'haproxy' and $syslogseverity-text == 'notice') then -/var/log/haproxy/haproxy-notice.log
& ~
[root@localhost ~]# systemctl restart rsyslog.service
[root@localhost ~]# tail -f /var/log/haproxy/haproxy-info.log
Sep 25 02:19:05 localhost haproxy[21757]: 192.168.30.1:53145 [25/Sep/2020:02:18:51.585] webcluster webcluster/inst1 0/0/0/1/13874 304 1083 - - CD-- 2/2/0/0/0 0/0 "GET / HTTP/1.1"
Sep 25 02:20:09 localhost haproxy[21757]: 192.168.30.1:53212 [25/Sep/2020:02:19:16.966] webcluster webcluster/inst2 0/0/2/1/52421 404 3550 - - cD-- 2/2/1/0/0 0/0 "GET /favicon.ico HTTP/1.1"
Sep 25 02:20:10 localhost haproxy[21757]: 192.168.30.1:53233 [25/Sep/2020:02:19:20.189] webcluster webcluster/inst1 0/0/1/1/50248 200 637 - - cD-- 0/0/0/0/0 0/0 "GET / HTTP/1.1"
6.Haproxy引數優化
隨著企業網站負載增加,haproxy引數優化相當重要
| 優化引數 | 含義 |
|---|---|
| maxconn | 最大連接數,根據應用實際情況進行調整,推薦使用10240 |
| daemon | 守護行程模式,Haproxy可以使用非守護行程模式啟動,建議使用守護行程模式啟動 |
| nbproc | 負載均衡的并發行程數,建議與當前服務器CPU核數相等或為其2倍 |
| retries | 重試次數,主要用于對集群節點的檢查,如果節點多,且并發量大,設定為2次或3次 |
| option http-server-close | 主動關閉http請求選項,建議在生產環境中使用此選項 |
| timeout http-keep-alive | 長連接超時時間,設定長連接超時時間,可以設定為10s |
| timeout http-request | http請求超時時間,建議將此時間設定為5~10s,增加http連接釋放速度 |
| timeout client | 客戶端超時時間,如果訪問量過大,節點回應慢,可以將此時間設定短一些,建議設定為1min左右就可以了 |
轉載請註明出處,本文鏈接:https://www.uj5u.com/qita/128788.html
標籤:其他
