一、常見的web集群調度器
- 目前常見的web集群調度器分為軟體和硬體
- 軟體通常使用開源的LVS、Haproxy、Nginx，LVS 性能最好，但搭建復雜，Nginx并發量，性能低于Haproxy
- 硬體一般使用比較多的是F5，也有很多人使用國內的一些產品，如梭子魚、綠盟等
二、Haproxy應用分析
2.1LVS在企業應用中抗負載能力很強，但存在不足
- LVS不支持正則處理，不能實作動靜分離
- 對于大型網站，LVS的實施配置復雜，維護成本相對較高
2.2Haproxy是一款可提供高可用性、負載均衡、及基于TCP和HTTP應用的代理軟體
- 適用于負載大的web站點
- 運行在硬體上可支持數以萬計的并發連接的連接請求
三、Haproxy調度演算法原理
Haproxy 支持多種調度演算法，最常用的有三種
3.1RR（Round Robin）
RR演算法是最簡單最常用的一種演算法，即輪詢調度
例如：
- 有三個節點A、B、C
- 第一個用戶訪問會被指派到節點A
- 第二個用戶訪問會被指派到節點B
- 第三個用戶訪問會被指派到節點C
- 第四個用戶訪問會被指派到節點A，輪詢分配訪問請求實作負載均衡效果
3.2LC（Least Connections）
最小連接數演算法，根據后端的節點連接數大小動態分配前端請求
例如：
- 有三個節點A、B、C,各節點的連接數分別為A:4、B:5、 C:6
- 第一個用戶連接請求，會被指派到A上,連接數變為A:5、B:5、 C:6
- 第二個用戶請求會繼續分配到A上，連接數變為A:6、B:5、 C:6; 再有新的請求會分配給B，每次將新的請求指派給連接數最小的客戶端
- 由于實際情況下A、B、C的連接數會動態釋放，很難會出現一樣連接數的情況
- 此演算法相比較rr演算法有很大改進，是目前用到比較多的一種演算法
3.3SH（Source Hashing）
基于來源訪問調度演算法，用于一些有Session會記錄在服務器端的場景，可以基于來源的IP、Cookie等做集群調度
例如：
- 有三個節點A、B、C,第一個用戶第一次訪問被指派到了A,第二個用戶第一次訪問被指派到了B
- 當第一個用戶第二次訪問時會被繼續指派到A,第二個用戶第二次訪問時依舊會被指派到B，只要負載均衡調度器不重啟，第一個用戶訪問都會被指派到A,第二個用戶訪問都會被指派到B,實作集群的調度
- 此調度演算法好處是實作會話保持，但某些IP訪問量非常大時會引|起負載不均衡，部分節點訪問量超大，影響業務使用
四、Haproxy介紹
4.1HAProxy是什么？
是一個使用C語言撰寫的自由及開放源代碼軟體，其提供高可用性、負載均衡，以及基于TCP和HTTP的應用程式代理，
HAProxy特別適用于那些負載特大的web站點，這些站點通常又需要會話保持或七層處理，
HAProxy運行在當前的硬體上，完全可以支持數以萬計的并發連接，并且它的運行模式使得它可以很簡單安全的整合進您當前的架構中，同時可以保護你的web服務器不被暴露到網路上，
HAProxy實作了一種事件驅動,單一行程模型，此模型支持非常大的并發連接數，多行程或多執行緒模型受記憶體限制、系統調度器限制以及無處不在的鎖限制，很少能處理數千并發連接，
事件驅動模型因為在有更好的資源和時間管理的用戶空間(User-Space)實作所有這些任務，所以沒有這些問題，此模型的弊端是，在多核系統上，這些程式通常擴展性較差，這就是為什么他們必須進行優化以使每個CPU時間片(Cycle)做更多的作業，
包括 GitHub、Bitbucket、StackOverflow、Reddit、Tumblr、Twitter和 Tuenti在內的知名網站，及亞馬遜網路服務系統都使用了HAProxy，
4.2Haproxy的特性
可靠性和穩定性非常好，可以與硬體級的F5負載均衡設備相媲美;
最高可以同時維護40000-50000個并發連接，單位時間內處理的最大請求數為20000個，最大處理能力可達10Git/s;
支持多達8種負載均衡演算法，同時也支持會話保持;
支持虛機主機功能，從而實作web負載均衡更加靈活;
支持連接拒絕、全透明代理等獨特的功能;
擁有強大的ACL支持，用于訪問控制;
其獨特的彈性二叉樹資料結構，使資料結構的復雜性上升到了0（1），即資料的查尋速度不會隨著資料條目的增加而速度有所下降;
支持客戶端的keepalive功能，減少客戶端與haproxy的多次三次握手導致資源浪費，讓多個請求在一個tcp連接中完成;
支持TCP加速，零復制功能，類似于mmap機制;
支持回應池 （response buffering）;
支持RDP協議;
基于源的粘性，類似nginx的ip hash功能，把來自同一客戶端的請求在一定時間內始終調度到上游的同一服務器;
更好統計資料介面，其web介面顯示后端集群中各個服務器的接收、發送、拒絕、錯誤等資料的統計資訊;
詳細的健康狀態檢測，web介面中有關于對上游服務器的健康檢測狀態， 并提供了一定的管理功能;
基于流量的健康評估機制;
基于http認證;
基于命令列的管理介面;
日志分析器，可對日志進行分析
4.3負載均衡策略
HAProxy負載均衡策略非常多，常見的有如下8種∶
roundrobin∶表示簡單的輪詢，
static-rr∶表示根據權重，
leastconn∶ 表示最少連接者先處理，
source∶ 表示根據請求的源IP，類似Nginx的IP hash機制，
ri∶表示根據請求的URI，
rl_param∶表示根據HTTP請求頭來鎖定每 一 次HTrTP請求，
rdp-cookie （name）∶表示根據據cookie （name）來鎖定并哈希每一次TCP請求，
4.4LVS、Nainx、HAproxy的區別
LVS基于Linux作業系統實作軟負載均衡，而HAProxy和Nginx是基于第三方應用實作的軟負載均衡;
LVS是可實作4層的IP負載均衡技術，無法實作基于目錄、URL的轉發，而HAProxy和Nainx都可以實作4層和7層技術，HAProxy可提供TCP和HrTP應用的負載均衡綜合解決方案
LVS因為作業在ISO模型的第四層，其狀態監測功能單一， 而HAProxy在狀監測方面功能更豐富、強大， 可支持埠、URL、腳本等多種狀態檢測方式;
HAProxy功能強大，但整體性能低于4層模式的LVS 負載均衡，
Nginx主要用于Web服務器或快取服務器，
五、Haproxy集群的構建的步驟
準備作業：
Haproxy服務器：192.168.10.10
Nginx 服務器1：192.168.10.20
Nginx 服務器2：192.168.10.30
客戶端：宿主機
5.1關閉防火墻，將安裝Haproxy所需軟體包傳到/opt目錄下
systemctl stop firewalld setenforce 0 haproxy-1.5.19.tar.gz
5.2編譯安裝 Haproxy
yum install -y pcre-devel bzip2-devel gcc gcc-c++ make tar zxvf haproxy-1.5.19.tar.gz cd haproxy-1.5.19/ make TARGET=linux2628 ARCH=x86_64 make install
補充：引數說明
TARGET=linux26 #內核版本，
#使用uname -r查看內核，如：2.6.18-371.el5，此時該引數用TARGET=linux26；kernel大于2.6.28的用TARGET=linux2628
ARCH=x86_64 #系統位數，64位系統
5.3Haproxy服務器配置
mkdir /etc/haproxy cp examples/haproxy.cfg /etc/haproxy/ cd /etc/haproxy/ vim haproxy.cfg global --4~5行--修改，配置日志記錄，local0為日志設備，默認存放到系統日志 log /dev/log local0 info log /dev/log local0 notice #log loghost local0 info maxconn 4096 #最大連接數，需考慮ulimit -n限制 --8行--注釋，chroot運行路徑，為該服務自設定的根目錄，一般需將此行注釋掉 #chroot /usr/share/haproxy uid 99 #用戶UID gid 99 #用戶GID daemon #守護行程模式 defaults log global #定義日志為global配置中的日志定義 mode http #模式為http option httplog #采用http日志格式記錄日志 option dontlognull #不記錄健康檢查日志資訊 retries 3 #檢查節點服務器失敗次數，連續達到三次失敗，則認為節點不可用 redispatch #當服務器負載很高時，自動結束當前佇列處理比較久的連接 maxconn 2000 #最大連接數，“defaults”中的值不能超過“global”段中的定義 #contimeout 5000 #設定連接超時時間，默認單位是毫秒 #clitimeout 50000 #設定客戶端超時時間，默認單位是毫秒 #srvtimeout 50000 #設定服務器超時時間，默認單位是毫秒 timeout http-request 10s #默認http請求超時時間 timeout queue 1m #默認佇列超時時間 timeout connect 10s #默認連接超時時間，新版本中替代contimeout，該引數向后兼容 timeout client 1m #默認客戶端超時時間，新版本中替代clitimeout，該引數向后兼容 timeout server 1m #默認服務器超時時間，新版本中替代srvtimeout，該引數向后兼容 timeout http-keep-alive 10s #默認持久連接超時時間 timeout check 10s #設定心跳檢查超時時間 --洗掉下面所有listen項--，添加 listen webcluster 0.0.0.0:80 #定義一個名為webcluster的應用 option httpchk GET /test.html #檢查服務器的test.html檔案 balance roundrobin #負載均衡調度演算法使用輪詢演算法roundrobin server inst1 192.168.10.20:80 check inter 2000 fall 3 #定義在線節點 server inst2 192.168.10.30:80 check inter 2000 fall 3 ---------------------引數說明--------------------------------------------------------------------------- balance roundrobin #負載均衡調度演算法 #輪詢演算法：roundrobin；最小連接數演算法：leastconn；來源訪問調度演算法：source，類似于nginx的ip_hash check inter 2000 #表示haproxy服務器和節點之間的一個心跳頻率 fall 3 #表示連續三次檢測不到心跳頻率則認為該節點失效 若節點配置后帶有“backup”表示該節點只是個備份節點，只有主節點失效該節點才會上，不攜帶“backup”，表示為主節點，和其它主節點共同提供服務，
5.4添加haproxy 系統服務
cp /opt/haproxy-1.5.19/examples/haproxy.init /etc/init.d/haproxy chmod +x haproxy chkconfig --add /etc/init.d/haproxy ln -s /usr/local/sbin/haproxy /usr/sbin/haproxy service haproxy start 或 /etc/init.d/haproxy start
5.5節點服務器部署
systemctl stop firewalld setenforce 0 yum install -y pcre-devel zlib-devel gcc gcc-c++ make useradd -M -s /sbin/nologin nginx cd /opt tar zxvf nginx-1.12.0.tar.gz -C /opt/ cd nginx-1.12.0/ ./configure --prefix=/usr/local/nginx --user=nginx --group=nginx && make && make install make && make install --192.168.10.20--- echo "this is xkq web" > /usr/share/nginx/html/index.html --192.168.10.30--- echo "this is wy web" > /usr/share/nginx/html/index.html ln -s /usr/share/nginx/sbin/nginx /usr/local/sbin/ nginx #啟動nginx 服 或者用yum安裝 cat > /etc/yum.repos.d/nginx.repo << 'EOF' [nginx] name=nginx repo baseurl=http://nginx.org/packages/centos/7/$basearch/ gpgcheck=0 EOF yum install nginx -y
5.6測驗 Web群集
在客戶端使用瀏覽器打開 http://192.168.10.10/index.html ，不斷重繪瀏覽器測驗負載均衡效果
六、實體操作：Haproxy集群的構建
6.1關閉防火墻，將安裝Haproxy所需軟體包傳到/opt目錄下
6.2編譯安裝 Haproxy
6.3Haproxy服務器配置
6.4添加haproxy 系統服務
6.5節點服務器部署
nginx1節點：
nginx2節點：上次nginx包到/opt目錄解壓和nginx1操作一樣,或者如下操作用yum安裝
6.6測驗 Web群集
web1測驗頁面：
web2測驗頁面：
七、Haproxy集群的日志重新定義的操作步驟
默認haproxy的日志是輸出到系統的syslog中，查看起來不是非常方便，為了更好的管理haproxy的日志，我們在生產環境中一般單獨定義出來，需要將haproxy的info及notice日志分別記錄到不同的日志檔案中
vim /etc/haproxy/haproxy.cfg global log /dev/log local0 info log /dev/log local0 notice service haproxy restart #需要修改rsyslog配置，為了便于管理，將haproxy相關的配置獨立定義到haproxy.conf，并放到/etc/rsyslog.d/下，rsyslog啟動時會自動加載此目錄下的所有組態檔， vim /etc/rsyslog.d/haproxy.conf if ($programname == 'haproxy' and $syslogseverity-text == 'info') then -/var/log/haproxy/haproxy-info.log &~ if ($programname == 'haproxy' and $syslogseverity-text == 'notice') then -/var/log/haproxy/haproxy-notice.log &~ #說明： 這部分配置是將haproxy的info日志記錄到/var/log/haproxy/haproxy-info.log下，將notice日志記錄到/var/log/haproxy/haproxy-notice.log下，“&~”表示當日志寫入到日志檔案后，rsyslog停止處理這個資訊， systemctl restart rsyslog.service tail -f /var/log/haproxy/haproxy-info.log #查看haproxy的訪問請求日志資訊
八、實體操作：Haproxy集群的日志重新定義
8.1修改rsyslog配置
8.2確認默認haproxy的日志、創建/var/log/haproxy/目錄并重啟服務
8.3在瀏覽器中重新訪問后，測驗日志生成
轉載請註明出處，本文鏈接：https://www.uj5u.com/qita/538042.html
標籤：其他
上一篇：5分鐘搭建圖片壓縮應用