集群概述及分類

一、集群的原理及作用

1、什么是集群？
簡單來講集群就是一組協同作業的服務器，

2、集群化的目的？
1）高并發
2）更穩定，魯棒性高
3）時效性高

3、提升服務器性能的方式
3.1 垂直拓展
更換更強大的軟/硬體
缺點：
1）軟硬體有上限，瓶頸明顯，
首先，軟體如nginx不可能將當前的資源全部占用掉轉化成并發量，其次作業系統本身有所限制，單個行程理論上最多支持65535個執行緒，換句話說單個行程最大并發量為65535個，再乘以cpu的核心數就是理論上單臺服務器能支撐的最大并發量，一個限制是應用程式能否把當前的資源吃透，另一個就是服務器的資源能不能繼續提升，
2）升級或更換服務器時，服務器會宕機，導致服務訪問中斷，
優點：
1）技術實作難度低
2）網路拓撲結構無需更改（最大的優點）

3.2 水平拓展
增加服務器數量
優點：
1）軟硬體上限高
2）添加節點服務不會中斷
3）性價比較高
缺點：
1）技術實作難度較高

3.3 水平拓展的常見實作方案
1）第一代水平拓展實作方案
早些年前幾乎所有的負載均衡都是通過DNS服務器實作的，通過在DNS服務器上對同一個域名添加多個不同的A記錄，使用rr輪詢機制將域名決議至不同ip的服務器，
后來由于快取服務器記錄了域名決議結果，影響DNS服務器的訪問分配平衡，加上DNS服務器只有在使用域名訪問時才能實作負載均衡，使用面很窄，已淘汰，

2）第二代水平拓展實作方案
基本架構由Agent端，真實服務器，共享存盤3部分組成，
如Nginx反向代理時，Apache作為web訪問負載服務器，MySQL作為資料庫，一些基于用戶的元資料一般都記錄到資料庫中，如用戶名、密碼等，另一些資料，如視屏、用戶頭像一般都存放在共享存盤（SHARE）中，

二、常見的集群簡介

1、負載均衡集群（LBC）
1.1 什么是負載均衡集群？
LBC負載均衡集群，將單臺服務器的壓力分擔至不同服務器的節點共同承接，
結構：前端組件（負載調度器）、真實服務器、共享存盤

1.2 思考：當集群中web服務器訪問壓力過大時，我們可以考慮擴容，即增加真實服務器節點來解決問題，但是，若Nginx反向代理服務器壓力過大時，該如何解決？
方案一：提升前端組件，負載調度器的性能，
方案二：將不同業務分攤至不同集群，
方案三：增加一些快取服務器，快取到不同的節點，提供資料支持，如斗魚使用的CDN技術，由各個城市節點快取資料提供資料支持，

1.3 負載調度器分類
1）按軟/硬體來區分
軟體：amoeba、Nginx、LVS、Ha-Proxy（linux-HA）
硬體：ROSE、安瑞科技、F5

2）按OSI七層模型來區分
OSI七層模型：物理層、資料鏈路層、網路層、傳輸層、會話層、表示層、應用層
能實作負載調度器的層級為：資料鏈路層、傳輸層、應用層

1》在第二層（資料鏈路層）實作負載調度器
實作負載調度器功能的硬體工具：F5
原理：不同的公共網線連接不同的網卡，通過不同的網卡發送資料包實作負載調度器的功能，目前支持的硬體如F5，沒有公開的軟體能支持，
實體：如國內網路連通性較差，用戶訪問萬維網時，由于不同網路供應商的網路在各個城市互相沒有做匯聚，導致資料必須發送到一些核心節點上才能被轉發，我們可以通過在二層網路使用負載調度器對來自不同供應商公共網路的訪問請求按照訪問者的ip區分其使用的公共網路型別，再分攤到在各自公共網路的萬維網服務器，達到始終在同一網路完成專線訪問，提高訪問效率，

2》在第四層（傳輸層）實作負載調度器
實作負載調度器功能的工具： LVS、Ha-Proxy（linux-HA）Nginx（新版）
原理：只完成了一次TCP連接，客戶端與真實服務器，
流程：客戶端將訪問請求發送至負載調度器，負載調度器直接將請求轉發給真實服務器，真實服務器收到請求后將查到的資料發送給負載調度器，負載調度器將資料直接轉發給客戶端，
安全性：不可以攔截SYN攻擊，真實服務器易受到來自客戶端的SYN攻擊，
范圍性：由于負載調度器不需要和客戶端與真實服務器建立完整的TCP連接，所以只要是C/S結構，根據TCP UDP 開發的服務體系都可以，
并發能力：四層大于七層

3》在第七層（應用層）實作負載調度器
實作負載調度器功能的工具：Ha-Proxy（linux-HA）Nginx
提示：若要使用域名主機名的方式實作負載均衡調度器，只能在第7層完成，只有在第7層才能識別，
原理：完成2次完整的TCP連接，第一次是客戶端與負載調度器，第二次是負載調度器與真實服務器，
流程：客戶端將訪問請求發送至負載調度器，負載調度器收到請求報文后拆解，然后重新封裝，封裝好后再將新請求報文發送給真實服務器，真實服務器收到請求后將查到的資料發送給負載調度器，負載調度器再將資料發給客戶端，
安全性：可以攔截SYN攻擊，
范圍性：由于負載調度器需要同時和客戶端與真實服務器建立完整的TCP連接，所以負載調度器只能負載自己識別的協議模式，
并發能力：四層大于七層

關于第四層與第七層的總結：
集群并發能力不強，安全性要求高，使用七層負載
集群并發能力不強，但是必須識別域名，使用七層負載
集群并發能力強，不管安全性要求如何，使用四層負載
集群并發能力強，安全性要求高，使用四七層負載

2、高可用集群（HAC）
2.1 定義
盡可能提高服務器可用性的集群，
可用性標準：99%（及格線，相當于服務器一年的宕機總時長約3.65天）
99.9%
99.99%
99.999%（目前行業最高標準，相當于服務器一年的宕機總時長約315秒）
提示：隨著標準提高，實作成本（造價）呈指數上升，
2.2 目的
避免因負載調度器的單節點故障導致整個集群癱瘓，
2.3 原理
2臺功能相同的服務器，一臺作為主服務器接收用戶訪問請求并分配壓力給真實服務器，另一臺作為熱備服務器持續向主服務器發送心跳檢測，一旦熱備服務器發現主服務器宕機，就主動接替主服務器的作業，
2.4 高可用服務器對切換ip的方式
1）網卡上開啟子介面，配置與主服務器相同的ip，配合腳本實作；
2）使用VRRP路由冗余協議實作，
2.5 高可用集群的缺點
資源利用率低
2.6 高可用服務器對腦分裂問題
1）什么是腦分裂？
由于某些原因,導致兩臺高可用服務器對在指定時間內，無法檢測到對方的心跳訊息，導致他們各自取得資源及服務的所有權，而此時的兩臺高可用服務器對都還活著并在正常運行，這樣就會導致一個IP或服務在兩端同時存在而發生沖突，當用戶寫入資料時可能會分別寫入到兩端，這可能會導致服務器兩端資料不一致或造成資料丟失，這種情況被稱為腦分裂，

2）導致腦分裂可能的原因
1》高可用服務器對之間心跳線鏈路故障,導致無法正常通信，
2》心跳線壞了(包括斷了,老化)，
3》網卡及相關驅動壞了,IP配置及沖突問題(網卡直連)，
4》心跳線間連接的設備故障(網卡及交換機)，
5》采用仲裁的方案，仲裁的機器出問題，
6》高可用服務器對上開啟了iptables防火墻阻擋了心跳訊息傳輸，
7》高可用服務器對上心跳網卡地址等資訊配置不正確,導致發送心跳失敗，
8》其他服務配置不當等原因,如心跳方式不同,心跳廣播沖突，軟體BUG等，
9》keepalived配置里同一VRRP示例，若virtual_router_id引數兩端配置不一致，

3）解決方案
1》冗余心跳線
2》多次間歇性探測
3》通過網路命令連接控制電源交換機斷掉主服務器電源

2.7 高可用集群實作方案
軟體：heartbeat（linux-ha）、Keepalived
硬體：ROSE、安瑞科技、F5

3、高性能運算集群（HPC）
3.1 定義
提供單臺計算機提供不了的運算能力，
3.2 原理
將要處理的某一個資料拆分成n個片段，分攤給n個計算機，每個計算機處理1個片段，最后將處理的結果匯總在一起得到最終結果，
3.3 特點
專用性強，使用面較窄
3.4 一個問題看懂高性能運算集群與負載均衡集群的區別
eg：一個任務A，理論上可以拆分為10個a，現在有11臺性能相同的服務器，問題如下：
如果是構建LBC，則處理1個A，共2個節點參與運算，處理了0個a；
如果是構建HPC，則處理1個A，共11個節點參與運算，處理了10個a，