前言
整篇文章主要通過對軟硬體負載均衡設備,服務器負載均衡的局限,DNS核心流程、客戶端和 服務端負載均衡異同、DNS負載均衡優缺點分析;以及CDN構建的好處、CDN重繪機制分析、常用CDN平臺分析;進行一個大得決議,如何搭建一個上億用戶量的負載均衡架構,
上億用戶量背后的負載均衡整體架構
負載均衡調度器,分擔網路請求到后端集群,解決集群帶來的問題,
CDN和反向代理, 基本原理都是快取,也是解決我們地區太大,導致不磁區訪問非常慢
反向代理部署在網站中心機房,CDN則靠近用戶的網路服務提供商

負載均衡層
面對大流量時,單臺服務器很難支撐大流量的請求,使用負債均衡層帶來的好處,還有產生了集群,因此可動態擴展,應用服務器增加,線性擴展,伸縮,
F5也能用來架設防火墻集群
LVS能做成集群、主從、雙主的形式
Nginx能做成集群、主從形式
進行層層拆分流量,


硬體負載均衡
F5的全稱是F5-BIG-IP LTM,是最流行的硬體負載均衡設備,并發能力達到百萬級,
F5產品系列:
F5 BIG-IP ASM應用安全管理器產品
F5 BIG-IP Edge Gateway產品
F5 BIG-IP GTM廣域流量管理器產品
F5 BIG-IP LTM本地流量管理器產品
F5 BIG-IP SAM 安全接入管理器產品
F5 BIG-IP Web應用加速器產品
F5 BIG-IP 鏈路控制器產品
F5 BIG-IP 企業管理器產品
F5 BIG-IP 廣域網優化模塊產品
F5的特性包括:
1. 多鏈路的負載均衡和冗余
2. 防火墻負載均衡
3. 服務器負載均衡
4. 高可用
5. 安全性
6. 易于管理
7. 還提供SSL加速、軟體升級、IP地址過濾、帶寬控制等輔助功能
F5 | 多云安全性和應用交付
對于硬體負載均衡價格是有點高的,而且并不對資料做處理,只是做一個壓縮轉發,
看起來就像是交換機路由器,
軟硬體負載均衡的區別
硬體負載均衡比軟體負載均衡支撐更多的高并發,相當大,硬體負載均衡里面都是從硬體級別去定制,而不是像軟體負載均衡運行在我們的計算機上,
硬體負載均衡設備有:NetScaler、F5、Radware和Array等,硬體負載均衡優點有專業團隊進行維護,單機抗壓能力強悍;缺點花銷太大,規模較小的網站來說還不需要使用,直接使用軟體負載均衡就行,
軟體負載均衡有:LVS/HAProxy、Nginx等,基于Linux的開源免費的負載均衡軟體策略,通過軟體級別來實作,費用非常低廉,很多大型的互聯網公司都采用軟體負載均衡來架設自己網站,軟體負載均衡穩定性非常好,幾乎很少宕機,
我們的電腦也具有路由功能,但是路由器卻更善于處理網路路由的事情,硬體負載均衡比軟體負載均衡強悍,是因為其內部有針對性的設計硬體設備,專門用來處理網路傳輸流量處理,
服務器負載均衡無法實作10億級并發
再強悍的硬體負載設備,單臺服務器的處理能力是有限的,
當達到某一個瓶頸時如何處理?
負載均衡方案DNS
DNS,Domain Name System,域名系統是因特網上作為域名和IP地址相互映射的一個
分布式資料庫
,方便用戶訪問互聯網,一個域名對應多個IP地址, 有這個dns,可以使并發量增加,
一種簡單的設計模式,在因特網上只使用一個DNS服務器,該服務器包含所有的映射,不適用當前的互聯網,單點故障、通信容量、遠距離延時、維護成本大,
DNS服務器一般分三種,根DNS服務器,頂級DNS服務器,權威DNS服務器,使用分布式的層次資料庫模式以及快取方法來解決單點集中式的問題,
通過頂級域名去尋找,往下進行找,最后找到對應的ip地址,
DNS核心流程分析
DNS決議程序,從瀏覽器出發:
- 1. 本地的hosts檔案,也是我們修改本地服務,就能找到,
- 2. 本地DNS決議器快取,
- 3. 本地DNS服務器,權威
- 4. 本地DNS服務器快取,非權威
- 5. 本地DNS服務器找不到 非轉發,根DNS服務器—>頂級域名服務器 轉發上一級DNS服務器,如此回圈
- 6. 由本地DNS服務器再回傳給客戶機
用命令 nslookup
www.qq.com
試試
從客戶端到本地DNS服務器是屬于遞回查詢,而DNS服務器之間就是的互動查詢就是迭代查詢,

配置的這個,找對應的域名的映射,
直到找到對應的ip地址,一般會有快取起來,所以我們一般訪問過后效率會很快也是這個原因,

DNS負載均衡優缺點分析
優點:
- 技術實作比較靈活、方便,簡單易行,成本低,適用大多數TCP/IP應用,不需要網路專家來進行設定維護,
- 對于Web應用不需要修改代碼來支持,
- Web服務器可以位于互聯網的任意位置上,
缺點:
- 單一的輪詢負載演算法,不能夠按照Web服務器的處理能力分配負載,也是功能不夠強大的,
- 不支持高可靠性,DNS負載均衡技術沒有考慮容錯,某臺Web服務器出現故障,請求仍分配這臺故障服務器上,
- 可能造成額外的網路開銷,為本地DNS服務資料實時性,與其他DNS同步,重繪時間設定較小,會使得DNS流量大增,
- 服務故障恢復有時延,某個服務器出現故障,即使及時修改了DNS設定,還是要等待DNS重繪后才能發揮作 用,等待期間,不能正常訪問服務器,
客戶端負載均衡和服務端服務均衡異同
服務端負載均衡,
請求到達服務器后,再從服務串列中挑選服務器,
實作 DNS域名決議負載均衡
反向代理負載均衡 IP負載均衡
客戶端負載均衡
,請求未發起,先從客戶端快取的服務串列挑選服務,
實作 Spring cloud中的ribbon Redis中的分片集群客戶端計算slot槽位
客戶端負載均衡和服務器負載均衡的核心差異在服務串列本身,客戶端負載均衡服務串列在通過客戶端維護,服務器負載均衡服務串列由中間服務單獨維護,

基于云平臺CDN服務實作內容分發和分流
CDN,全稱Content Delivery Network,即內容分發網路, 通過現有的Internet中增加一層新的網路架構,將網站的內容發布到最接近用戶的網路"邊緣",使用戶可以就近取得所需的內容,解決Internet網路擁擠的狀況,提高用戶訪問網站的回應速度,
CDN包括分布式存盤、負載均衡、網路請求的重定向和內容管理4個要件,而內容管理和全域的網路流量管理(Traffic海南用戶請求不用跑到北京電信機房Management)是CDN的核心所在,
海南即可回應處理內容服務基于快取服務器,也稱作代理快取(Surrogate),它位于網路的邊緣,距用戶僅有"一跳"(Single Hop)之遙,
CDN節點解決了跨運營商和跨地域訪問的問題,訪問延時大大降低大部分請求在CDN邊緣節點完成,CDN起到了分流作用,減輕了源站的負載
CDN重繪機制
瀏覽器快取策略有:Expires、Cache-control、Last-Modified、
Max-age、Etag
CDN快取策略
類似瀏覽器快取,CDN邊緣節點也存在著一套快取機制,CDN邊
緣節點快取策略因服務商不同而不同,但一般都會遵循http標
準協議,通過http回應頭中的Cache-control: max-age的欄位
來設定CDN邊緣節點資料快取時間,
缺點
當網站更新時,如果CDN節點上資料沒有及時更新,即便用戶再
瀏覽器使用Ctrl+F5的方式使瀏覽器端的快取失效,也會因為
CDN邊緣節點沒有同步最新資料而導致用戶訪問例外,
CDN邊緣節點對開發者是透明的,相比于瀏覽器Ctrl+F5的強制重繪來使瀏覽器本地快取失效,開發者可
以通過CDN服務商提供的“重繪快取”介面來達到清理CDN邊緣節點快取的目的,
常用CDN平臺
微軟CDN
為了吸引更多開發人員和網站使用ASP.NET,微軟為Microsoft AJAX和jQuery腳本提供了免費的CDN服務,提供了jQuery系列,jQ Validation,jQ Cycle,jQ DataTables及Ajax Control Toolkit,ASP.NET等資源,
新浪SAE CDN
新浪的SAE CDN的public resource加速服務,對常用js/css庫在全國采用cdn加速,用戶只在第一次訪問時加載js庫,以后就直接在本地快取讀了,提供的庫同百度基本相當,
開放靜態檔案 CDN
不僅僅是一個JS庫CDN,而是提供了一個倉庫,盡可能全面收錄優秀的開源庫,并免費為之提供 CDN 加速服務,使之有更好的訪問速度和穩定的環境,同時,也提供開源庫源接入的入口,讓所有人都可以提交開源庫,包括 JS、CSS、image 和
swf 等靜態檔案,一方面,提供了最新最流行的JS等庫資源如angular,underscore,backbone,zepto,seajs等 ;另一方面,
提供命令列工具鼓勵程式猿自行提交和管理開源庫,
CDNJS
大名鼎鼎的JS資源庫平臺,號稱Web 上最快的 JavaScript 資源庫(嘖嘖),類似 Google CDN 和微軟 CDN 服務,但是速度
比這二者更加快,CDNJS 上提供了眾多 JavaScript 庫,你可以直接在網頁上參考這些 JS 檔案,實作用戶瀏覽網站的最
佳速度體驗,同開放靜態CDN一樣,CDNJS也鼓勵添加JS庫到該站,只需要提交到 CDNJS 在 Github 上的專案即可,