1.負載均衡的概念:
負載均衡建立在現有網路結構之上,它提供了一種廉價有效透明的方法擴展網路設備和服務器的帶寬、增加吞吐量、加強網路資料處理能力、提高網路的靈活性和可用性。
負載均衡(Load Balance)其意思就是分攤到多個操作單元上進行執行,例如Web服務器、FTP服務器、企業關鍵應用服務器和其它關鍵任務服務器等,從而共同完成作業任務。大資料2.大資料高并發環境下使用負載均衡策略的重要性:
近年來,在網路時代的技術背景下,互聯網技術在企業和用戶需求的合力推動下迅速蔓延。流媒體作為代替普通文字和圖片的網路媒介,在互聯網中得到了爆發式的推廣和應用。在現有的網路環境下,面對巨大的視頻資料傳輸量和用戶的高并發性,傳統的單播技術和IP組播技術均難以支撐局面。進而,以應用層組播技術為基礎的網路電視和視頻直播系統得到了快速的應用和發展。 應用層組播技術避免了單播傳輸的低效率,有效解決了IP組播難以部署的問題,使得組播通信的主要任務由網路層路由器轉移到了應用層的端主機。端主機作為應用層組播網路的主角,在提供靈活性的同時具有不確定性,其自身的軟硬體性能、網路環境和用戶特性直接影響著組播系統的整體性能。綜合評估組播網路中各端主機節點的性能,使得組播網路的整體負載得到有效均衡是本文的研究重點。 本文基于國內外的研究成果,對應用層組播模型和負載均衡技術進行了深入的分析,設計了一種網-樹混合雙層應用層組播模型,并基于此模型提出了一種動態度約束負載均衡策略(DDLBS)。該模型中,組播網采用邏輯上的分層策略,上層組播節點采用性能穩定的網狀模型,下層組播節點為了避免回傳浪費資源的現象采用基于樹結構的簇模型。在組播網的構建中對端主機的軟硬體性能、上下行帶寬、資料傳輸性能和用戶特性等因素進行綜合分析,并采用評估演算法評估端主機節點的綜合性能,根據端主機性能的差異對組播網路中的端主機節點施行動態的度約束機制。DDLBS在綜合組播網中各節點性能的情況下,對節點的度進行動態調整,有效地均衡了各節點的負載,使組播網整體的負載得到了大大地降低,同時提高了組播系統的穩定性,很好的適應了組播網路大資料量傳輸和高并發性的需求。
3.負載均衡實作的方式有那些(硬體,軟體):
目前最常見的負載均衡應用是Web負載均衡。根據實作的原理不同,常見的web負載均衡技術包括:DNS輪詢、IP負載均衡和CDN。其中IP負載均衡可以使用硬體設備或軟體方式來實作。
IP負載均衡可以使用硬體設備,也可以使用軟體實作。硬體設備的主要產品是F5-BIG-IP-GTM(簡稱F5),軟體產品主要有LVS、HAProxy、NginX。其中LVS、HAProxy可以作業在4-7層,NginX作業在7層。
4.LVX和Nginx的概念起源作者:
LVX:
LVS:使用Linux內核集群實作一個高性能、高可用的負載均衡服務器,它具有很好的可伸縮性(Scalability)、可靠性(Reliability)和可管理性(Manageability)。
Nginx:
Nginx是由伊戈爾·賽索耶夫為俄羅斯訪問量第二的Rambler.ru站點(俄文:Рамблер)開發的,第一個公開版本0.1.0發布于2004年10月4日。
Nginx("engine x") 是一個高性能的HTTP和反向代理服務器,也是一個IMCP/POP3/SMTP服務器。
5.LVX和Nginx實作負載均衡方式上的區別和優缺點:
一、lvs的優勢:
1、抗負載能力強,因為lvs作業方式的邏輯是非常之簡單,而且作業在網路4層僅做請求分發之用,沒有流量,所以在效率上基本不需要太過考慮。在我手里的lvs,僅僅出過一次問題:在并發最高的一小段時間內均衡器出現丟包現象,據分析為網路問題,即網卡或linux2.4內核的承載能力已到上限,記憶體和cpu方面基本無消耗。
2、配置性低,這通常是一大劣勢,但同時也是一大優勢,因為沒有太多可配置的選項,所以除了增減服務器,并不需要經常去觸碰它,大大減少了人為出錯的幾率。
3、作業穩定,因為其本身抗負載能力很強,所以穩定性高也是順理成章,另外各種lvs都有完整的雙機熱備方案,所以一點不用擔心均衡器本身會出什么問題,節點出現故障的話,lvs會自動判別,所以系統整體是非常穩定的。
4、無流量,上面已經有所提及了。lvs僅僅分發請求,而流量并不從它本身出去,所以可以利用它這點來做一些線路分流之用。沒有流量同時也保住了均衡器的IO性能不會受到大流量的影響。
5、基本上能支持所有應用,因為lvs作業在4層,所以它可以對幾乎所有應用做負載均衡,包括http、資料庫、聊天室等等。
另:lvs也不是完全能判別節點故障的,譬如在wlc分配方式下,集群里有一個節點沒有配置VIP,會使整個集群不能使用,這時使用wrr分配方式則會丟掉一臺機。目前這個問題還在進一步測驗中。所以,用lvs也得多多當心為妙。
二、nginx和lvs作對比的結果
1、nginx作業在網路的7層,所以它可以針對http應用本身來做分流策略,比如針對域名、目錄結構等,相比之下lvs并不具備這樣的功能,所以nginx單憑這點可利用的場合就遠多于lvs了;但nginx有用的這些功能使其可調整度要高于lvs,所以經常要去觸碰觸碰,由lvs的第2條優點看,觸碰多了,人為出問題的幾率也就會大。
2、nginx對網路的依賴較小,理論上只要ping得通,網頁訪問正常,nginx就能連得通,nginx同時還能區分內外網,如果是同時擁有內外網的節點,就相當于單機擁有了備份線路;lvs就比較依賴于網路環境,目前來看服務器在同一網段內并且lvs使用direct方式分流,效果較能得到保證。另外注意,lvs需要向托管商至少申請多一個ip來做Visual IP,貌似是不能用本身的IP來做VIP的。要做好LVS管理員,確實得跟進學習很多有關網路通信方面的知識,就不再是一個HTTP那么簡單了。
3、nginx安裝和配置比較簡單,測驗起來也很方便,因為它基本能把錯誤用日志列印出來。lvs的安裝和配置、測驗就要花比較長的時間了,因為同上所述,lvs對網路依賴比較大,很多時候不能配置成功都是因為網路問題而不是配置問題,出了問題要解決也相應的會麻煩得多。
4、nginx也同樣能承受很高負載且穩定,但負載度和穩定度差lvs還有幾個等級:nginx處理所有流量所以受限于機器IO和配置;本身的bug也還是難以避免的;nginx沒有現成的雙機熱備方案,所以跑在單機上還是風險較大,單機上的事情全都很難說。
5、nginx可以檢測到服務器內部的故障,比如根據服務器處理網頁回傳的狀態碼、超時等等,并且會把回傳錯誤的請求重新提交到另一個節點。目前lvs中ldirectd也能支持針對服務器內部的情況來監控,但lvs的原理使其不能重發請求。重發請求這點,譬如用戶正在上傳一個檔案,而處理該上傳的節點剛好在上傳程序中出現故障,nginx會把上傳切到另一臺服務器重新處理,而lvs就直接斷掉了,如果是上傳一個很大的檔案或者很重要的檔案的話,用戶可能會因此而畝訓。
6、nginx對請求的異步處理可以幫助節點服務器減輕負載,假如使用apache直接對外服務,那么出現很多的窄帶鏈接時apache服務器將會占用大量記憶體而不能釋放,使用多一個nginx做apache代理的話,這些窄帶鏈接會被nginx擋住,apache上就不會堆積過多的請求,這樣就減少了相當多的記憶體占用。這點使用squid也有相同的作用,即使squid本身配置為不快取,對apache還是有很大幫助的。lvs沒有這些功能,也就無法能比較。
7、nginx能支持http和email(email的功能估計比較少人用),lvs所支持的應用在這點上會比nginx更多。
在使用上,一般最前端所采取的策略應是lvs,也就是DNS的指向應為lvs均衡器,lvs的優點令它非常適合做這個任務。
重要的ip地址,最好交由lvs托管,比如資料庫的ip、webservice服務器的ip等等,這些ip地址隨著時間推移,使用面會越來越大,如果更換ip則故障會接踵而至。所以將這些重要ip交給lvs托管是最為穩妥的,這樣做的唯一缺點是需要的VIP數量會比較多。
nginx可作為lvs節點機器使用,一是可以利用nginx的功能,二是可以利用nginx的性能。當然這一層面也可以直接使用squid,squid的功能方面就比nginx弱不少了,性能上也有所遜色于nginx。
nginx也可作為中層代理使用,這一層面nginx基本上無對手,唯一可以撼動nginx的就只有lighttpd了,不過lighttpd目前還沒有能做到nginx完全的功能,配置也不那么清晰易讀。另外,中層代理的IP也是重要的,所以中層代理也擁有一個VIP和lvs是最完美的方案了。
nginx也可作為網頁靜態服務器,不過超出了本文討論的范疇,簡單提一下。
具體的應用還得具體分析,如果是比較小的網站(日PV<1000萬),用nginx就完全可以了,如果機器也不少,可以用DNS輪詢,lvs所耗費的機器還是比較多的;大型網站或者重要的服務,機器不發愁的時候,要多多考慮利用lvs。
轉載請註明出處,本文鏈接:https://www.uj5u.com/caozuo/138281.html
標籤:非技術區
上一篇:centos使用yum groupinstall "Development Tools" 安裝時出錯,請幫忙看看
