主頁 > 軟體設計 > 分布式 - 說一說什么是正向代理,反向代理

分布式 - 說一說什么是正向代理,反向代理

2021-10-14 07:56:37 軟體設計

不啰嗦,我們直接開始!

引言

面完了RPC相關的一系列問題,面試官確定我對分布式架構的理論知識服務間通訊框架(RPC) 確實了解了,

接下來又開始問我網路相關的知識,但不是直接問HTTP三次握手,TCP,UPD這些,因為這些基礎已經在一面問完了,這一面只圍繞分布式系統相關的網路概念,從最基本的代理開始,

1、面試官:完看你簡歷提到使用過Nginx做代理,你是如何理解“正向代理”,“反向代理”的?

問題分析: 即使作為業務開發人員也會經常遇到需要配置Nginx或其他負載均衡的問題,比如你做了一個檔案上傳服務,上線后發現檔案被攔截了,看看報錯資訊一看是被Nginx 代理攔截了,Nginx限制了檔案大小,這個時候代理的概念是啥怎么看明白這個問題呢?

答:

正向代理: 代理用戶端請求服務端,相對于服務器用戶端是匿名的,比如單位內網使用了正向代理軟體,所有員工都訪問百度,但是百度看到的只有一個IP地址,百度也不知道到底是哪個員工訪問的,

反向代理: 代理服務端提供服務,相對于用戶服務端是匿名的,同樣是訪問www.baidu.com,所有用戶輸入的都是一個網站或者一個IP,但是百度背后有成千上萬的服務器,你也不知道你訪問的是哪一個,

2、面試官:那服務端為什么要使用代理?有啥好處?

問題分析: 面試官點點頭,對我理解的代理表示認可,隨后問我使用代理有什么用,考察代理技術的原理,

答:比如用 Nginx 做代理,這樣就可以開buffer,Nginx 可以把 Request 請求和 Response 在讀取完整之前 buffer 住,好比飯店服務員,所有顧客要什么菜和一個服務員說一下就行了,不會直接找廚師,一個服務員接待10個顧客,最后把點的20道菜分發給5個廚子做就行了,廚子好比服務器,這樣廚子就可以專心做菜了,接待這種事就有Nginx代理做,同時,還可以根據顧客數量多增加或者減少廚師數量,把任務均勻分給每個廚師,這就是負載均衡的作用,Nginx 就可以有效分發流量,

總的來說:

  1. 讓IO和服務器分離,突破IO性能,提高服務器吞吐能力,
  2. 控制流量分發,管理服務集群,起到負載均衡作用,
  3. 安全性和匿名性:通過攔截前端服務器的請求,反向代理服務器可以保護其身份,并可以抵御安全攻擊,它還確保可以從單個記錄定位器或URL訪問多個服務器,而不管服務端網路的結構如何,

3、面試官:那你知道哪些負載均衡演算法?

問題分析: 聊到了負載面試官要繼續深挖演算法了,

答:

  1. 輪詢演算法:簡單的理解就好比性感荷官在線發牌,從左到右依次發牌,最后每個人獲得的紙牌張數一樣,輪詢演算法就是將多個用戶請求按順序依次分發到1-10號機器上,目的就是讓每臺機器承受相同的壓力,100W次查詢理論上每臺機器分攤了10W次查詢,
  2. 加權輪詢演算法:輪詢演算法和加權輪詢演算法有什么區別?想象一下,如果10臺服務器的配置不相同,8臺機器是8核32G,剩下兩臺是4核16G,如果按照演算法1輪詢,每臺機器分擔10W次請求,那兩臺低配的服務器說我扛不住呀,你們配置比我好,這不公平,我要宕機休息一下,加權輪詢演算法就是為了應對這種情況,設定不同機器的權重不同,10臺同配置機器分別均攤10%的流量,如果機器性能不同,那讓兩臺低配的權重降低,只承擔5%的流量,這樣就公平了,能者多勞,每臺機器都不閑著發揮自己最大的性能,
  3. 隨機演算法:隨機演算法和輪詢演算法類似,讓所有請求隨機分配到不同的機器上,請求越多最后分散在每臺機器上的請求數約接近相等,
  4. 加權隨機演算法:和加權輪詢演算法道理相似,這里不多說了,
  5. 最小連接數演算法:最小鏈接數就是請求分發以前,先看當前10臺機器誰最清閑,誰當前處理的鏈接數最少那就把活分給誰,最后的分工也相對公平,
  6. Hash 演算法:前5種演算法有一個問題,就是同一個用戶的請求多次,可能每次都會被分配到不同機器上,這樣有什么不好?如果服務器快取了用戶 Session,那每次請求不同服務器都需要保存用戶的 Session,最壞的結果就是用戶請求10次,10臺服務器都快取了同一個用戶的 Session,這顯然是浪費服務器資源,這個時候 Hash 演算法就出現了,如果讀者還不知道 Hash,建議先 Google 下 Hash,hash(client:ip) % N,N就是服務器的數量,只要用戶的 IP不變,最后 Hash 取余的結果就不會變,這樣就能保證同一個用戶每次請求都會在同一臺機器上,這里的IP還可以是用戶的其他唯一ID,
  7. 一致性Hashhash(client:ip) % N 上面的公式中如果N變了怎么辦?比如一臺服務器斷電了,那最后 Hash 取余的結果就全變了,所有用戶會被分配到哪臺機器需要全部重新計算,這對有 Session 狀態的服務就是一場災難,一致性Hash 就是為了解決這個問題,

深入分析

負載均衡幾乎是各大互聯網公司搭建系統必用的技術了,也會有初學者學習分布式系統時會問我,什么是負載均衡,為什么要使用負載均衡,多加一層負載均衡會讓服務呼叫變慢嗎?帶著這些問題學習一下這一章,

先看下沒有負載均衡的網站架構

圖片描述

不知道你有沒有發現,如果服務端是單臺服務器,直接通過網路就可以鏈接,為什么說負載均衡幾乎是各大互聯網公司搭建系統必用的技術,除了個人網站,比如我的博客還是單體服務器以外,相信沒有哪家互聯網公司的服務敢這樣,一臺機器如果宕機怎么辦?讓用戶等一會兒嗎?那估計這家公司離倒閉就不遠了,

那怎么解決單機故障的問題,再看下面的圖,

圖片描述

可以看出,多臺服務器的情況,增加了一層負載均衡,

什么是負載均衡

負載平衡(Load balancing)是一種計算機技術,用來在多個計算機(計算機集群、網路連接、CPU、磁碟驅動器或其他資源中分配負載,以達到最佳化資源使用、最大化吞吐率、最小化回應時間、同時避免過載的目的, 使用帶有負載平衡的多個伺服器組件,取代單一的組件,可以通過冗余提高可靠性,負載平衡服務通常是由專用軟體和硬體來完成, 主要作用是將大量作業合理地分攤到多個操作單元上進行執行,用于解決互聯網架構中的高并發高可用的問題,

? ——— 維基百科

簡單地理解負載均衡的作用就是流量分發,將大量用戶請求分發到不同服務器上分擔壓力,如果有機器宕機,負載均衡服務器會負責把故障機器自動摘除,

常用的負載均衡框架

  1. Nginx:NGINX | High Performance Load Balancer, Web Server, & Reverse Proxy ,來自俄羅斯的軟體,不光可以用作負載均衡,反向代理,還是出色的web服務器,使用廣泛,所以也是面試常問的知識點,如果英文不錯可以參考,
  2. LVS:The Linux Virtual Server Project - Linux Server Cluster for Load Balancing ,Linux Virtual Server的縮寫,一個Linux下的開源服務器集群系統,章?文嵩博?士于1998年5月創立,
  3. HAProxy:http://www.haproxy.org/ ,一款高可用http/TCP負載均衡,
  4. F5:F5 | Multi-Cloud Security and Application Delivery 硬體負載均衡,

上述都是常見負載均衡,在企業里具體使用哪種框架并不是絕對的,主要取決于系統的需求和工程師對每個框架的了解程度,

一個框架能存活下來一定是具有自己的優點,沒有最好,適合自己的就是最好的,

比如F5,性能出色價格昂貴而出名,從十幾萬到上百萬不等,有強大的售后和技術支持,我作業多年只有作業第一年參加國家電網專案上使用過F5,當時還給了我們一臺測驗用的機器,后來辭職后面試別的公司,面試官問我以前的專案組是使用的什么負載均衡,我說F5,面試官感嘆國家隊果然財大氣粗,我那個時候不了解還有什么其他解決方案,表示F5很奇怪嗎?面試完回家才慢慢了解,原來有很多解決方案,阿里使用LVS,也使用Nginx,美團最初使用Nginx + LVS,以及后來獨立研發的MGW,

有人會問,怎么一個負載均衡就這么多種演算法,心好累,企業開發里能用這么多演算法嗎?真正到企業開發中,一般都只用一種,如果負責的服務器沒有帶狀態的 Session,也不存在機器配置不相同的情況,那就可以用輪詢或隨機演算法,工程師根據實際情況選擇最合適自己的演算法,

正向代理&反向代理

正向代理

生活中的正向代理,打個比方,你想去俄羅斯旅行,需要去使館辦理簽證,手續麻煩,你完全不知道從何下手,這個時候你想到找旅行社,有專門的導游可你幫你代辦,你只需提供資料就在家等著拿簽證就可以了,你是客戶端,俄羅斯使館是服務端,導游就是代理端,

正向代理就是代理客戶端,服務端不知道客戶端是誰,

反向代理

互聯網不夠發達的時候,我們都打過10086,有事兒就找客服,全國31個省都有自己的客服中心,每個客服中心都有上百個客服小哥小姐姐,我們不關心給你分配的是誰,只需要接通10086后會自動給你分配客服給你,這就是反向代理,

反向代理就是代理服務端,客戶端不知道服務端是誰,

圖片描述

反向代理服務器可以充當“交通警察”,如上圖,位于后端服務器(baidu)前面,并以最大化速度和容量利用率的方式在一組服務器上分發客戶端請求,同時確保沒有一個服務器過載,可以降低性能,如果服務器出現故障,負載均衡器會將流量重定向到其它正常的服務器上,

總結

這一節主要講了負載均衡在網站后臺建設中的應用和代理的概念,負載均衡演算法和正/反向代理的概念也是面試中容易碰到的基礎問題,是初學者必須掌握的概念,

不啰嗦,文章結束,期待三連!

轉載請註明出處,本文鏈接:https://www.uj5u.com/ruanti/312094.html

標籤:其他

上一篇:做了3年Android開發,含淚吃透這份面試題后,我從12K變成了25K

下一篇:網路TCP/IP基礎(IP地址網路匯總與規劃)

標籤雲
其他(157675) Python(38076) JavaScript(25376) Java(17977) C(15215) 區塊鏈(8255) C#(7972) AI(7469) 爪哇(7425) MySQL(7132) html(6777) 基礎類(6313) sql(6102) 熊猫(6058) PHP(5869) 数组(5741) R(5409) Linux(5327) 反应(5209) 腳本語言(PerlPython)(5129) 非技術區(4971) Android(4554) 数据框(4311) css(4259) 节点.js(4032) C語言(3288) json(3245) 列表(3129) 扑(3119) C++語言(3117) 安卓(2998) 打字稿(2995) VBA(2789) Java相關(2746) 疑難問題(2699) 细绳(2522) 單片機工控(2479) iOS(2429) ASP.NET(2402) MongoDB(2323) 麻木的(2285) 正则表达式(2254) 字典(2211) 循环(2198) 迅速(2185) 擅长(2169) 镖(2155) 功能(1967) .NET技术(1958) Web開發(1951) python-3.x(1918) HtmlCss(1915) 弹簧靴(1913) C++(1909) xml(1889) PostgreSQL(1872) .NETCore(1853) 谷歌表格(1846) Unity3D(1843) for循环(1842)

熱門瀏覽
  • 面試突擊第一季,第二季,第三季

    第一季必考 https://www.bilibili.com/video/BV1FE411y79Y?from=search&seid=15921726601957489746 第二季分布式 https://www.bilibili.com/video/BV13f4y127ee/?spm_id_fro ......

    uj5u.com 2020-09-10 05:35:24 more
  • 第三單元作業總結

    1.前言 這應該是本學期最后一次寫作業總結了吧。總體來說,對作業的節奏也差不多掌握了,作業做起來的效率也更高了。雖然和之前的作業一樣,作業中都要用到新的知識,但是相比之前,更加懂得了如何利用工具以及資料。雖然之間卡過殼,但總體而言,這幾次作業還算完成的比較好。 2.作業程序總結 相比前兩個單元,此單 ......

    uj5u.com 2020-09-10 05:35:41 more
  • 北航OO(2020)第四單元博客作業暨課程總結博客

    北航OO(2020)第四單元博客作業暨課程總結博客 本單元作業的架構設計 在本單元中,由于UML圖具有比較清晰的樹形結構,因此我對其中需要進行查詢操作的元素進行了包裝,在樹的父節點中存盤所有孩子的參考。考慮到性能問題,我采用了快取機制,一次查詢后盡可能快取已經遍歷過的資訊,以減少遍歷次數。 本單元我 ......

    uj5u.com 2020-09-10 05:35:48 more
  • BUAA_OO_第四單元

    一、UML決議器設計 ? 先看下題目:第四單元實作一個基于JDK 8帶有效性檢查的UML(Unified Modeling Language)類圖,順序圖,狀態圖分析器 MyUmlInteraction,實際上我們要建立一個有向圖模型,UML中的物件(元素)可能與同級元素連接,也可與低級元素相連形成 ......

    uj5u.com 2020-09-10 05:35:54 more
  • 6.1邏輯運算子

    邏輯運算子 1. && 短路與 運算式1 && 運算式2 01.運算式1為true并且運算式2也為true 整體回傳為true 02.運算式1為false,將不會執行運算式2 整體回傳為false 03.只要有一個運算式為false 整體回傳為false 2. || 短路或 運算式1 || 運算式2 ......

    uj5u.com 2020-09-10 05:35:56 more
  • BUAAOO 第四單元 & 課程總結

    1. 第四單元:StarUml檔案決議 本單元采用了圖模型決議UML。 UML檔案可以抽象為圖、子圖、邊的邏輯結構。 在實作中,圖的節點包括類、介面、屬性,子圖包括狀態圖、順序圖等。 采用了三次遍歷UML元素的方法建圖,第一遍遍歷建點,第二、三次遍歷設定屬性、連邊,實作圖物件的初始化。這里借鑒了一些 ......

    uj5u.com 2020-09-10 05:36:06 more
  • 談談我對C# 多型的理解

    面向物件三要素:封裝、繼承、多型。 封裝和繼承,這兩個比較好理解,但要理解多型的話,可就稍微有點難度了。今天,我們就來講講多型的理解。 我們應該經常會看到面試題目:請談談對多型的理解。 其實呢,多型非常簡單,就一句話:呼叫同一種方法產生了不同的結果。 具體實作方式有三種。 一、多載 多載很簡單。 p ......

    uj5u.com 2020-09-10 05:36:09 more
  • Python 資料驅動工具:DDT

    背景 python 的unittest 沒有自帶資料驅動功能。 所以如果使用unittest,同時又想使用資料驅動,那么就可以使用DDT來完成。 DDT是 “Data-Driven Tests”的縮寫。 資料:http://ddt.readthedocs.io/en/latest/ 使用方法 dd. ......

    uj5u.com 2020-09-10 05:36:13 more
  • Python里面的xlrd模塊詳解

    那我就一下面積個問題對xlrd模塊進行學習一下: 1.什么是xlrd模塊? 2.為什么使用xlrd模塊? 3.怎樣使用xlrd模塊? 1.什么是xlrd模塊? ?python操作excel主要用到xlrd和xlwt這兩個庫,即xlrd是讀excel,xlwt是寫excel的庫。 今天就先來說一下xl ......

    uj5u.com 2020-09-10 05:36:28 more
  • 當我們創建HashMap時,底層到底做了什么?

    jdk1.7中的底層實作程序(底層基于陣列+鏈表) 在我們new HashMap()時,底層創建了默認長度為16的一維陣列Entry[ ] table。當我們呼叫map.put(key1,value1)方法向HashMap里添加資料的時候: 首先,呼叫key1所在類的hashCode()計算key1 ......

    uj5u.com 2020-09-10 05:36:38 more
最新发布
  • 【中介者設計模式詳解】C/Java/JS/Go/Python/TS不同語言實作

    * 中介者模式是一種行為型設計模式,它可以用來減少類之間的直接依賴關系,
    * 將物件之間的通信封裝到一個中介者物件中,從而使得各個物件之間的關系更加松散。
    * 在中介者模式中,物件之間不再直接相互互動,而是通過中介者來中轉訊息。 ......

    uj5u.com 2023-04-20 08:20:47 more
  • 露天煤礦現場調研和交流案例分享

    他們集團的資訊化公司及研究院在一個礦區正在做智能礦山的統一平臺的 試點,專案投資大概1億,包括了礦山的各方面的內容,顯示得我們這次交流有點多余。他們2年前開始做智能礦山的規劃,有很多煤礦行業專家的加持,他們的描述是非常完美,但是去年底應該上線的平臺,現在還沒有看到影子。他們確實有很多場景需求,但是被... ......

    uj5u.com 2023-04-20 08:20:25 more
  • 《社區人員管理》實戰案例設計&個人案例分享

    設計是一個讓人夢想成真程序,開始編碼、測驗、除錯之前進行需求分析和架構設計,才能保證關鍵方面都做正確 ......

    uj5u.com 2023-04-20 08:20:17 more
  • 軟體架構生態化-多角色交付的探索實踐

    作為一個技術架構師,不僅僅要緊跟行業技術趨勢,還要結合研發團隊現狀及痛點,探索新的交付方案。在日常中,你是否遇到如下問題 “ 業務需求排期長研發是瓶頸;非研發角色感受不到研發技改提效的變化;引入ISV 團隊又擔心質量和安全,培訓周期長“等等,基于此我們探索了一種新的技術體系及交付方案來解決如上問題。 ......

    uj5u.com 2023-04-20 08:20:10 more
  • 【中介者設計模式詳解】C/Java/JS/Go/Python/TS不同語言實作

    * 中介者模式是一種行為型設計模式,它可以用來減少類之間的直接依賴關系,
    * 將物件之間的通信封裝到一個中介者物件中,從而使得各個物件之間的關系更加松散。
    * 在中介者模式中,物件之間不再直接相互互動,而是通過中介者來中轉訊息。 ......

    uj5u.com 2023-04-20 08:19:44 more
  • 露天煤礦現場調研和交流案例分享

    他們集團的資訊化公司及研究院在一個礦區正在做智能礦山的統一平臺的 試點,專案投資大概1億,包括了礦山的各方面的內容,顯示得我們這次交流有點多余。他們2年前開始做智能礦山的規劃,有很多煤礦行業專家的加持,他們的描述是非常完美,但是去年底應該上線的平臺,現在還沒有看到影子。他們確實有很多場景需求,但是被... ......

    uj5u.com 2023-04-20 08:19:07 more
  • 《社區人員管理》實戰案例設計&個人案例分享

    設計是一個讓人夢想成真程序,開始編碼、測驗、除錯之前進行需求分析和架構設計,才能保證關鍵方面都做正確 ......

    uj5u.com 2023-04-20 08:18:57 more
  • 軟體架構生態化-多角色交付的探索實踐

    作為一個技術架構師,不僅僅要緊跟行業技術趨勢,還要結合研發團隊現狀及痛點,探索新的交付方案。在日常中,你是否遇到如下問題 “ 業務需求排期長研發是瓶頸;非研發角色感受不到研發技改提效的變化;引入ISV 團隊又擔心質量和安全,培訓周期長“等等,基于此我們探索了一種新的技術體系及交付方案來解決如上問題。 ......

    uj5u.com 2023-04-20 08:18:49 more
  • 05單件模式

    #經典的單件模式 public class Singleton { private static Singleton uniqueInstance; //一個靜態變數持有Singleton類的唯一實體。 // 其他有用的實體變數寫在這里 //構造器宣告為私有,只有Singleton可以實體化這個類! ......

    uj5u.com 2023-04-19 08:42:51 more
  • 【架構與設計】常見微服務分層架構的區別和落地實踐

    軟體工程的方方面面都遵循一個最基本的道理:沒有銀彈,架構分層模型更是如此,每一種都有各自優缺點,所以請根據不同的業務場景,并遵循簡單、可演進這兩個重要的架構原則選擇合適的架構分層模型即可。 ......

    uj5u.com 2023-04-19 08:42:41 more