代理、隧道、網關

一、代理

為什么需要代理？

我們知道，內網通常是無法訪問互聯網的，恰巧我們又有這樣的需求，這個時候，我們就可以架設一個代理服務器，客戶端可以直接訪問代理服務器，然后由代理服務器訪問資源服務器，

我們平時瀏覽網頁時，客戶端向服務端發送請求，web服務器收到請求后，向瀏覽器回傳網頁資料，最后瀏覽器渲染網頁呈現在我們面前，

HTTP代理的原理基本相同，我們在客戶端設定了HTTP代理服務器，所有的HTTP請求就會首先發送到HTTP代理服務器上，代理服務器自動提取請求資料包的Request資料，然后作為客戶端向Web服務器發送請求，并且把Web服務器回傳的資料轉發給發送請求的客戶端，代理服務器在這個程序中充當了中間人的角色，

對于客戶端來說，代理扮演服務器的角色，接收請求、回傳回應；對于服務器來說，代理扮演著客戶端的角色，發送請求、接收回應，

在這個程序中，如果代理服務器不主動向服務端透露客戶端的IP資訊，并且不改變客戶端發來的請求資訊，那么從服務端的角度來看，一直都是代理服務器在向它請求資料，完全察覺不到真實客戶端的存在，我們把這種型別的代理成為全匿名代理，除此之外，代理服務器對真實客戶端的隱藏程度，還可以分為：普通匿名代理、透明代理，

爬蟲有一個代理池，其實就是利用很多不同的代理服務器，去對目標網站進行爬取，這樣防止單個IP訪問頻率過高被網站封殺，

但是現在越來越多的網站已經不是采用單純的HTTP協議了，而是在HTTP上加入了用來加密資料包的安全層，即HTTPS，其開發的主要目的是提供對網站服務器的身份認證，保護交換資料的隱私與完整性，但這卻影響到了我們剛才談到的代理服務器的正常作業，因為如果客戶端還是像剛剛那樣只是簡單地把本該直接發送給服務端的加密后的請求資料包發給代理服務器的話，由于資料包中的內容是被加密的，代理服務器無法讀取請求頭內容，后面的作業也就無法進行了，

HTTP代理其實是有辦法代理HTTPS資料包的，解決方式就是通過一個特殊的請求方法“connect”，它是HTTP中的一種請求方法，connect方法可以開啟一個客戶端與所請求資源之間的雙向溝通的通道，這樣客戶只需每次在發送資料給代理之前，先向代理發起connect請求，通知代理服務器去與服務端主機建立好連接，然后再向代理發送請求資料，代理收到資料后，代理不管三七二十一直接轉發給主機，再將服務端回傳的資料轉發給客戶端，直到任何一方結束連接，

其實理論上來講，這種方式是能夠代理任何基于TCP連接的應用層資料，包括HTTPS、FTP、SSH之類，因為在客戶端通知代理與服務端建立好連接之后，代理會直接轉發收到的任何資料，而并不關心資料內容，

那既然HTTP代理能夠代理HTTPS資料，那為什么還有種代理服務器叫HTTPS代理？

其實，HTTPS代理并不是指用來代理HTTPS的代理服務器，它只是將我們說的HTTP代理程序中客戶端與服務端的連接方式改為了HTTPS，所以叫做HTTPS代理，

作為用戶，我們在上網時設定代理服務器，可以訪問原來無法訪問的資源，可以做快取，加速訪問資源，還可以對外隱藏用戶資訊，這種情況的代理可以把它叫做正向代理，正向代理是代表客戶端向服務端發起請求，而反向代理，就是代表服務器向用戶提供服務，正向代理隱藏真實客戶端，反向代理隱藏真實服務端，

有時候網路供應商會對上網用戶的埠、目的網站、協議、游戲、即使通訊軟體等進行限制，使用代理服務器就可以突破這些限制，

可以看到，代理主要的作用，就包括：提高訪問速度、組織內部針對特定網站的訪問控制、隱藏真實身份、突破限制，

二、隧道

前面我們說了，當我們需要用內網訪問處于互聯網中的資源服務器時，可以通過代理來解決需求，還有一種解決問題的方式：隧道，

隧道和代理十分相似，代理服務器需要客戶端向代理服務器發送請求，由代理服務器轉發給資源服務器，隧道服務器和代理服務器一樣，也有兩張網卡，分別處于客戶端和資源服務端的網段中，但是和代理不同是，使用了隧道服務器之后，可以直接在客戶端向資源服務器發送請求，

這個時候，在我們感覺，就好像是隱藏了隧道服務器，

三、網關

1. 交換機：

作用：將資料包發送到正確的位置，

模擬郵遞員送郵件的場景，交換機就相當于郵遞員，他的任務就是根據目標中的MAC地址，找到對應的物理埠，

一臺交換機有很多埠，它們都有自己的編號，計算機的網卡通過網線連接到網口上，這個埠就是一個確定的物理位置，我們只要知道某個網卡的MAC地址在哪個埠上，就能正確地將資料包發給它，在交換機中，有一張埠和MAC地址的映射關系表（MAC地址表），交換機會維護這張關系映射表，

我們知道，每一包資料都會有兩個MAC地址，一個是發送方的地址，稱為源MAC，另一個是接收方的MAC地址，稱為目標MAC，交換機收到一包資料后，首先將源MAC與接收埠系結，然后根據目標MAC查找，從哪個目標MAC發送出去，這個時候，就會出現兩種情況：

1. 查詢到了關聯埠，就直接從關聯埠發出，
2. 未查詢到關聯埠，則會向除接收埠外的所有埠群發，這種行為稱之為泛洪，如果目標MAC地址存在于這個網路中，那么它一定會接收到群發的訊息，

運行一段時間后，就可以通過MAC地址表找到網路中所有的網卡設備，

由此可見，交換機只關心資料包中的MAC地址，而不關注IP地址，

MAC處在第二層資料鏈路層，所以交換機也稱為二層設備，

2. 路由器：

路由器有兩種口：LAN口、WAN口，

當我們忽略路由器的WAN口時，路由器就是一臺交換機，

加上WAN口后，就引入了網關的概念，

為了了解網關的作用，我們需要先了解一下子網是如何劃分的：

首先，我們將子網掩碼和IP按位與，當結果相同時，我們就認為它們屬于一個子網，

可以看到，其實只要掩碼為1的位置上，兩個IP的對應位相同，那么就屬于一個子網，

當子網掩碼減小時，對應X可以各種情況可變位數就越多，那么對應的IP個數就越多，

TCP/IP協議規定，不同子網之間是不可以直接通信的，如果需要通信，需要通過網關來轉發，

網關上有兩張網卡，分別配置了屬于兩個子網的IP地址，可以在兩個網關之間轉發資料包，這樣，我們就擁有了連接兩個子網的網路，

子網1中的計算機a發送資料包時，首先計算機a根據目標ip判斷是否跟自己屬于同一個子網，如果是一個子網，則直接從網卡發出，否則，則需要將資料包的MAC地址改為網關MAC，然后發送給網關，網關拿到這一包資料后，再通過路由表查詢這一包資料屬于子網2，網關修改目標MAC地址為計算機b的MAC地址，修改源MAC為自己的MAC，然后從子網2的網卡發出，

程序中多次出現的：根據目標IP判斷如何發送的行為，就叫做路由，

LAN口與WAN口互相發送資料，它們分別屬于兩個不同的子網，所以從內網訪問互聯網就屬于跨網路行為，這時候，就需要路由器擔任網關的角色了，

代理 - bilibili_http代理是什么原理？如何搭建http代理服務器

隧道 - bilibili_Shadowsocks原始碼解讀——什么是代理？什么是隧道？

網關 - bilibili_交換機和路由器有什么區別？