在網路開發中,我發現有很多同學對一個基礎問題始終是沒有徹底搞明白,那就是一臺機器最大究竟能支持多少個網路連接?我想我有必要單獨發一篇文章來好好說一下這個問題,很多同學看到這個問題的第一反應是65535,原因是:“聽說埠號最多有65535個,那長連接就最多保持65535個了”,是這樣的嗎?還有的人說是應該受TCP連接里四元組的空間大小限制,這樣算起來就是非常非常大的一個數字了,這兩個答案都對,也都不對,
其實要想把這個問題搞清楚,最最最關鍵的地方在于要把TCP連接的兩端里的角色分清楚-客戶端和服務器端,你手頭的任何一臺服務器,一般情況下都即是服務器,又是客戶端,例如對于你的開發的后端介面,對于用戶來說你是服務器端,但你得請求Redis、Mysql去獲取資料,這時候又變成了客戶端,如果不把這臺機器作為客戶端和服務器端兩種角色拆開來理解,你將永遠被這個問題困惑下去, 所以本文分別從客戶端、服務端兩塊來展開聊聊,
客戶端
現在我們單獨來說客戶端,當一臺機器作為客戶端的時候,究竟能支持多少個TCP連接? 空嘴說沒有啥意思,我們直接用代碼來試試,
1.小試牛刀
開始實驗之前我們先來check下手頭機器上的埠數量的配置
$ sysctl -a | grep ip_local_port_range
net.ipv4.ip_local_port_range = 15000 65000
通過上述內核引數的輸出看到內核開放了50000個埠可以供TCP連接使用,接下來是一段看起來長,但其實非常簡單的TCP客戶端連接的代碼,用它來連接你的任意一個TCP Server,比如Nginx、Redis啥的都可以,

我通過這段代碼對我的某臺機器上的Nginx發起了連接
$ php client1.php 某臺服務器IP 80
通過netstat命令看到連接數量穩步上升,但當上升到5W的時候,出現了一條報錯
socket_connect() 失敗的原因是:Cannot assign requested address
回頭想想我們的ip_local_port_range引數值,65000-15000就只開放了5萬個,其實是超過這個限制了, 這個時候我們似乎可以初步得出一個相結論.當Linux作為客戶端建立連接的時候,最大連接數量是受內核引數net.ipv4.ip_local_port_range限制 而ip_local_port_range是可配置的,最大理論范圍是0-65535
進階
如果這個時候你相信了我上面的結論的話,就又被我帶了溝里了,為什么這么說,讓我們來看下面的實驗,
首先通過ifconfig命令看到我的機器上有兩塊網卡,每塊網卡都已經配置好了一個ip,

接著我們修改一下第一個實驗的代碼,在發起連接之前允許使用socket_bind來系結ip,

接下來我們分別啟動兩個控制臺,分別執行一下代碼,其中10.143.x.x和10.153.x.x是實驗用機的兩個網卡ip,
$ php client1.php 10.143.x.x 某臺服務器IP 80
$ php client2.php 10.153.x.x 某臺服務器IP 80
這個時候通過ss命令監控本機的ESTABLISH連接,發現已經突破5萬,并向10萬逼近了,
$ ss -n | grep ESTAB | wc –l
90005
現在我們終于可以得出更為正確的結論了,對于有1個Ip的客戶端來說,受限于ip_local_port_range引數,也受限于65535,但單Linux可以配置多個ip,有幾個ip,最大理論值就翻幾倍
多張網卡不是必須的,即使只有一張網卡,也可以配置多ip,k8s就是這么干的,在k8s里,一臺物理機上可以部署多個pod,但每一個pod都會被分配一個獨立的ip,所以完全不用擔心物理機上部署了過多的pod而影響你用的pod里的TCP連接數量,在ip給你的那一刻,你的pod就和其它應用隔離開了,
服務端
我們現在在來回頭考慮服務器端,對于服務器來說,最大支持的并發連接是多少呢?就有人開始可愛地糊涂了:“服務器端理論也是埠限制嗎?”,好,假設如果受影響的話,那我們的Nginx服務器只監聽了一個80埠,那Nginx只能接受一個TCP連接嘍?這明顯是太荒唐了,
好,我們再看另外一個靠譜一點的答案,那就是一條TCP連接是由一個四元組組成的,不考慮地址重用(unix的SO_REUSEADDR選項)的情況下,對于我們這臺Nginx Server來說,它的IP和埠是固定的,cp連接4元組中只有remote ip(也就是client ip)和remote port(客戶端port)是可變的,它可能建立的最大的連接數是2的32次方(ip數)×2的16次方(port數),這是2.8*10的14次方的一個大數字,兩百萬億!!
Linux上除了監聽80以外,還可以監聽其它的埠,例如Mysql的3306, Redis的6339,當然所有65535個埠你都可以用來監聽一遍,這樣理論上線就到了2的32次方(ip數)×2的16次方(port數)×2的16次方(服務器port數)個,感興趣你可以算一下,這個基本相當于無窮個了,
不過理想和實際總是會有差距的,因為Linux每維護一條TCP連接都要花費資源,處理連接請求,保活,資料的收發時需要消耗一些CPU,維持TCP連接主要消耗記憶體,我們題目的問題是考慮最大多少個連接,所以我們先不考慮資料的收發,那么TCP在靜止的狀態下,就不怎么消耗CPU了,主要消耗記憶體,而Linux上記憶體是有限的,
我們今天先直接把結論拋出來,一條TCP連接如果不發送資料的話,消耗記憶體是3.3K左右,如果有資料發送,需要為每條TCP分配發送快取區,大小受你的引數net.ipv4.tcp_wmem配置影響,默認情況下最小是4K,如果發送結束,快取區消耗的記憶體會被回收詳細的分析程序敬請期待接下來的另一篇文章,
假設你只保持連接不發送資料,那么你服務器可以建立的連接最大數量 = 你的記憶體/3.3K, 假如是4GB的記憶體,那么大約可接受的TCP連接數量是100萬左右,
這個例子里,我們考慮的前提是在一個行程下hold所有的服務器端連接,而在實際中的專案里,為了收發資料方便,很多網路IO模型還會為TCP連接再創建一個執行緒或協程,拿最輕量的golang來說,一個協程堆疊也需要2KB的記憶體開銷,
結論
一臺機器最大究竟能支持多少個網路連接?這個簡單的問題里其實埋了坑,導致無數的英雄好漢被困惑不解,就和樹上九只鳥打死一只還剩幾只的問題一樣,沒有和你說清楚樹上是真鳥,還是假鳥,也沒有說槍是有聲還是無聲的,通過今天的分析,相信你終于可以揚眉吐氣把這個問題踩在腳下摩擦了,
- TCP連接的客戶端機:每一個ip可建立的TCP連接理論受限于ip_local_port_range引數,也受限于65535,但可以通過配置多ip的方式來加大自己的建立連接的能力,
- TCP連接的服務器機:每一個監聽的埠雖然理論值很大,但這個數字沒有實際意義,最大并發數取決你的記憶體大小,每一條靜止狀態的TCP連接大約需要吃3
.3K的記憶體,
我的公眾號是「開發內功修煉」,在這里我不是單純介紹技術理論,也不只介紹實踐經驗,而是把理論與實踐結合起來,用實踐加深對理論的理解、用理論提高你的技術實踐能力,歡迎你來關注我的公眾號,也請分享給你的好友~~~
轉載請註明出處,本文鏈接:https://www.uj5u.com/houduan/230165.html
標籤:PHP
上一篇:聊聊TCP連接耗時的那些事兒
下一篇:PHP的那些魔術方法(二)
