- 產生原因
- TIME_WAIT 狀態
- 2 MSL 時間
- 序列號回繞
- 導致問題
- Nginx
- 長連接
- 引數優化
- 復用 TIME_WAIT 連接
- 增加埠數量
- 加快回收
- 其他
- 參考
產生原因
TCP 連接關閉時，會有 4 次通訊（四次揮手），來確認雙方都停止收發資料了，如上圖，主動關閉方，最后發送 ACK 時，會進入 TIME_WAIT 狀態，要等 2MSL 時間后，這條連接才真正消失，
TIME_WAIT 狀態
TCP 的可靠傳輸機制要求，被動關閉方（簡稱 S）要確保最后發送的 FIN K 對方能收到，比如網路中的某個路由器出現例外，主動關閉方（簡稱 C）回復的 ACK K+1 沒有及時到達，S 就會重發 FIN K 給 C，如果此時 C 不進入 TIME_WAIT 狀態，立馬關閉連接，會有 2 種情況：
- C 機器上，有可能新起的連接會重用舊連接的埠，此時新連接就會收到 S 端重發的 FIN K 訊息，可能干擾新連接傳輸資料，
- C 機器上，并沒有用舊連接埠，此時會回復給 S 端一個 RST 型別的訊息，應用程式報 connect reset by peer 例外，
為避免上面情況， TCP 會等待 2 MSL 時間，讓 S 發的 FIN K 和 C 回復的 ACK K+1 在網路上消失，才真正清除掉連接，
2 MSL 時間
MSL是 Maximum Segment Lifetime的英文縮寫，可譯為“最長報文段壽命”，是 TCP 協議規定報文段在網路中最長生存時間，超出后報文段就會被丟棄，RFC793 定義 MSL 為 2 分鐘，Linux 實作會默認設定 30 秒，
MSL 時間，是從 C 回復 ACK 后開始 TIME_WAIT 計時，如果這期間收到 S 重發的 FIN 在回復 ACK 后，重新開始計時，這塊代碼是 Linux tcp_timewait_state_process 函式處理的，
2 MSL 是為了確保 C 和 S 兩端發送的資料都在網路中消失，不會影響后續的新連接，該如何理解？
假設 C 回復 ACK ，S 經過 t 時間后收到，則有 0 < t <= MSL，因為 C 并不知道 S 多久收到，所以 C 至少要維持 MSL 時間的 TIME_WAIT 狀態，才確保回復的 ACK 從網路中消失， 如果 S 在 MSL 時間收到 ACK， 而收到前一瞬間， 因為超時又重傳一個 FIN ，這個包又要 MSL 時間才會從網路中消失，
回復 MSL 后消失 + 發送 MSL 后消失 = 2 MSL，
序列號回繞
前面介紹的第一種情況，可能會干擾新連接資料的原因，在于 TCP 傳輸資料資料時會攜帶 sequence number，這個值每次傳輸時會加上要傳輸的位元組數量，單位是無符號 32 位的，最大 2^32 - 1，雙方交換大約 4G 資料，就會回繞到 0 重新計算，注意初始值 ISN 并不是 0 ，而是隨機的，
假設立馬關閉 TIME_WAIT 連接并復用，這條新連接，在協議規定的 2 分鐘 MSL 內，就發生回繞，在低速互聯網時代，沒有這樣的問題，傳輸 4G 資料，早超過舊連接資料段的最大 MSL 了， 帶寬回繞臨界值如下：
網路 bits/sec bytes/sec 回繞時間（秒）
ARPANET 56kbps 7KBps 3*10**5 (~3.6 days)
DS1 1.5Mbps 190KBps 10**4 (~3 hours)
Ethernet 10Mbps 1.25MBps 1700 (~30 mins)
DS3 45Mbps 5.6MBps 380
FDDI 100Mbps 12.5MBps 170
這個回繞在 rfc1185 有更詳細的介紹，解決辦法就是增加時間戳（tcp_timestamps），用以區分是回繞后的新序列號，還是舊序列號，
導致問題
從前面的分析來看，出現 TIME_WAIT 屬于正常行為，但在實際生產環境中，大量的 TIME_WAIT 會導致系統例外，
假設前面的 C 是 Client，S 是 Server，如果 C 出現大量的 TIME_WAIT，會導致新連接無埠可以用，出現
Cannot assign requested address 錯誤，這是因為埠被占完了，Linux 一般默認埠范圍是：32768-61000，可以通過 cat /proc/sys/net/ipv4/ip_local_port_range 來查看，根據 TCP 連接四元組計算，C 連接 S 最多有 28232 可以用，也就是說最多同時有 28232 個連接保持，
看著挺多，但如果用短連接的話很快就會出現上面錯誤，因為每個連接關閉后，需要保持 2 MSL 時間，也就是 1分鐘，這意味著 1 分鐘內最多建立 28232 個連接，每秒鐘 470 個，在高并發系統下肯定是不夠用的，
Nginx
連接主動關閉方會進入 TIME_WAIT，如果 C 先關閉，C 會出現上面錯誤，如果是客戶端時真正的客戶（瀏覽器），一般不會觸發上面的錯誤，
如果 C 是應用程式或代理，比如 Nginx，此時鏈路是：瀏覽器 -> Nginx -> 應用， 因為 Nginx 是轉發請求，自身也是客戶端，所以如果 Nginx 到應用是短連接，每次轉發完請求都主動關閉連接，那很快會觸發到埠不夠用的錯誤，
Nginx 默認配置連接到后端是 HTTP/1.0 不支持 HTTP keep-alive，所以每次后端應用都會主動關閉連接，這樣后端出現 TIME_WAIT，而 Nginx 不會出現，
后端出現大量的 TIME_WAIT 一般問題不明顯，有個需要注意的點是：
查看服務器上/var/log/messages 有沒有 TCP: time wait bucket table overflow 的日志，有的話是超出最大 TIME_WAIT 的數量了，超出后系統會把多余的 TIME_WAIT 洗掉掉，會導致前面章節介紹的 2 種情況，
這個錯誤可以調大內核引數 /etc/sysctl.conf 中 tcp_max_tw_buckets 來解決，
長連接
一個解決方案是 Nginx 與后端呼叫，啟用 HTTP/1.1 開啟 keep-alive ，保持長連接，配置如下：
http{
upstream www{
keepalive 500; # 保持和后端的最大空閑連接數量
}
proxy_set_header X-Real-IP $remote_addr; ## 不會生效
server {
location / {
proxy_http_version 1.1; # 啟用 HTTP/1.1
proxy_set_header Connection "";
}
}
}
proxy_set_header Connection ""; 這個配置是設定 Nginx 請求后端的 Connection header 的值為空，目的是防止客戶端傳值 close 給 Nginx，Nginx 又轉發給后端，導致無法保持長連接，
在 Nginx 配置中有個注意的點是：當前配置 location 中如果定義了 proxy_set_header ，則不會從上級繼承proxy_set_header 了，如上面配置的 proxy_set_header X-Real-IP $remote_addr 則不會生效，
沒有顯示定義的 header，Nginx 默認只帶下面 2 個 header：
proxy_set_header Host $proxy_host;
proxy_set_header Connection close;
引數優化
除保持長連接外，調整系統引數也可以解決埠不夠用的問題，
復用 TIME_WAIT 連接
設定 tcp_tw_reuse = 1： 1 表示開啟復用 TIME_WAIT 狀態的連接，復用的前提條件：
- 要同時開啟 tcp_timestamps ，已默認開啟；
- 舊連接最后收到資料段超過 1 秒；
這 2 個條件保證從資料完整性的角度，復用是安全的，為什么這么說呢？
前面介紹快速關閉并復用，會導致舊連接的資料段發給新連接，開啟復用后 TCP 如果收到舊連接的資料段，發現時間小于新連接的接收時間，會直接丟棄掉，這樣就不會干擾新連接資料，
這個引數在 Linux tcp_twsk_unique 函式中讀取的：
int reuse = sock_net(sk)->ipv4.sysctl_tcp_tw_reuse;
// tcptw->tw_ts_recent_stamp 為 1 表示舊的 TIME_WAIT 連接是攜帶時間戳的，
// tcp_tw_reuse reuse 開啟復用
// time_after32 表示舊的 TIME_WAIT 連接，最后收到資料已超過 1 秒，
if (tcptw->tw_ts_recent_stamp &&
(!twp || (reuse && time_after32(ktime_get_seconds(),
tcptw->tw_ts_recent_stamp)))) {
if (likely(!tp->repair)) {
u32 seq = tcptw->tw_snd_nxt + 65535 + 2;
if (!seq)
seq = 1;
WRITE_ONCE(tp->write_seq, seq);
tp->rx_opt.ts_recent = tcptw->tw_ts_recent;
tp->rx_opt.ts_recent_stamp = tcptw->tw_ts_recent_stamp;
}
sock_hold(sktw);
return 1;
}
增加埠數量
ip_local_port_range = 1024 65535: 調整后最大埠數量 64511， 64511 / 60 = 1075，每秒鐘可建立連接 1 075 個，
TCP 建立連接選取埠的規則：
- 檢查是否已系結埠，沒有則自動挑選一個；
- 獲取埠范圍 inet_get_local_port_range ，計算埠起始值；
- 從小到大回圈，檢查是否時保留埠、是否可以復用（上面 tcp_tw_reuse 介紹）
挑選埠的原始碼如下：
int inet_hash_connect(struct inet_timewait_death_row *death_row,
struct sock *sk)
{
u32 port_offset = 0;
if (!inet_sk(sk)->inet_num) //檢查是否已系結埠
port_offset = inet_sk_port_offset(sk);// 計算偏移量
return __inet_hash_connect(death_row, sk, port_offset,
__inet_check_established); // 連接
}
int __inet_hash_connect()
{
inet_get_local_port_range(net, &low, &high); // 獲取埠范圍
high++; /* [32768, 60999] -> [32768, 61000[ */
remaining = high - low;
if (likely(remaining > 1))
remaining &= ~1U;
offset = (hint + port_offset) % remaining; // 計算偏移量
for (i = 0; i < remaining; i += 2, port += 2) {
if (unlikely(port >= high))
port -= remaining;
if (inet_is_local_reserved_port(net, port)) // 檢查是否保留埠
continue;
head = &hinfo->bhash[inet_bhashfn(net, port,
hinfo->bhash_size)]; // 找到埠下的連接桶
inet_bind_bucket_for_each(tb, &head->chain) { //遍歷
if (net_eq(ib_net(tb), net) && tb->l3mdev == l3mdev &&
tb->port == port) { // 已被占用
if (!check_established(death_row, sk,
port, &tw)) // 埠是否可以復用
goto ok; //成功
goto next_port; //失敗，繼續
}
}
}
}
// check_established -> twsk_unique(前面章節的 tcp_twsk_unique)
加快回收
配置連接在 TIME_WAIT 狀態下的過期時間，比如設定 10 秒后回收，接著前面計算 64511 / 60 = 6451， 每秒鐘可建立連接 6451 個，
修改 TIME_WAIT 過期時間與 TCP/IP 協議相違背，所以在 Llinux 下并沒有這個引數，需要修改內核引數編譯：
// linux/include/net/tcp.h
#define TCP_TIMEWAIT_LEN (60*HZ) /* how long to wait to destroy TIME-WAIT
* state, about 60 seconds */
也有定制版 Linux 支持修改，比如 Aliyun Linux 2 增加了 tcp_tw_timeout 引數，允許修改過期時間，
詳見： 修改TCP TIME-WAIT超時時間
其他
tcp_tw_recycle 也有效果，但不建議調整，Linux 4.12 后已經移除這個引數了，這里不做介紹了，
調整引數的命令：
// 臨時生效
sysctl -w net.ipv4.tcp_tw_reuse = 1
sysctl -p
// 長久生效
vi /etc/sysctl.conf
sysctl -p
參考
https://www.rfc-editor.org/rfc/rfc1185.txt
http://nginx.org/en/docs/http/ngx_http_proxy_module.html#proxy_set_header
https://github.com/torvalds/linux
https://www.kernel.org/doc/Documentation/networking/ip-sysctl.txt
轉載請註明出處，本文鏈接：https://www.uj5u.com/caozuo/107394.html
標籤：Linux
上一篇：LIUNX中程式包管理