導語
VPN是一種通過公網連接兩個或多個私網站點的專用網路，使得這些站點仿佛是通過專線連接在一起，IPSec是一套協議框架，用于保證資料傳輸的私密性，完整性，真實性，但是VPN網路經常會帶來一些連通性上的問題，通常與MTU設定的不合理有關，本文通過一個實際案例，來具體分析解決這個問題，
作者：陸信宇
一、環境拓撲
-
鏈路中，各個設備介面的MTU為1450
MTU是資料鏈路層的概念，限制的是資料鏈路層payload的大小，即上層協議大小(包括上層協議頭)，例如設定主機介面mtu為1450，則在一個TCP報文中，1450 = 20位元組IP頭 + 20位元組TCP頭 + 1410TCP資料，
-
RDS為京東智聯云云資料庫實體，實體中創建有400個資料庫，
-
SH_MariaDB_VM是一臺上海地域的云主機，部署了mariadb服務，資料和RDS實體相同，
-
BJ_VPNGW和SH_VPNGW分別是北京VPC和上海VPC的vpn網關
-
bj_client所在子網和RDS所在子網通信時，下一跳為各自所在地域的vpn網關
二、現象描述
-
bj_client通過BJ_VPNGW連接RDS，執行show databases時，一直卡住無回傳，
-
bj_client通過BJ_VPNGW連接SH_MariaDB_VM，執行show databases正常，沒有卡住的現象，
三、排查程序
-
bj_client可以ping通RDS，telnet RDS 3306埠正常，使用mysql客戶端也可以正常連接，
-
在BJ_VPNGW和SH_VPNGW上抓包分析，發現RDS回包正常到達SH_VPNGW，但是沒有到達BJ_VPNGW，資料包在SH_VPNGW被丟棄，懷疑是MTU問題，導致丟包，
-
繼續抓包分析RDS和SH_MariaDB_VM回包的區別，發現SH_VPNGW都給RDS和SH_MariaDB_VM回了一個IMCP Error報文，報文中指定了
MTU next hop: 1374，但是RDS的重傳報文中，ip層的Total Length一直是1450，SH_MariaDB_VM在首次被丟包后，重傳報文的Total Length為1374，判斷ICMP Error報文沒有被正常轉發給RDS服務端，后核實RDS前面還有一層LB，該LB沒有轉發ICMP Error， -
調整bj_client介面mtu為1374之后，問題解決，
四、問題原因
由于bj_client、RDS、SH_MariaDB_VM的mtu都是1450，所以bj_client與RDS、SH_MariaDB_VM進行TCP三次握手時，協商的MSS大小為1410(MTU - 20B ip頭 - 20B tcp頭)，即后續發送的TCP報文的資料部分，最大不能超過1410位元組，且IP頭中DF置位，不允許報文分片，
bj_client連接RDS執行show databases命令，由于請求包較小，所以請求報文可以正常通過vpn網關到達RDS，RDS收到報文后開始回應，由于RDS中資料庫很多，所以回應報文會拆分成多個進行發送，每個報文的TCP資料部分是1410位元組，報文到達VPN網關后，VPN網關在原資料包基礎上再次封裝ESP、UDP、IP，封裝之后的報文大小超過了VPN網關出介面的mtu值，又因為資料包不允許分片，導致VPN網關丟棄報文，VPN網關丟棄報文之后，會向RDS發送一個ICMP Error，指明mtu of next hop: 1374 ，告知RDS以1374為最大mtu發包，但是因為RDS實體前面還有一層LB，且這個LB不會轉發ICMP Error報文，導致ICMP Error報文并沒有到達真正的RDS服務端，最終導致RDS沒有調整資料包大小就直接重傳，資料包再次被vpn網關丟棄，進入死回圈，
五、解決方案
根據以上分析，有三種解決方法，
-
調小服務端或者客戶端mtu，讓兩端在建立三次握手協商mss時，以更小的mss收發資料，可以設定為ping探測的路徑MTU值，
-
在VPN網關配置
iptables -t mangle -A FORWARD -o eth0 -p tcp --tcp-flags SYN,RST SYN -j TCPMSS --clamp-mss-to-pmtu，兩端建立三次握手的報文到達vpn網關時，修改MSS值，使MSS自適應PMTU(Path MTU) -
保證icmp error報文可達
六、其他
-
什么是MTU
MTU是資料鏈路層的概念，限制的是資料鏈路層payload的大小，即上層協議大小(包括上層協議頭)
例如設定主機介面mtu為1450，則在一個TCP報文中，1450 = 20位元組IP頭 + 20位元組TCP頭 + 1410TCP資料，
-
什么是MSS
MSS最大報文段，是TCP中一個選項，用于在TCP連接建立時，收發雙方協商通信時每一個報文段所能承載的最大資料長度(注意不包含TCP頭部大小)
-
如何探測路徑MTU值
Linux主機中: 執行
ping x.x.x.x -s 1422 -M do，x.x.x.x是目標地址，-s指明icmp報文的資料部分大小(不包含icmp 8位元組頭部)，-M do表示不允許分片，多試幾次，找到臨界點，以mtu為1450為例，1450 = 20位元組IP頭 + 8位元組icmp頭 + 1422資料，則-s指定為1422可以正常通過Windows主機中: 執行
ping x.x.x.x -l 1472 -f，x.x.x.x是目標地址，-l指明icmp報文的資料部分大小(不包含icmp 8位元組頭部)，-f表示不允許分片， -
如何查看MTU
Linux: ifconfig
windows: netsh interface ipv4 show subinterfaces
-
如何設定MTU
Linux: ifconfig eth0 mtu xxx
windows: netsh interface ipv4 set subinterface "WLAN" mtu=1450 store=persistent
轉載請註明出處，本文鏈接：https://www.uj5u.com/shujuku/538675.html
標籤：其它