本文的目的是探索一種在一臺MySQL服務器上建立10w個連接的方法，我們要建立的是可以執行查詢的連接，而不是10w個空閑連接，
你可能會問，我的MySQL服務器真的需要10w連接嗎？我見過很多不同的部署方案，例如使用連接池，每個應用的連接池里放1000個連接，部署100個這樣的應用服務器，還有一些非常糟糕的實踐，使用“查詢慢則重連并重試”的技術，這會造成雪球效應，有可能導致在幾秒內需要建立上千個連接的情況，
所以我決定設定一個“小目標”，看能否實作，
準備階段
先看一下硬體，服務器由packet.net（一個云服務商）提供，配置如下：
instance size: c2.medium.x86
Physical Cores @ 2.2 GHz
(1 X AMD EPYC 7401P)
Memory: 64 GB of ECC RAM
Storage : INTEL? SSD DC S4500, 480GB
我們需要5臺這樣的服務器，1臺用來作MySQL服務器，其余4臺作為客戶端，MySQL服務器使用的是Percona Server的帶有執行緒池插件的MySQL 8.0.13-4，這個插件需要支持上千個連接，
初始化服務器配置
網路設定：
- { name: 'net.core.somaxconn', value: 32768 }
- { name: 'net.core.rmem_max', value: 134217728 }
- { name: 'net.core.wmem_max', value: 134217728 }
- { name: 'net.ipv4.tcp_rmem', value: '4096 87380 134217728' }
- { name: 'net.ipv4.tcp_wmem', value: '4096 87380 134217728' }
- { name: 'net.core.netdev_max_backlog', value: 300000 }
- { name: 'net.ipv4.tcp_moderate_rcvbuf', value: 1 }
- { name: 'net.ipv4.tcp_no_metrics_save', value: 1 }
- { name: 'net.ipv4.tcp_congestion_control', value: 'htcp' }
- { name: 'net.ipv4.tcp_mtu_probing', value: 1 }
- { name: 'net.ipv4.tcp_timestamps', value: 0 }
- { name: 'net.ipv4.tcp_sack', value: 0 }
- { name: 'net.ipv4.tcp_syncookies', value: 1 }
- { name: 'net.ipv4.tcp_max_syn_backlog', value: 4096 }
- { name: 'net.ipv4.tcp_mem', value: '50576 64768 98152' }
- { name: 'net.ipv4.ip_local_port_range', value: '4000 65000' }
- { name: 'net.ipv4.netdev_max_backlog', value: 2500 }
- { name: 'net.ipv4.tcp_tw_reuse', value: 1 }
- { name: 'net.ipv4.tcp_fin_timeout', value: 5 }
系統限制設定：
[Service]
LimitNOFILE=1000000
LimitNPROC=500000
相應的MySQL配置（my.cnf檔案）：
back_log=3500
max_connections=110000
客戶端使用的是sysbench0.5版本，而不是1.0.x，具體原因我們在后面做解釋，
執行命令：sysbench --test=sysbench/tests/db/select.lua --mysql-host=139.178.82.47 --mysql-user=sbtest--mysql-password=sbtest --oltp-tables-count=10 --report-interval=1 --num-threads=10000 --max-time=300 --max-requests=0 --oltp-table-size=10000000 --rand-type=uniform --rand-init=on run
第一步，10,000個連接
這一步非常簡單，我們不需要做過多調整就可以實作，這一步只需要一臺機器做客戶端，不過客戶端有可能會有如下錯誤：
FATAL: error 2004: Can't create TCP/IP socket (24)
這是由于打開檔案數限制，這個限制限制了TCP/IP的sockets數量，可以在客戶端上進行調整：
ulimit -n100000
此時我們來觀察一下性能：
[ 26s] threads: 10000, tps: 0.00, reads: 33367.48, writes: 0.00, response time: 3681.42ms (95%), errors: 0.00, reconnects: 0.00
[ 27s] threads: 10000, tps: 0.00, reads: 33289.74, writes: 0.00, response time: 3690.25ms (95%), errors: 0.00, reconnects: 0.00
第二步，25,000個連接
這一步會在MySQL服務端發生錯誤：
Can't create a new thread (errno 11); if you are not out of available memory, you can consult the manualfor a possible OS-dependent bug
關于這個問題的解決辦法可以看這個鏈接：
https://www.percona.com/blog/2013/02/04/cant_create_thread_errno_11/
不過這個辦法不適用于我們現在的情況，因為我們已經把所有限制調到最高：
cat /proc/`pidof mysqld`/limits
Limit Soft Limit Hard Limit Units
Max cpu time unlimited unlimited seconds
Max file size unlimited unlimited bytes
Max data size unlimited unlimited bytes
Max stack size 8388608 unlimited bytes
Max core file size 0 unlimited bytes
Max resident set unlimited unlimited bytes
Max processes 500000 500000 processes
Max open files 1000000 1000000 files
Max locked memory 16777216 16777216 bytes
Max address space unlimited unlimited bytes
Max file locks unlimited unlimited locks
Max pending signals 255051 255051 signals
Max msgqueue size 819200 819200 bytes
Max nice priority 0 0
Max realtime priority 0 0
Max realtime timeout unlimited unlimited us
這也是為什么我們最開始要選擇有執行緒池的服務：https://www.percona.com/doc/percona-server/8.0/performance/threadpool.html
在my.cnf檔案中加上下面這行設定，然后重啟服務
thread_handling=pool-of-threads
查看一下結果
[ 7s] threads: 25000, tps: 0.00, reads: 33332.57, writes: 0.00, response time: 974.56ms (95%), errors: 0.00, reconnects: 0.00
[ 8s] threads: 25000, tps: 0.00, reads: 33187.01, writes: 0.00, response time: 979.24ms (95%), errors: 0.00, reconnects: 0.00
吞吐量相同，但是又95%的回應從3690 ms降到了979 ms，
第三步，50,000個連接
到這里，我們遇到了最大的挑戰，首先嘗試建立5w連接的時候，sysbench報錯：
FATAL: error 2003: Can't connect to MySQL server on '139.178.82.47' (99)
Error (99)錯誤比較神秘，它意味著不能分配指定的地址，這個問題是由一個應用可以打開的埠數限制引起的，我們的系統默認配置是：
cat /proc/sys/net/ipv4/ip_local_port_range : 32768 60999
這表示我們只有28,231可用埠（60999減32768），或者是你最多能建立的到指定IP地址的TCP連接數，你可以在服務器和客戶端擴寬這個范圍：
echo 4000 65000 > /proc/sys/net/ipv4/ip_local_port_range
這樣我們就能建立61,000個連接了，這已經接近一個IP可用埠的最大限制了（65535），這里的關鍵點是，如果我們想要達到10w連接，就需要為MySQL服務器分配更多的IP地址，所以我為MySQL服務器分配了兩個IP地址，
解決了埠個數問題后，我們又遇到了新的問題：
sysbench 0.5: multi-threaded system evaluation benchmark
Running the test with following options:
Number of threads: 50000
FATAL: pthread_create() for thread #32352 failed. errno = 12 (Cannot allocate memory)
這個問題是由sysbench的記憶體分配問題引起的，sysbench只能分配的記憶體只能創建32,351個連接，這個問題在1.0.x版本中更為嚴重，
Sysbench 1.0.x的限制
Sysbench 1.0.x版本使用了不同的Lua編譯器，導致我們不可能創建超過4000個連接，所以看起來Sysbench比 Percona Server更早到達了極限，所以我們需要使用更多的客戶端，每個客戶端最多32,351個連接的話，我們最少要使用4個客戶端才能達到10w連接的目標，
為了達到5w連接，我們使用了兩臺機器做客戶端，每臺機器開啟25,000個執行緒，結果如下：
[ 29s] threads: 25000, tps: 0.00, reads: 16794.09, writes: 0.00, response time: 1799.63ms (95%), errors: 0.00, reconnects: 0.00
[ 30s] threads: 25000, tps: 0.00, reads: 16491.03, writes: 0.00, response time: 1800.70ms (95%), errors: 0.00, reconnects: 0.00
吞吐量和上一步差不多（總的tps是16794*2 = 33588），但是性能降低了，有95%的回應時間長了一倍，這是意料之中的事情，因為與上一步相比，我們的連接數擴大了一倍，
第四步，75,000個連接
這一步我們再增加一臺服務器做客戶端，每臺客戶端上同樣是跑25,000個執行緒，結果如下：
[ 157s] threads: 25000, tps: 0.00, reads: 11633.87, writes: 0.00, response time: 2651.76ms (95%), errors: 0.00, reconnects: 0.00
[ 158s] threads: 25000, tps: 0.00, reads: 10783.09, writes: 0.00, response time: 2601.44ms (95%), errors: 0.00, reconnects: 0.00
第五步，100,000個連接
終于到站了，這一步同樣沒什么困難，只需要再開一個客戶端，同樣跑25,000個執行緒，結果如下：
[ 101s] threads: 25000, tps: 0.00, reads: 8033.83, writes: 0.00, response time: 3320.21ms (95%), errors: 0.00, reconnects: 0.00
[ 102s] threads: 25000, tps: 0.00, reads: 8065.02, writes: 0.00, response time: 3405.77ms (95%), errors: 0.00, reconnects: 0.00
吞吐量仍然保持在32260的水平（8065*4），95%的回應時間是3405ms，
這里有個非常重要的事情，想必大家已經發現了：在有執行緒的情況下10w連接數的回應速度甚至要優于沒有執行緒池的情況下的1w連接數的回應速度，執行緒池使得Percona Server可以更加有效的管理資源，然后提供更好的回應速度，
結論
10w連接數是可以實作的，并且可以更多，實作這個目標有三個重要的組件：
-
Percona Server的執行緒池
-
正確的網路設定
-
為MySQL服務器配置多個IP地址（每個IP限制65535個連接）
附錄
最后貼上完整的my.cnf檔案
[mysqld]
datadir {{ mysqldir }}
ssl=0
skip-log-bin
log-error=error.log
# Disabling symbolic-links is recommended to prevent assorted security risks
symbolic-links=0
character_set_server=latin1
collation_server=latin1_swedish_ci
skip-character-set-client-handshake
innodb_undo_log_truncate=off
# general
table_open_cache = 200000
table_open_cache_instances=64
back_log=3500
max_connections=110000
# files
innodb_file_per_table
innodb_log_file_size=15G
innodb_log_files_in_group=2
innodb_open_files=4000
# buffers
innodb_buffer_pool_size= 40G
innodb_buffer_pool_instances=8
innodb_log_buffer_size=64M
# tune
innodb_doublewrite= 1
innodb_thread_concurrency=0
innodb_flush_log_at_trx_commit= 0
innodb_flush_method=O_DIRECT_NO_FSYNC
innodb_max_dirty_pages_pct=90
innodb_max_dirty_pages_pct_lwm=10
innodb_lru_scan_depth=2048
innodb_page_cleaners=4
join_buffer_size=256K
sort_buffer_size=256K
innodb_use_native_aio=1
innodb_stats_persistent = 1
#innodb_spin_wait_delay=96
innodb_adaptive_flushing = 1
innodb_flush_neighbors = 0
innodb_read_io_threads = 16
innodb_write_io_threads = 16
innodb_io_capacity=1500
innodb_io_capacity_max=2500
innodb_purge_threads=4
innodb_adaptive_hash_index=0
max_prepared_stmt_count=1000000
innodb_monitor_enable = '%'
performance_schema = ON
點關注，不迷路
好了各位，以上就是這篇文章的全部內容了，能看到這里的人呀，都是人才，之前說過，PHP方面的技術點很多，也是因為太多了，實在是寫不過來，寫過來了大家也不會看的太多，所以我這里把它整理成了PDF和檔案，如果有需要的可以
點擊進入暗號: 博客園
更多學習內容可以訪問【對標大廠】精品PHP架構師教程目錄大全，只要你能看完保證薪資上升一個臺階（持續更新）
以上內容希望幫助到大家，很多PHPer在進階的時候總會遇到一些問題和瓶頸，業務代碼寫多了沒有方向感，不知道該從那里入手去提升，對此我整理了一些資料，包括但不限于：分布式架構、高可擴展、高性能、高并發、服務器性能調優、TP6，laravel，YII2，Redis，Swoole、Swoft、Kafka、Mysql優化、shell腳本、Docker、微服務、Nginx等多個知識點高級進階干貨需要的可以免費分享給大家，需要的可以加入我的PHP技術交流群953224940
轉載請註明出處，本文鏈接：https://www.uj5u.com/houduan/364.html
標籤：PHP
上一篇：Mybatis入門-第一個程式