高并發系統設計的 15 個錦囊妙招

所謂設計高并發系統，就是設計一個系統，保證它整體可用的同時，能夠處理很高的并發用戶請求，能夠承受很大的流量沖擊，

我們要設計高并發的系統，那就需要處理好一些常見的系統瓶頸問題，如記憶體不足、磁盤空間不足，連接數不夠，網路寬帶不夠等等，以應對突發的流量洪峰，

如果你只部署一個應用，只部署一臺服務器，那抗住的流量請求是非常有限的，并且，單體的應用，有單點的風險，如果它掛了，那服務就不可用了，

因此，設計一個高并發系統，我們可以分而治之，橫向擴展，也就是說，采用分布式部署的方式，部署多臺服務器，把流量分流開，讓每個服務器都承擔一部分的并發和流量，提升整體系統的并發能力，

要提高系統的吞吐，提高系統的處理并發請求的能力，除了采用分布式部署的方式外，還可以做微服務拆分，這樣就可以達到分攤請求流量的目的，提高了并發能力，

所謂的微服務拆分，其實就是把一個單體的應用，按功能單一性，拆分為多個服務模塊，比如一個電商系統，拆分為用戶系統、訂單系統、商品系統等等，

當業務量暴增的話，MySQL單機磁盤容量會撐爆，并且，我們知道資料庫連接數是有限的，在高并發的場景下，大量請求訪問資料庫，MySQL單機是扛不住的！高并發場景下，會出現too many connections報錯，

所以高并發的系統，需要考慮拆分為多個資料庫，來抗住高并發的毒打，而假如你的單表資料量非常大，存盤和查詢的性能就會遇到瓶頸了，如果你做了很多優化之后還是無法提升效率的時候，就需要考慮做分表了，一般千萬級別資料量，就需要分表，每個表的資料量少一點，提升SQL查詢性能，

當面試官問要求你設計一個高并發系統的時候，一般都要說到分庫分表這個點，

在高并發的場景下，資料庫連接數可能成為瓶頸，因為連接數是有限的，

我們的請求呼叫資料庫時，都會先獲取資料庫的連接，然后依靠這個連接來查詢資料，搞完收工，最后關閉連接，釋放資源，如果我們不用資料庫連接池的話，每次執行SQL，都要創建連接和銷毀連接，這就會導致每個查詢請求都變得更慢了，相應的，系統處理用戶請求的能力就降低了，

因此，需要使用池化技術，即資料庫連接池、HTTP 連接池、Redis 連接池等等，使用資料庫連接池，可以避免每次查詢都新建連接，減少不必要的資源開銷，通過復用連接池，提高系統處理高并發請求的能力，

同理，我們使用執行緒池，也能讓任務并行處理，更高效地完成任務，

通常來說，一臺單機的MySQL服務器，可以支持500左右的TPS和10000左右的QPS，即單機支撐的請求訪問是有限的，因此你做了分布式部署，部署了多臺機器，部署了主資料庫、從資料庫，

但是，如果雙十一搞活動，流量肯定會猛增的，如果所有的查詢請求，都走主庫的話，主庫肯定扛不住，因為查詢請求量是非常非常大的，因此一般都要求做主從分離，然后實時性要求不高的讀請求，都去讀從庫，寫的請求或者實時性要求高的請求，才走主庫，這樣就很好保護了主庫，也提高了系統的吞吐，

當然，如果回答了主從分離，面試官可能擴展開問你主從復制原理，問你主從延遲問題等等，這塊大家需要全方位復習好哈，

無論是作業系統，瀏覽器，還是一些復雜的中間件，你都可以看到快取的影子，我們使用快取，主要是提升系統介面的性能，這樣高并發場景，你的系統就可以支持更多的用戶同時訪問，

常用的快取包括：Redis快取，JVM本地快取，memcached等等，就拿Redis來說，它單機就能輕輕松松應對幾萬的并發，你讀場景的業務，可以用快取來抗高并發，

快取雖然用得爽，但是要注意快取使用的一些問題：

• 快取與資料庫的一致性問題

• 快取雪崩

• 快取穿透

• 快取擊穿

商品圖片，icon等等靜態資源，可以對頁面做靜態化處理，減少訪問服務端的請求，如果用戶分布在全國各地，有的在上海，有的在深圳，地域相差很遠，網速也各不相同，為了讓用戶最快訪問到頁面，可以使用CDN，CDN可以讓用戶就近獲取所需內容，

什么是CDN？

Content Delivery Network/Content Distribution Network,翻譯過來就是內容分發網路，它表示將靜態資源分發到位于多個地理位置機房的服務器，可以做到資料就近訪問，加速了靜態資源的訪問速度，因此讓系統更好處理正常別的動態請求，

我們搞一些雙十一、雙十二等運營活動時，需要避免流量暴漲，打垮應用系統的風險，因此一般會引入訊息佇列，來應對高并發的場景，

假設你的應用系統每秒最多可以處理2k個請求，每秒卻有5k的請求過來，可以引入訊息佇列，應用系統每秒從訊息佇列拉2k請求處理得了，

有些伙伴擔心這樣可能會出現訊息積壓的問題：

• 首先，搞一些運營活動，不會每時每刻都那么多請求過來你的系統（除非有人惡意攻擊），高峰期過去后，積壓的請求可以慢慢處理；

   

• 其次，如果訊息佇列長度超過最大數量，可以直接拋棄用戶請求或跳轉到錯誤頁面，

Elasticsearch，大家都使用得比較多了吧，一般搜索功能都會用到它，它是一個分布式、高擴展、高實時的搜索與資料分析引擎，簡稱為ES，

我們在聊高并發，為啥聊到ES呢？因為ES可以擴容方便，天然支撐高并發，當資料量大的時候，不用動不動就加機器擴容，分庫等等，可以考慮用ES來支持簡單的查詢搜索、統計類的操作，

熔斷降級是保護系統的一種手段，當前互聯網系統一般都是分布式部署的，而分布式系統中偶爾會出現某個基礎服務不可用，最終導致整個系統不可用的情況, 這種現象被稱為服務雪崩效應，

比如分布式呼叫鏈路A->B->C....，下圖所示：

如果服務C出現問題，比如是因為慢SQL導致呼叫緩慢，那將導致B也會延遲，從而A也會延遲，堵住的A請求會消耗占用系統的執行緒、IO、CPU等資源，當請求A的服務越來越多，占用計算機的資源也越來越多，最侄訓導致系統瓶頸出現，造成其他的請求同樣不可用，最后導致業務系統崩潰，

為了應對服務雪崩, 常見的做法是熔斷和降級，最簡單是加開關控制，當下游系統出問題時，開關打開降級，不再呼叫下游系統，還可以選用開源組件Hystrix來支持，

你要保證設計的系統能應對高并發場景，那肯定要考慮熔斷降級邏輯進來，

限流也是我們應對高并發的一種方案，我們當然希望，在高并發大流量過來時，系統能全部請求都正常處理，但是有時候沒辦法，系統的CPU、網路帶寬、記憶體、執行緒等資源都是有限的，因此，我們要考慮限流，

如果你的系統每秒扛住的請求是一千，如果一秒鐘來了十萬請求呢？換個角度就是說，高并發的時候，流量洪峰來了，超過系統的承載能力，怎么辦呢？

這時候，我們可以采取限流方案，就是為了保護系統，多余的請求，直接丟棄，

什么是限流：在計算機網路中，限流就是控制網路介面發送或接收請求的速率，它可防止DoS攻擊和限制Web爬蟲，限流，也稱流量控制，是指系統在面臨高并發，或者大流量請求的情況下，限制新的請求對系統的訪問，從而保證系統的穩定性，

可以使用Guava的RateLimiter單機版限流，也可以使用Redis分布式限流，還可以使用阿里開源組件sentinel限流，

面試的時候，你說到限流這塊的話？面試官很大概率會問你限流的演算法，因此，大家在準備面試的時候，需要復習一下這幾種經典的限流演算法哈，

回憶一下什么是同步，什么是異步呢？以方法呼叫為例，它代表呼叫方要阻塞等待被呼叫方法中的邏輯執行完成，這種方式下，當被呼叫方法回應時間較長時，會造成呼叫方長久的阻塞，在高并發下會造成整體系統性能下降甚至發生雪崩，異步呼叫恰恰相反，呼叫方不需要等待方法邏輯執行完成就可以回傳執行其他的邏輯，在被呼叫方法執行完畢后再通過回呼、事件通知等方式將結果反饋給呼叫方，

因此，設計一個高并發的系統，需要在恰當的場景使用異步，如何使用異步呢？后端可以借用訊息佇列實作，比如在海量秒殺請求過來時，先放到訊息佇列中，快速回應用戶，告訴用戶請求正在處理中，這樣就可以釋放資源來處理更多的請求，秒殺請求處理完后，通知用戶秒殺搶購成功或者失敗，

設計一個高并發的系統，需要設計介面的性能足夠好，這樣系統在相同時間，就可以處理更多的請求，當說到這里的話，可以跟面試官說說介面優化的一些方案了，

設計高并發系統，離不開最重要的一環，就是壓力測驗，就是在系統上線前，需要對系統進行壓力測驗，測清楚你的系統支撐的最大并發是多少，確定系統的瓶頸點，讓自己心里有底，最好預防措施，

壓測完要分析整個呼叫鏈路，性能可能出現問題是網路層（如帶寬）、Nginx層、服務層、還是資料路快取等中間件等等，

loadrunner是一款不錯的壓力測驗工具，jmeter則是介面性能測驗工具，都可以來做下壓測，

如果是突發的流量高峰，除了降級、限流保證系統不跨，我們可以采用這兩種方案，保證系統盡可能服務用戶請求：

擴容：比如增加從庫、提升配置的方式，提升系統/組件的流量承載能力，比如增加MySQL、Redis從庫來處理查詢請求，

切流量：服務多機房部署，如果高并發流量來了，把流量從一個機房切換到另一個機房，

• [1]極客時間高并發系統設計 40 問: 

  https://time.geekbang.org/column/article/192203