一、MyCat總體架構介紹

1.原始碼下載及匯入

匯入Idea

2.總體架構

MyCat在邏輯上由幾個模塊組成: 通信協議、路由決議、結果集處理、資料庫連接、監控等模塊，如圖所示：

1. 通信協議模塊： 通信協議模塊承擔底層的收發資料、執行緒回呼處理作業， MyCat通信協議默認采用Reactor模式，在協議層采用MySQL協議；
2. 路由決議模塊: 負責對傳入的SQL陳述句進行語法決議, 決議陳述句的條件、型別、關鍵字等，并進行優化；
3. SQL執行模塊: 負責從連接池中獲取連接, 再根據路由決議的結果, 把SQL陳述句分發到相應的節點執行;
4. 資料庫連接模塊: 負責創建、管理、維護后端的連接池，為減少每次建立資料庫連接的開銷，資料庫使用連接池機制對連接宣告周期進行管理；
5. 結果集處理模塊: 負責對跨分片的查詢結果進行匯聚、排序、截取等；
6. 監控管理模塊: 負責MyCat的連接、記憶體等資源進行監控和管理，監控主要通過管理指令及監控服務展現一些監控資料； 管理則主要通過輪詢事件來檢測和釋放不適用的資源；

3.總體執行流程

二、MyCat網路I/O架構及實作

1.BIO、NIO與AIO

1. BIO

BIO(同步阻塞I/O) 通常由一個單獨的Acceptor執行緒負責監聽客戶端的連接, 接收到客戶端的連接請求后, 會為每個客戶端創建一個新的執行緒進行處理, 處理完成之后, 再給客戶端回傳結果, 銷毀執行緒 ，

每個客戶端請求接入時， 都需要開啟一個執行緒進行處理， 一個執行緒只能處理一個客戶端連接， 當客戶端變多時，會創建大量的處理執行緒， 每個執行緒都需要分配堆疊空間和CPU， 并且頻繁的執行緒背景關系切換也會造成性能的浪費，所以該模式， 無法滿足高性能、高并發接入的需求，

2. NIO

NIO(同步非阻塞I/O)基于Reactor模式作為底層通信模型，Reactor模式可以將事件驅動的應用進行事件分派, 將客戶端發送過來的服務請求分派給合適的處理類(handler)，當Socket有流可讀或可寫入Socket時, 作業系統會通知相應的應用程式進行處理, 應用程式再將流讀取到緩沖區或寫入作業系統， 這時已經不是一個連接對應一個處理執行緒了， 而是一個有效的請求對應一個執行緒， 當沒有資料時， 就沒有作業執行緒來處理，

NIO 的最大優點體現在執行緒輪詢訪問Selector, 當read或write到達時則處理, 未到達時則繼續輪詢，

3. AIO

AIO，全程 Asynchronous IO(異步非阻塞的IO), 是一種非阻塞異步的通信模式，在NIO的基礎上引入了新的異步通道的概念，并提供了異步檔案通道和異步套接字通道的實作，AIO中客戶端的I/O請求都是由OS先完成了再通知服務器應用去啟動執行緒進行處理，

AIO與NIO的主要區別在于回呼與輪詢, 客戶端不需要關注服務處理事件是否完成, 也不需要輪詢,只需要關注自己的回呼函式，

2.通信架構

在MyCat中實作了NIO與AIO兩種I/O模式, 可以通過組態檔server.xml進行指定 :

<property name="usingAIO">1</property>

usingAIO為1代表使用AIO模型 , 為0表示使用NIO模型;

MyCat的AIO架構

1. MyCatStartUp是整個MyCat服務啟動的入口;
2. 在獲取到MyCat的home目錄后, 把主要的任務交給MyCatServer , 并呼叫其startup方法;
3. 初始化系統配置, 獲取組態檔中的 usingAIO的配置 , 如果配置為1, 說明使用AIO模型 , 進入到AIO的分支, 并創建兩個連接, 一個是管理后臺連接(9066), 一個server的連接(8066);
4. 進入AIO分支 , 主要有AIOAcceptor接收客戶端請求, 系結埠, 創建服務端的異步Socket;在accept方法中完成兩件事: ①. FrontedConnection的創建, 這是前段連接的關鍵; ②.register注冊事件, MySQL協議握手包就在此時發送;

MyCat的NIO架構

如果設定的usingAIO為0 ,那么將走NIOAcceptor通道 , 流程如下:

1. 如果走NIO分支 , 將首先創建NIOAcceptor物件, 并呼叫其start方法;
2. NIOAcceptor 負責處理Accept事件, 服務端接收客戶端的連接事件, 就是MyCat作為服務端去處理前端業務程式發過來的連接請求, 建立鏈接后, 呼叫NIOAcceptor的NIOReactor.postRegister方法進行注冊（并沒有注解注冊， 而是放入緩沖佇列， 避免加鎖的競爭），

NIOAcceptor的accept方法 ：

NIOReactor的postRegister方法：

三、Mycat實作MySQL協議

1.MySQL協議簡介

A.概述

MySQL協議處于應用層之下、TCP/IP之上, 在MySQL客戶端和服務端之間使用，包含了聯結器、MySQL代理、主從復制服務器之間通信，并支持SSL加密、傳輸資料的壓縮、連接和身份驗證及資料互動等，其中，握手認證階段和命令執行階段是MySQL協議中的兩個重要階段，

B.握手認證階段

1. 握手認證階段是客戶端連接服務器的必經之路, 客戶端與服務端完成TCP的三次握手以后, 服務端會向客戶端發送一個初始化握手包, 握手包中包含了協議版本、MySQLServer版本、執行緒ID、服務器的權能標識和字符集等資訊，
2. 客戶端在接收到服務端的初始化握手包之后， 會發送身份驗證包給服務端（AuthPacket）, 該包中包含用戶名、密碼等資訊，
3. 服務端接收到客戶端的登錄驗證包之后，需要進行邏輯校驗，校驗該登錄資訊是否正確，如果資訊都符合，則回傳一個OKPacket，表示登錄成功,否則回傳ERR_Packet，表示拒絕，

Wireshark抓包如下:

報文分析如下：

1. 初始化握手包
   
   通過抓包工具Wireshark抓取到的握手包資訊如下, 握手包格式:
   
   說明:

Packet Length : 包的長度;

Packet Number : 包的序號;

Server Greeting : 訊息體, 包含了協議版本、MySQLServer版本、執行緒ID和字符集等資訊，

2. 登錄認證包

客戶端在接收到服務端發來的初始握手包之后， 向服務端發出認證請求， 該請求包含以下資訊（由Wireshark抓獲） ：

3. OK包或ERROR包

服務端接收到客戶端的登錄認證包之后，如果通過認證，則回傳一個OKPacket，如果未通過認證，則回傳一個ERROR包，

OK報文如下：

ERROR報文如下 :

C.命令執行階段

在握手認證階段通過并完成以后, 客戶端可以向服務端發送各種命令來請求資料, 此階段的流程是:命令請求->回傳結果集，

Wireshark 捕獲的資料包如下：

1. 命令包

2. 結果集包

2.MySQL協議在MyCat中實作

A.握手認證實作

在MyCat中同時實作了NIO和AIO, 通過配置可以選擇NIO和AIO，MyCat Server在啟動階段已經選擇好采用NIO還是AIO，因此建立I/O通道后,MyCat服務端一直等待客戶端端的連接,當有連接到來的時候,MyCat首先發送握手包，

1. 握手包原始碼實作

MyCat中的原始碼中io.mycat.net.FrontendConnection類的實作如下:

握手包資訊組裝完畢后, 通過FrontedConnection寫回客戶端，

2. 認證包原始碼實作

客戶端接收到握手包后, 緊接著向服務端發起一個認證包, MyCat封裝為類 AuthPacket:

客戶端發送的認證包轉由 FrontendAuthenticator 的Handler來處理, 主要操作就是拆包, 檢查用戶名、密碼合法性， 檢查連接數是夠超出限制，原始碼實作如下：

認證失敗， 呼叫failure方法， 認證成功呼叫success方法，

failure方法原始碼：

success方法原始碼：

B.命令執行實作

命令執行階段就是SQL命令和SQL陳述句執行階段， 在該階段MyCat主要需要做的事情， 就是對客戶端發來的資料包進行拆包， 并判斷命令的型別， 并決議SQL陳述句， 執行回應的SQL陳述句， 最后把執行結果封裝在結果集包中， 回傳給客戶端，

從客戶端發來的命令交給 FrontendCommandHandler 中的handle方法處理:

處理具體的請求, 回傳客戶端結果集資料包:

內容過多分兩次發布！需要的讀者可以添加助理VX：C18173184271免費獲取！