2--MyCAT中間件和ansible基礎

一、Mycat

1）Mycat介紹

• 在整個IT系統架構中，資料庫是非常重要，通常又是訪問壓力較大的一個服務，除了在程式開發的本身做優化，如:SQL陳述句優化、代碼優化，資料庫的處理本身優化也是非常重要的，主從、熱備、分表分庫等都是系統發展遲早會遇到的技術問題問題，Mycat是一個廣受好評的資料庫中間件，已經在很多產品上進行使用了，
• Mycat是一個開源的分布式資料庫系統，是一個實作了MySQL協議的服務器，前端用戶可以把它看作是一個資料庫代理(類似于Mysql Proxy)，用MySQL客戶端工具和命令列訪問，而其后端可以用MySQL原生協議與多個MySQL服務器通信，也可以用JDBC協議與大多數主流資料庫服務器通信，其核心功能是分表分庫，即將一個大表水平分割為N個小表，存盤在后端MySQL服務器里或者其他資料庫里，
• Mycat發展到目前的版本，已經不是一個單純的MySQL代理了，它的后端可以支持MysQL、sQLServer、Oracle、DB2、PostgreSQL等主流資料庫，也支持MongoDB這種新型NoSQL方式的存盤，未來還會支持更多型別的存盤，而在最終用戶看來，無論是那種存盤方式，在MyCat里，都是一個傳統的資料庫表，支持標準的SQL陳述句進行資料的操作，這樣一來，對前端業務系統來說，可以大幅降低開發難度，提升開發速度，

2）Mycat可以簡單概況為

• 一個徹底開源的，面向企業應用開發的大資料庫集群
• 支持事務、ACID、可以替代MySQL的加強版資料庫
• 一個可以視為MySQL集群的企業級資料庫，用來替代昂貴的Oracle集群
• 一個融合記憶體快取技術、NoSQL技術、HDFS大資料的新型SQL Server
• 結合傳統資料庫和新型分布式資料倉庫的新一代企業級資料庫產品
• 一個新穎的資料庫中間件產品

Mycat官網: http://www.mycat.org.cn

3)Mycat關鍵特性

• 支持SQL92標準
• 遵守MySQL原生協議，跨語言，跨平臺，跨資料庫的通用中間件代理
• 基于心跳的自動故障切換，支持讀寫分離，支持MySQL主從，以及galera cluster集群支持Galera for MySQL集群，Percona Cluster或者MariaDB cluster
• 基于Nio實作，有效管理執行緒，高并發問題
• 支持資料的多片自動路由與聚合，支持sum,count,max等常用的聚合函式，支持跨庫分頁
• 支持單庫內部任意join，支持跨庫2表join，甚至基于caltlet的多表join
• 支持通過全域表，ER關系的分片策略，實作了高效的多表join查詢
• 支持多租戶方案
• 支持分布式事務（弱xa)
• 支持全域序列號，解決分布式下的主鍵生成問題
• 分片規則豐富，插件化開發，易于擴展
• 強大的web，命令列監控
• 支持前端作為mysq通用代理，后端JDBC方式支持Oracle、DB2、SQL Server、mongodb、巨杉
• 支持密碼加密
• 支持服務降級
• 支持IP白名單
• 支持SQL黑名單、sql注入攻擊攔截
• 支持分表(1.6)
• ·集群基于ZooKeeper管理，在線升級，擴容，智能優化，大資料處理(2.0開發版)

4）為什么要用MyCat

• 這里要先搞清楚Mycat和MySQL的區別(Mycat的核心作用)，我們可以把上層看作是對下層的抽象，例如作業系統是對各類計算機硬體的抽象，那么我們什么時候需要抽象?假如只有一種硬體的時候，我們需要開發一個作業系統嗎?再比如一個專案只需要一個人完成的時候不需要leader，但是當需要幾十人完成時，就應該有一個管理者，發揮溝通協調等作用，而這個管理者對于他的上層來說就是對專案組的抽象，
• 同樣的，當我們的應用只需要一臺資料庫服務器的時候我們并不需要Mycat，而如果你需要分庫甚至分表，這時候應用要面對很多個資料庫的時候，這個時候就需要對資料庫層做一個抽象，來管理這些資料庫，而最上面的應用只需要面對一個資料庫層的抽象或者說資料庫中間件就好了，這就是Mycat的核心作用，所以可以這樣理解：資料庫是對底層存盤檔案的抽象，而Mycat是對資料庫的抽象，

5）Mycat作業原理

• Mycat的原理中最重要的一個動詞是"攔截"”，它攔截了用戶發送過來的SQL陳述句，首先對sQL陳述句做了一些特定的分析:如分片分析、路由分析、讀寫分離分析、快取分析等，然后將此SQL發往后端的真實資料庫，并將回傳的結果做適當的處理，最終再回傳給用戶，

6）Mycat應用場景

• 單純的讀寫分離，此時配置最為簡單，支持讀寫分離，主從切換
• 分表分庫，對于超過1000萬的表進行分片，最大支持1000億的單表分片
• 多租戶應用，每個應用一個庫，但應用程式只連接Mycat，從而不改造程式本身，實作多租戶化報表系統，借助于Mycat的分表能力，處理大規模報表的統計
• 替代Hbase，分析大資料
• 作為海量資料實時查詢的一種簡單有效方案，比如100億條頻繁查詢的記錄需要在3秒內查詢出來結果，除了基于主鍵的查詢，還可能存在范圍查詢或其他屬性查詢，此時Mycat可能是最簡單有效的選擇
• Mycat長期路線圖
• 強化分布式資料庫中間件的方面的功能，使之具備豐富的插件、強大的資料庫智能優化功能、全面的系統監控能力、以及方便的資料運維工具，實作在線資料擴容、遷移等高級功能
• ·進一步挺進大資料計算領域，深度結合Spark Stream和Storm等分布式實時流引擎，能夠完成快速的巨表關聯、排序、分組聚合等OLAP方向的能力，并集成一些熱門常用的實時分析演算法，讓工程師以及DBA們更容易用Mcat實作一些高級資料分析處理功能
• 不斷強化Mycat開源社區的技術水平，吸引更多的IT技術專家，使得Mycat社區成為中國的
• Apache，并將Mycat推到Apache基金會，成為國內頂尖開源專案，最終能夠讓一部分志愿者成為專職的Mycat開發者，榮耀跟實力一起提升

7）Mycat不適合的應用場景

• 設計使用Mycat時有非分片欄位查詢，請慎重使用Mycat，可以考慮放棄!
• 設計使用Mycat時有分頁排序，請慎重使用Mycat，可以考慮放棄!
• 設計使用Mycat時如果要進行表OIN操作，要確保兩個表的關聯欄位具有相同的資料分布，否則請慎重使用Mycat，可以考慮放棄!
• 設計使用Mycat時如果有分布式事務，得先看是否得保證事務得強一致性，否則請慎重使用Mycat，可以考慮放棄!

8）MyCat的高可用性:

需要注意:在生產環境中, Mycat節點最好使用雙節點,即雙機熱備環境,防止Mycat這一層出現單點故障.可以使用的高可用集群方式有:

• Keepalived+Mycat+Mysql
• Keepalived+LVS+Mycat+Mysql
• Keepalived+Haproxy+Mycat+Mysql

9）Mycat安裝

1、安裝JDK

[root@slave 22:52:21~]# yum -y insta1l java

[root@slave 22:52:21~]# java -version
openjdk version "1.8.0_201"

2、安裝Mycat

[root@slave 22:52:21~]# wget http://dl.mycat.org.cn/1.6.7.4/Mycat-server-1.6.7.4-release/Mycat-server-1.6.7.4-release-20200105164103-linux.tar.gz

[root@slave 22:54:31~]# mkdir /data/software/ -p

[root@slave 22:56:51~]# tar xvf Mycat-server-1.6.7.4-release-20200105164103-linux.tar.gz -C /data/software/

[root@slave 22:57:25~]# cat > /etc/profile.d/mycat_home.sh<<EOF
MYCAT_HOME=/data/software/mycat
export PATH=\${PATH}:\${MYCAT_HOME}/bin
EOF

[root@slave 23:57:30~]# source /etc/profile.d/mycat_home.sh

3、mycat安裝目錄結構:

• bin mycat命令，啟動、重啟、停止等
• catlet catlet為Mycat的一個擴展功能
• conf Mycat配置資訊，重點關注
• lib Mycat參考的jar包，Mycat是java開發的
• logs日志檔案，包括Mycat啟動的日志和運行的日志. version.txtmycat版本說明

4、logs目錄:

• wrapper.log mycat啟動日志
• mycatlog mycat詳細作業日志

5、Mycat的組態檔都在conf目錄里面，這里介紹幾個常用的檔案:

• server.xml Mycat軟體本身相關的組態檔，設定賬號、引數等
• schema.xml Mycat對應的物理資料庫和資料庫表的配置,讀寫分離、高可用、分布式策略定制、節點控制
• rule.xml Mycat分片(分庫分表)規則組態檔,記錄分片規則串列、使用方法等

6、啟動和連接

[root@slave 23:15:08~]# mycat start # 啟動

# 檢查啟動日志，確定啟動成功
[root@slave 23:16:03~]# grep -w 'startup' /data/software/mycat/logs/wrapper.log

# 連接mycat:
[root@slave 23:16:13~]# mysq1 -uroot -p123456 -h 127.0.0.1 -P8066