資料庫中間件DBLE學習(二) 學習配置schema.xml-有解無憂

前言

一邊有一個經常引誘我讓我“娛樂至死”的視頻，還有一個不停“鞭策“我讓我快點學習的大BOSS，正是有這兩種極端的愛才讓我常常在自信中明白自己努力的方向，嗯,"人間不值得"！

SCHEMA.XML介紹

上一篇寫了：資料庫中間件DBLE學習(一) 基本介紹和快速搭建，主要介紹快速安裝，在安裝的程序中，我們配置了schema.xml檔案，schema.xml是一個比較重要的檔案，該檔案提供了邏輯庫，邏輯表，分片規則，資料分片，物理資料庫等配置，它主要有以下幾個標簽組成，

schema標簽，主要是邏輯庫和邏輯表的配置，其中邏輯表又有多種型別，比如：全域表、分片表、ER分片表、非分片表等，
dataNode標簽，主要定義了資料分片存放的節點，一個dataNode標簽往往就對應著一個資料分片，
dataHost標簽，主要定義了物理資料庫及主從讀寫分離的配置，

實戰SCHEMA.XML配置

接下來我們來實戰一下，實戰就拿經典PRODUCT表,ORDERS訂單表來做實驗，前面曾經介紹過邏輯表拆分可以有很多種型別，首先我們先規劃一下，假設我們是一家新的電商公司，在電商平臺上賣自家公司生產的商品，我們的商品總共就5-6種，但擋不住客戶對我們生產的商品的喜愛，款款都是爆款啊，一經發售訂單量就驚人，那么我們怎么來拆分庫表呢？

PRODUCTS產品表，就賣幾款爆品，我們要把它做成全域表，也就是每個分片上都有這個PRODUCTS產品表的資料，這樣不會有多大的消耗，畢竟這個表資料量小，也比較方便和分片表進行關聯，
ORDERS訂單表，有上千萬的訂單，這個資料量比較大，我們要把ORDERS表做成分片表，PRODUCTS產品表和ORDERS表存在一對多的關系，我們可以按照order_id來進行取模分片，這樣不會有資料過熱的問題，并且產品表是小表在每個分片上都有，我們能非常方便的使用產品表和訂單表進行關聯，

說這么多，不如來張圖給大家看一下，

如圖所示，應用直接連接資料庫中間件，操作邏輯庫testdb，邏輯表PRODUCTS和ORDERS，而上述邏輯庫和邏輯表對應存放在物理資料庫主機A和主機B上，MySQL主機A上有分片dn1，MySQL主機B上有分片dn2，dn1上存盤了全域表PRODUCTS和按order_id取模的ORDERS表1，dn2上存盤了全域表PRODUCTS和按order_id取模的ORDERS表2，

整個脈絡理清了，這是我們的配置環境，

服務器	IP地址	描述
DBLE服務器	192.168.56.185	DBLE實體，資料庫中間件，負責接收SQL進行路由分發
MySQL A服務器	192.168.56.181	物理實體A，有db_1資料庫
MySQL B1服務器主	192.168.56.182	物理實體B，有db_2資料庫
MySQL B2服務器從	192.168.56.183	物理實體B的從庫

物理MySQL環境配置

安裝MySQL服務器A和MySQL服務器B的主從環境，然后在這兩套物理資料庫上都創建Buddy用戶，

create user 'buddy'@'%' identified by '123456';
GRANT ALL PRIVILEGES ON *.* TO 'buddy'@'%' IDENTIFIED BY '123456';

配置schema標簽

進入dble的conf檔案夾下配置schema.xml檔案，首先咱們配置schema標簽，主要配置內容如下：

 <schema name="testdb">
        <!--er tables-->
        <table name="orders" primaryKey="order_id" dataNode="dn1,dn2" rule="rule_mod"/>
        <!--global  tables-->
        <table name="products" primaryKey="product_id" type="global" dataNode="dn1,dn2"/>
    </schema>

sehama標簽

對邏輯庫的定義，name指定了邏輯庫的名字，

table標簽

對表的定義，name指定了表的名字，dataNode指定這張表涉及的資料節點，這里兩張表都指定的是dn1,dn2，rule指定了分片的規則，這里是取模演算法，如果是全域表需要在type屬性列宣告為global，

配置dataNode標簽

<dataNode name="dn1" dataHost="dataHost1" database="db_1"/>
<dataNode name="dn2" dataHost="dataHost2" database="db_2"/>

dataNode標簽

name指定的是資料分片節點名稱，dataHost指定對應的資料庫實體，database對在mysql物理實體中的schema，

配置dataHost標簽

<dataHost name="dataHost1" maxCon="1000" minCon="10" balance="0" switchType="-1" slaveThreshold="100">
    <heartbeat>show slave status</heartbeat>
    <!-- can have multi write hosts -->
    <writeHost host="hostM1" url="192.168.56.181:3306" user="buddy" password="buddy">
    </writeHost>
</dataHost>
<dataHost name="dataHost2" maxCon="1000" minCon="10" balance="0" switchType="-1" slaveThreshold="100">
    <heartbeat>show slave status</heartbeat>
    <!-- can have multi write hosts -->
    <writeHost host="hostM2" url="192.168.56.182:3306" user="buddy" password="buddy">
        <readHost host="hostS2" url="192.168.56.183:3306" user="buddy" password="buddy"/>
    </writeHost>
</dataHost>

dataHost標簽

指定了資料庫實體，這里name代表資料庫實體的名稱，maxCon定于了最大連接數，minCon定義了空閑時保有的最小連接數，balance是指讀取操作的負載均衡模式，為0則不做均衡，switchType代表了寫操作的高可用切換型別，等于-1則表示不自動切換，slaveThreshold指定了指定主從延遲的閥值，為100，該配置主要與讀資料時的負載均衡有關，它會先取show slave status中的Seconds_Behind_Master值，如果該值大于slaveThreshold，則讀取的時候就會過濾掉這個slave，防止讀到舊的資料，影響前臺的業務，

heartbeat標簽

指定心跳檢測，這里心跳檢測的陳述句是show slave status

writeHost標簽

指定寫入節點，host是寫節點的名稱，url指定寫入節點的ip和埠號，user指定寫節點資料庫的用戶名，password指定寫節點資料庫的密碼，

readHost標簽

指定讀取節點，host是讀節點的名稱，url指定讀取節點的ip和埠號，user指定讀節點資料庫的用戶名，password指定讀節點資料庫的密碼，

啟動dble

上述配置完成之后，我們就可以啟動dble了，

[root@mycat bin]# ./dble start
Starting dble-server...
Removed stale pid file: /dble/dble.pid

啟動后查看wrapper日志居然報錯了，

INFO   | jvm 1    | 2019/12/27 00:34:15 | com.actiontech.dble.config.util.ConfigException: Illegal table conf : table [ orders ] rule function [ func_mod ] partition size : 4 > table datanode size : 2, please make sure table datanode size = function partition size

這里報錯很明顯，主要是這個取模函式默認設定對4取模，大于了我們的dataNode，需要我們在rule.xml中把func_mod函式的partitionCount給改成2.

<function name="func_mod" >
    <property name="partitionCount">2</property>
    <property name="partitionLength">1</property>
</function>

重新啟動dble，能夠成功啟動，

創建分片并驗證

使用管理埠登錄，進行創建datanode的操作，

[root@mysql5 ~]# mysql -uman1 -p -P9066 -h192.168.56.185 -p654321
mysql> create database @@dataNode='dn$1-2';
Query OK, 1 row affected (0.03 sec)

分別登錄MySQL服務器A和MySQL服務器B查看創建分片的情況，可以看到181上創建了db_1，而182上創建了db_2，

[root@mysql5 ~]# mysql -ubuddy -p  -h192.168.56.181 -P3306 -p123456 -e "show databases"
+--------------------+
| Database           |
+--------------------+
| information_schema |
| db_1               |
| mysql              |
| performance_schema |
| sys                |
+--------------------+

[root@mysql5 ~]# mysql -ubuddy -p  -h192.168.56.182 -P3306 -p123456 -e "show databases"
+--------------------+
| Database           |
+--------------------+
| information_schema |
| db_2               |
| mysql              |
| performance_schema |
| sys                |
+--------------------+

創建表并插入資料

使用服務埠登錄，進行創建表和插入資料的操作，此時我們操作的就是邏輯庫和邏輯表，

[root@mysql5 ~]# mysql -uroot -h192.168.56.185 -P8066 -p123456
mysql> show databases;
+----------+
| DATABASE |
+----------+
| testdb   |
+----------+
1 row in set (0.00 sec)

mysql> use testdb;
Database changed
mysql> show tables;
Empty set (0.00 sec)

mysql> create table if not exists products (
    ->   product_id int not null,
    ->   product_name varchar(250),
    ->   expire_time date,
    ->   primary key(product_id)
    -> )engine=innodb charset=utf8;
Query OK, 0 rows affected, 1 warning (0.08 sec)

mysql> create table if not exists orders (
    ->   order_id int not null,
    ->   product_id int not null,
    ->   effective_time date,
    ->   cust_name varchar(20),
    ->   cust_address varchar(200),
    ->   primary key(order_id)
    -> )engine=innodb charset=utf8;
Query OK, 0 rows affected (0.04 sec)

insert into products values(1,'Package A','2015-12-31')
insert into products values(2,'Package B','2022-07-31');
insert into products values(3,'Package C','2025-12-31');
insert into products values(4,'Package D','2028-05-31');

insert into orders values(1,1,'2019-12-25','caocao','gz');
insert into orders values(1,1,'2019-12-25','caocao','gz');
insert into orders values(2,1,'2019-12-25','liubei','sz');
insert into orders values(3,2,'2019-12-25','sunquan','sh');
insert into orders values(4,2,'2019-12-25','zhugeliang','nj');
insert into orders values(5,3,'2019-12-25','simayi','hz');
insert into orders values(6,4,'2019-12-25','caopi','wh');
insert into orders values(7,1,'2019-12-25','guanyu','cd');
insert into orders values(8,1,'2019-12-25','zhengfei','bj');
insert into orders values(9,3,'2019-12-25','zhaoyun','cd');
insert into orders values(10,1,'2019-12-25','weiyan','cq');
insert into orders values(11,4,'2019-12-25','machao','cs');
insert into orders values(12,1,'2019-12-25','lvbu','cd');
insert into orders values(13,1,'2019-12-25','diaochan','sh');
insert into orders values(14,2,'2019-12-25','huangzhong','hz');

mysql> insert into orders values(1,1,'2019-12-25','caocao','gz');
ERROR 1064 (HY000): bad insert sql, sharding column/joinKey:ID not provided,INSERT INTO orders

在插入orders表的時候再次報錯，報錯很明顯，說分片鍵id沒提供，這是因為我們在rule.xml中columns欄位不是指定的分片欄位order_id，在rule.xml配置一下columns欄位為order_id就可以了，

<tableRule name="rule_mod">
    <rule>
        <columns>order_id</columns>
        <algorithm>func_mod</algorithm>
    </rule>
</tableRule>

驗證分片資料否正確

驗證db_1分片上的資料，

[root@mysql5 ~]# mysql -ubuddy  -h192.168.56.181 -P3306 -p123456 -D db_1 -e "select * from products" 
+------------+--------------+-------------+
| product_id | product_name | expire_time |
+------------+--------------+-------------+
|          1 | Package A    | 2015-12-31  |
|          1 | Package B    | 2022-07-31  |
|          1 | Package C    | 2025-12-31  |
|          1 | Package D    | 2028-05-31  |
+------------+--------------+-------------+

[root@mysql5 ~]# mysql -ubuddy  -h192.168.56.181 -P3306 -p123456 -D db_1 -e "select * from orders"  
+----------+------------+----------------+------------+--------------+
| order_id | product_id | effective_time | cust_name  | cust_address |
+----------+------------+----------------+------------+--------------+
|        2 |          1 | 2019-12-25     | liubei     | sz           |
|        4 |          2 | 2019-12-25     | zhugeliang | nj           |
|        6 |          4 | 2019-12-25     | caopi      | wh           |
|        8 |          1 | 2019-12-25     | zhengfei   | bj           |
|       10 |          1 | 2019-12-25     | weiyan     | cq           |
|       12 |          1 | 2019-12-25     | lvbu       | cd           |
|       14 |          2 | 2019-12-25     | huangzhong | hz           |
+----------+------------+----------------+------------+--------------+

驗證db_2分片上的資料，

[root@mysql5 ~]# mysql -ubuddy  -h192.168.56.182 -P3306 -p123456 -D db_2 -e "select * from products"  
mysql: [Warning] Using a password on the command line interface can be insecure.
+------------+--------------+-------------+
| product_id | product_name | expire_time |
+------------+--------------+-------------+
|          1 | Package A    | 2015-12-31  |
|          1 | Package B    | 2022-07-31  |
|          1 | Package C    | 2025-12-31  |
|          1 | Package D    | 2028-05-31  |
+------------+--------------+-------------+

[root@mysql5 ~]# mysql -ubuddy  -h192.168.56.182 -P3306 -p123456 -D db_2 -e "select * from orders" 
+----------+------------+----------------+-----------+--------------+
| order_id | product_id | effective_time | cust_name | cust_address |
+----------+------------+----------------+-----------+--------------+
|        1 |          1 | 2019-12-25     | caocao    | gz           |
|        3 |          2 | 2019-12-25     | sunquan   | sh           |
|        5 |          3 | 2019-12-25     | simayi    | hz           |
|        7 |          1 | 2019-12-25     | guanyu    | cd           |
|        9 |          3 | 2019-12-25     | zhaoyun   | cd           |
|       11 |          4 | 2019-12-25     | machao    | cs           |
|       13 |          1 | 2019-12-25     | diaochan  | sh           |
+----------+------------+----------------+-----------+--------------+

總結

這篇我們學習了基本的schema.xml的配置方法，目前還是比較皮毛的，下一篇我們來介紹分片的一些演算法，

參考檔案

1.DBLE Schema.xml 配置決議：https://www.jianshu.com/p/dad60c304202

轉載請註明出處，本文鏈接：https://www.uj5u.com/shujuku/90877.html

標籤：MySQL

上一篇：MySQL在大資料、高并發場景下的SQL陳述句優化和"最佳實踐"

下一篇：MySQL基礎篇(02)：從五個維度出發，審視表結構設計