主頁 > 後端開發 > 分庫分表ShardingSphere-JDBC筆記整理

分庫分表ShardingSphere-JDBC筆記整理

2022-08-11 11:14:34 後端開發

一、分庫分表解決的現狀問題

  • 解決資料庫本身瓶頸

    • 連接數： 連接數過多時，就會出現‘too many connections’的錯誤，訪問量太大或者資料庫設定的最大連接數太小的原因

    • Mysql默認的最大連接數為100.可以修改，而mysql服務允許的最大連接數為16384

    • 資料庫分表可以解決單表海量資料的查詢性能問題

    • 資料庫分庫可以解決單臺資料庫的并發訪問壓力問題

  • 解決系統本身IO、CPU瓶頸

    • 磁盤讀寫IO瓶頸，熱點資料太多，盡管使用了資料庫本身快取，但是依舊有大量IO,導致sql執行速度慢
    • 網路IO瓶頸，請求的資料太多，資料傳輸大，網路帶寬不夠，鏈路回應時間變長
    • CPU瓶頸，尤其在基礎資料量大單機復雜SQL計算，SQL陳述句執行占用CPU使用率高，也有掃描行數大、鎖沖突、鎖等待等原因
      • 可以通過 show processlist; 、show full processlist，發現 CPU 使用率比較高的SQL
      • 常見的對于查詢時間長，State 列值是 Sending data，Copying to tmp table，Copying to tmp table on disk，Sorting result，Using filesort 等都是可能有性能問題SQL，清楚相關影響問題的情況可以kill掉
      • 也存在執行時間短，但是CPU占用率高的SQL，通過上面命令查詢不到，這個時候最好通過執行計劃分析explain進行分析

二、垂直和水平分庫分表區別

  • 垂直角度（表結構不一樣）
    • 垂直分表: 將一個表欄位拆分多個表，每個表存盤部分欄位
      • 好處: 避免IO時鎖表的次數，分離熱點欄位和非熱點欄位，避免大欄位IO導致性能下降
      • 原則：業務經常組合查詢的欄位一個表；不常用欄位一個表；text、blob型別欄位作為附屬表
    • 垂直分庫：根據業務將表分類，放到不同的資料庫服務器上
      • 好處：避免表之間競爭同個物理機的資源，比如CPU/記憶體/硬碟/網路IO
      • 原則：根據業務相關性進行劃分，領域模型，微服務劃分一般就是垂直分庫
  • 水平角度（表結構一樣）
    • 水平分庫：把同個表的資料按照一定規則分到不同的資料庫中，資料庫在不同的服務器上
      • 好處: 多個資料庫，降低了系統的IO和CPU壓力
      • 原則
        • 選擇合適的分片鍵和分片策略，和業務場景配合
        • 避免資料熱點和訪問不均衡、避免二次擴容難度大
    • 水平分表：同個資料庫內，把一個表的資料按照一定規則拆分到多個表中，對資料進行拆分，不影響表結構
      • 單個表的資料量少了，業務SQL執行效率高，降低了系統的IO和CPU壓力
      • 原則
        • 選擇合適的分片鍵和分片策略，和業務場景配合
        • 避免資料熱點和訪問不均衡、避免二次擴容難度大

2.1垂直分表

  • 也就是“大表拆小表”，基于列欄位進行的

  • 拆分原則一般是表中的欄位較多，將不常用的或者資料較大，長度較長的拆分到“擴展表 如text型別欄位

  • 訪問頻次低、欄位大的商品描述資訊單獨存放在一張表中，訪問頻次較高的商品基本資訊單獨放在一張表中

  • 垂直拆分原則

    • 把不常用的欄位單獨放在一張表;

    • 把text，blob等大欄位拆分出來放在附表中;

    • 業務經常組合查詢的列放在一張表中

2.2垂直分庫

  • 垂直分庫針對的是一個系統中的不同業務進行拆分， 資料庫的連接資源比較寶貴且單機處理能力也有限
  • 沒拆分之前全部都是落到單一的庫上的，單庫處理能力成為瓶頸，還有磁盤空間，記憶體，tps等限制
  • 拆分之后，避免不同庫競爭同一個物理機的CPU、記憶體、網路IO、磁盤，所以在高并發場景下，垂直分庫一定程度上能夠突破IO、連接數及單機硬體資源的瓶頸
  • 垂直分庫可以更好解決業務層面的耦合，業務清晰，且方便管理和維護
  • 一般從單體專案升級改造為微服務專案，就是垂直分庫

2.3水平分表

  • 把一個表的資料分到一個資料庫的多張表中，每個表只有這個表的部分資料

  • 核心是把一個大表，分割N個小表，每個表的結構是一樣的，資料不一樣，全部表的資料合起來就是全部資料

  • 針對資料量巨大的單張表（比如訂單表），按照某種規則（RANGE,HASH取模等），切分到多張表里面去

  • 但是這些表還是在同一個庫中，所以單資料庫操作還是有IO瓶頸，主要是解決單表資料量過大的問題

  • 減少鎖表時間，沒分表前，如果是DDL(create/alter/add等)陳述句，當需要添加一列的時候mysql會鎖表，期間所有的讀寫操作只能等待

2.4水平分庫

  • 把同個表的資料按照一定規則分到不同的資料庫中，資料庫在不同的服務器上
  • 水平分庫是把不同表拆到不同資料庫中，它是對資料行的拆分，不影響表結構
  • 每個庫的結構都一樣,但每個庫的資料都不一樣，沒有交集，所有庫的并集就是全量資料
  • 水平分庫的粒度，比水平分表更大

?

三、水平分庫分表常見策略

3.1 Range

  • 范圍角度思考問題 (范圍的話更多是水平分表)

    • 數字

      • 自增id范圍

    • 時間

      • 年、月、日范圍
      • 比如按照月份生成 庫或表 pay_log_2022_01、pay_log_2022_02

    • 空間

      • 地理位置：省份、區域（華東、華北、華南）

      • 比如按照 省份 生成 庫或表

例如：自增id，根據ID范圍進行分表（左閉右開）

  • 規則案例
    • 1~1,000,000 是 table_1
    • 1,000,000 ~2,000,000 是 table_2
    • 2,000,000~3,000,000 是 table_3
    • ...更多
  • 優點
    • id是自增長，可以無限增長
    • 擴容不用遷移資料，容易理解和維護
  • 缺點
    • 大部分讀和寫都訪會問新的資料，有IO瓶頸，整體資源利用率低
    • 資料傾斜嚴重，熱點資料過于集中，部分節點有瓶頸

基于Range范圍分庫分表業務場景

  • 微博發送記錄、微信訊息記錄、日志記錄，id增長/時間磁區都行
    • 水平分表為主，水平分庫則容易造成資源的浪費
  • 網站簽到等活動流水資料時間磁區最好
    • 水平分表為主，水平分庫則容易造成資源的浪費
  • 大區劃分（一二線城市和五六線城市活躍度不一樣，如果能避免熱點問題，即可選擇）
    • saas業務水平分庫（華東、華南、華北等）

3.2Hash取模

hash取模（Hash分庫分表是最普遍的方案）

  • 如果取模的欄位不是整數型要先hash，統一規則就行

  • 案例規則

    • 用戶ID是整數型的，要分2庫，每個庫表數量4表，一共8張表
    • 用戶ID取模后，值是0到7的要平均分配到每張表
A庫ID = userId % 庫數量 2 
表ID = userId / 庫數量 2 % 表數量4
  • 優點
    • 保證資料較均勻的分散落在不同的庫、表中，可以有效的避免熱點資料集中問題，
  • 缺點
    • 擴容不是很方便，需要資料遷移

四、實作方案ShardingSphere-JDBC

  • 地址：https://shardingsphere.apache.org/

  • Sharding-JDBC

    • 基于jdbc驅動，不用額外的proxy，支持任意實作 JDBC 規范的資料庫

    • 它使用客戶端直連資料庫，以 jar 包形式提供服務，無需額外部署和依賴

    • 可理解為加強版的 JDBC 驅動，兼容 JDBC 和各類 ORM 框架

  • 它使用客戶端直連資料庫，以 jar 包形式提供服務

  • 無需額外部署和依賴，可理解為增強版的 JDBC 驅動，完全兼容 JDBC 和各種 ORM 框架

  • 適用于任何基于 JDBC 的 ORM 框架，如：JPA, Hibernate, Mybatis,或直接使用 JDBC

  • 支持任何第三方的資料庫連接池，如：DBCP, C3P0, BoneCP, HikariCP 等；

  • 支持任意實作 JDBC 規范的資料庫，目前支持 MySQL，PostgreSQL，Oracle，SQLServer 以及任何可使用 JDBC 訪問的資料庫

  • 采用無中心化架構，與應用程式共享資源，適用于 Java 開發的高性能的輕量級 OLTP 應用

4.1常見概念術語講解

  • 資料節點Node
    • 資料分片的最小單元，由資料源名稱和資料表組成
    • 比如：ds_0.product_order_0
  • 真實表
    • 在分片的資料庫中真實存在的物理表
    • 比如訂單表 product_order_0、product_order_1、product_order_2
  • 邏輯表
    • 水平拆分的資料庫（表）的相同邏輯和資料結構表的總稱
    • 比如訂單表 product_order_0、product_order_1、product_order_2，邏輯表就是product_order
  • 系結表
    • 指分片規則一致的主表和子表
    • 比如product_order表和product_order_item表，均按照order_id分片，則此兩張表互為系結表關系
    • 系結表之間的多表關聯查詢不會出現笛卡爾積關聯，關聯查詢效率將大大提升
  • 廣播表
    • 指所有的分片資料源中都存在的表，表結構和表中的資料在每個資料庫中均完全一致
    • 適用于資料量不大且需要與海量資料的表進行關聯查詢的場景
    • 例如：字典表、配置表

4.2常見分片演算法講解

分片演算法包括兩部分：包含分片鍵和分片策略

  • 分片鍵 (PartitionKey)

    • 用于分片的資料庫欄位，是將資料庫(表)水平拆分的關鍵欄位
    • 比如prouduct_order訂單表，根據訂單號 out_trade_no做哈希取模，則out_trade_no是分片鍵
    • 除了對單分片欄位的支持，ShardingSphere也支持根據多個欄位進行分片

  • 分片策略

    • 行運算式分片策略 InlineShardingStrategy（必備）

      • 只支持【單分片鍵】使用Groovy的運算式，提供對SQL陳述句中的 =和IN 的分片操作支持

      • 可以通過簡單的配置使用，無需自定義分片演算法，從而避免繁瑣的Java代碼開發

      • prouduct_order_$->{user_id % 8}` 表示訂單表根據user_id模8，而分成8張表，表名稱為`prouduct_order_0`到`prouduct_order_7

    • 標準分片策略StandardShardingStrategy（需了解）

      • 只支持【單分片鍵】，提供PreciseShardingAlgorithm和RangeShardingAlgorithm兩個分片演算法
      • PreciseShardingAlgorithm 精準分片 是必選的，用于處理=和IN的分片
      • RangeShardingAlgorithm 范圍分配 是可選的，用于處理BETWEEN AND分片
      • 如果不配置RangeShardingAlgorithm，如果SQL中用了BETWEEN AND語法，則將按照全庫路由處理，性能下降

    • 復合分片策略ComplexShardingStrategy（需了解）

      • 支持【多分片鍵】，多分片鍵之間的關系復雜，由開發者自己實作，提供最大的靈活度
      • 提供對SQL陳述句中的=, IN和BETWEEN AND的分片操作支持

    • Hint分片策略HintShardingStrategy（需了解）

      • 這種分片策略無需配置分片健，分片健值也不再從 SQL中決議，外部手動指定分片健或分片庫，讓 SQL在指定的分庫、分表中執行

      • 用于處理使用Hint行分片的場景，通過Hint而非SQL決議的方式分片的策略

      • Hint策略會繞過SQL決議的，對于這些比較復雜的需要分片的查詢，Hint分片策略性能可能會更好

    • 不分片策略 NoneShardingStrategy（需了解）

      • 不分片的策略，

4.3執行流程原理

執行程序為：SQL決議 -> SQL優化 -> SQL路由 -> SQL改寫 -> SQL執行 -> 結果歸并 ->回傳結果

轉載請註明出處，本文鏈接：https://www.uj5u.com/houduan/501490.html

標籤：其他

上一篇：2022-8-10 JAVA的反射機制

下一篇：Java學習-第一部分-第二階段-第二節：列舉和注釋

標籤雲
其他(157675) Python(38076) JavaScript(25376) Java(17977) C(15215) 區塊鏈(8255) C＃(7972) AI(7469) 爪哇(7425) MySQL(7132) html(6777) 基礎類(6313) sql(6102) 熊猫(6058) PHP(5869) 数组(5741) R(5409) Linux(5327) 反应(5209) 腳本語言(PerlPython)(5129) 非技術區(4971) Android(4554) 数据框(4311) css(4259) 节点.js(4032) C語言(3288) json(3245) 列表(3129) 扑(3119) C++語言(3117) 安卓(2998) 打字稿(2995) VBA(2789) Java相關(2746) 疑難問題(2699) 细绳(2522) 單片機工控(2479) iOS(2429) ASP.NET(2402) MongoDB(2323) 麻木的(2285) 正则表达式(2254) 字典(2211) 循环(2198) 迅速(2185) 擅长(2169) 镖(2155) 功能(1967) .NET技术(1958) Web開發(1951) python-3.x(1918) HtmlCss(1915) 弹簧靴(1913) C++(1909) xml(1889) PostgreSQL(1872) .NETCore(1853) 谷歌表格(1846) Unity3D(1843) for循环(1842)

熱門瀏覽
  • 【C++】Microsoft C++、C 和匯編程式檔案

    ......

    uj5u.com 2020-09-10 00:57:23 more
  • 例外宣告

    相比于斷言適用于排除邏輯上不可能存在的狀態，例外通常是用于邏輯上可能發生的錯誤。 例外宣告 Item 1：當函式不可能拋出例外或不能接受拋出例外時，使用noexcept 理由 如果不打算拋出例外的話，程式就會認為無法處理這種錯誤，并且應當盡早終止，如此可以有效地阻止例外的傳播與擴散。 示例 //不可 ......

    uj5u.com 2020-09-10 00:57:27 more
  • Codeforces 1400E Clear the Multiset(貪心 + 分治)

    鏈接：https://codeforces.com/problemset/problem/1400/E 來源：Codeforces 思路：給你一個陣列，現在你可以進行兩種操作，操作1：將一段沒有 0 的區間進行減一的操作，操作2：將 i 位置上的元素歸零。最終問：將這個陣列的全部元素歸零后操作的最少 ......

    uj5u.com 2020-09-10 00:57:30 more
  • UVA11610 【Reverse Prime】

    本人看到此題沒有翻譯，就附帶了一個自己的翻譯版本 思考 這一題，它的第一個要求是找出所有 $7$ 位反向質數及其質因數的個數。 我們應該需要質數篩篩選1~$10^{7}$的所有數，這里就不慢慢介紹了。但是，重讀題，我們突然發現反向質數都是 $7$ 位，而將它反過來后的數字卻是 $6$ 位數，這就說明 ......

    uj5u.com 2020-09-10 00:57:36 more
  • 統計區間素數數量

    1 #pragma GCC optimize(2) 2 #include <bits/stdc++.h> 3 using namespace std; 4 bool isprime[1000000010]; 5 vector<int> prime; 6 inline int getlist(int ......

    uj5u.com 2020-09-10 00:57:47 more
  • C/C++編程筆記：C++中的 const 變數詳解，教你正確認識const用法

    1、C中的const 1、區域const變數存放在堆疊區中，會分配記憶體（也就是說可以通過地址間接修改變數的值）。測驗代碼如下： 運行結果： 2、全域const變數存放在只讀資料段（不能通過地址修改，會發生寫入錯誤）， 默認為外部聯編，可以給其他源檔案使用（需要用extern關鍵字修飾） 運行結果： ......

    uj5u.com 2020-09-10 00:58:04 more
  • 【C++犯錯記錄】VS2019 MFC添加資源不懂如何修改資源宏ID

    1. 首先在資源視圖中，添加資源 2. 點擊新添加的資源，復制自動生成的ID 3. 在解決方案資源管理器中找到Resource.h檔案，編輯，使用整個專案搜索和替換的方式快速替換 宏宣告 4. Ctrl+Shift+F 全域搜索，點擊查找全部，然后逐個替換 5. 為什么使用搜索替換而不使用屬性視窗直 ......

    uj5u.com 2020-09-10 00:59:11 more
  • 【C++犯錯記錄】VS2019 MFC不懂的批量添加資源

    1. 打開資源頭檔案Resource.h，在其中預先定義好宏 ID（不清楚其實ID值應該設定多少，可以先新建一個相同的資源項，再在這個資源的ID值的基礎上遞增即可） 2. 在資源視圖中選中專案資源，按F7編輯資源檔案，按 ID 型別 相對路徑的形式添加 資源。（別忘了先把檔案拷貝到專案中的res檔案 ......

    uj5u.com 2020-09-10 01:00:19 more
  • C/C++編程筆記：關于C++的參考型別，專供新手入門使用

    今天要講的是C++中我最喜歡的一個用法——參考，也叫別名。 參考就是給一個變數名取一個變數名，方便我們間接地使用這個變數。我們可以給一個變數創建N個參考，這N + 1個變數共享了同一塊記憶體區域。(參考型別的變數會占用記憶體空間，占用的記憶體空間的大小和指標型別的大小是相同的。雖然參考是一個物件的別名，但 ......

    uj5u.com 2020-09-10 01:00:22 more
  • 【C/C++編程筆記】從頭開始學習C ++：初學者完整指南

    眾所周知，C ++的學習曲線陡峭，但是花時間學習這種語言將為您的職業帶來奇跡，并使您與其他開發人員區分開。您會更輕松地學習新語言，形成真正的解決問題的技能，并在編程的基礎上打下堅實的基礎。 C ++將幫助您養成良好的編程習慣（即清晰一致的編碼風格，在撰寫代碼時注釋代碼，并限制類內部的可見性），并且由 ......

    uj5u.com 2020-09-10 01:00:41 more
最新发布
  • Rust中的智能指標:Box<T> Rc<T> Arc<T> Cell<T> RefCell<T> Weak

    Rust中的智能指標是什么 智能指標（smart pointers）是一類資料結構，是擁有資料所有權和額外功能的指標。是指標的進一步發展 指標（pointer）是一個包含記憶體地址的變數的通用概念。這個地址參考，或 ” 指向”（points at）一些其 他資料 。參考以 & 符號為標志并借用了他們所 ......

    uj5u.com 2023-04-20 07:24:10 more
  • Java的值傳遞和參考傳遞

    值傳遞不會改變本身，參考傳遞（如果傳遞的值需要實體化到堆里）如果發生修改了會改變本身。 1.基本資料型別都是值傳遞 package com.example.basic; public class Test { public static void main(String[] args) { int ......

    uj5u.com 2023-04-20 07:24:04 more
  • [2]SpinalHDL教程——Scala簡單入門

    第一個 Scala 程式 shell里面輸入 $ scala scala> 1 + 1 res0: Int = 2 scala> println("Hello World!") Hello World! 檔案形式 object HelloWorld { /* 這是我的第一個 Scala 程式 * 以 ......

    uj5u.com 2023-04-20 07:23:58 more
  • 理解函式指標和回呼函式

    理解 函式指標 指向函式的指標。比如： 理解函式指標的偽代碼 void (*p)(int type, char *data); // 定義一個函式指標p void func(int type, char *data); // 宣告一個函式func p = func; // 將指標p指向函式func ......

    uj5u.com 2023-04-20 07:23:52 more
  • Django筆記二十五之資料庫函式之日期函式

    本文首發于公眾號：Hunter后端 原文鏈接：Django筆記二十五之資料庫函式之日期函式 日期函式主要介紹兩個大類，Extract() 和 Trunc() Extract() 函式作用是提取日期，比如我們可以提取一個日期欄位的年份，月份，日等資料 Trunc() 的作用則是截取，比如 2022-0 ......

    uj5u.com 2023-04-20 07:23:45 more
  • 一天吃透JVM面試八股文

    什么是JVM？ JVM，全稱Java Virtual Machine（Java虛擬機），是通過在實際的計算機上仿真模擬各種計算機功能來實作的。由一套位元組碼指令集、一組暫存器、一個堆疊、一個垃圾回收堆和一個存盤方法域等組成。JVM屏蔽了與作業系統平臺相關的資訊，使得Java程式只需要生成在Java虛擬機 ......

    uj5u.com 2023-04-20 07:23:31 more
  • 使用Java接入小程式訂閱訊息！

    更新完微信服務號的模板訊息之后，我又趕緊把微信小程式的訂閱訊息給實作了！之前我一直以為微信小程式也是要企業才能申請，沒想到小程式個人就能申請。 訊息推送平臺🔥推送下發【郵件】【短信】【微信服務號】【微信小程式】【企業微信】【釘釘】等訊息型別。 https://gitee.com/zhongfuch ......

    uj5u.com 2023-04-20 07:22:59 more
  • java -- 緩沖流、轉換流、序列化流

    緩沖流 緩沖流, 也叫高效流, 按照資料型別分類： 位元組緩沖流：BufferedInputStream，BufferedOutputStream 字符緩沖流：BufferedReader，BufferedWriter 緩沖流的基本原理，是在創建流物件時，會創建一個內置的默認大小的緩沖區陣列，通過緩沖 ......

    uj5u.com 2023-04-20 07:22:49 more
  • Java-SpringBoot-Range請求頭設定實作視頻分段傳輸

    老實說，人太懶了，現在基本都不喜歡寫筆記了，但是網上有關Range請求頭的文章都太水了 下面是抄的一段StackOverflow的代碼...自己大修改過的，寫的注釋挺全的，應該直接看得懂，就不解釋了 寫的不好...只是希望能給視頻網站開發的新手一點點幫助吧. 業務場景：視頻分段傳輸、視頻多段傳輸（理 ......

    uj5u.com 2023-04-20 07:22:42 more
  • Windows 10開發教程_編程入門自學教程_菜鳥教程-免費教程分享

    教程簡介 Windows 10開發入門教程 - 從簡單的步驟了解Windows 10開發，從基本到高級概念，包括簡介，UWP，第一個應用程式，商店，XAML控制元件，資料系結，XAML性能，自適應設計，自適應UI，自適應代碼，檔案管理，SQLite資料庫，應用程式到應用程式通信，應用程式本地化，應用程式 ......

    uj5u.com 2023-04-20 07:22:35 more

Copyright © 2010-2020 有解無憂