【建議收藏】7000+字的TIDB保姆級簡介，你見過嗎

TIDB簡介

什么是TIDB

TiDB 是一個分布式 NewSQL 資料庫，它支持水平彈性擴展、ACID 事務、標準 SQL、MySQL 語法和 MySQL 協議，具有資料強一致的高可用特性，是一個不僅適合 OLTP 場景還適合 OLAP 場景的混合資料庫，

TiDB 是 PingCAP 公司自主設計、研發的開源分布式關系型資料庫，是一款同時支持在線事務處理與在線分析處理 (Hybrid Transactional and Analytical Processing, HTAP）的融合型分布式資料庫產品，具備水平擴容或者縮容、金融級高可用、實時 HTAP、云原生的分布式資料庫、兼容 MySQL 5.7 協議和 MySQL 生態等重要特性，目標是為用戶提供一站式 OLTP (Online Transactional Processing)、OLAP (Online Analytical Processing)、HTAP 解決方案，TiDB 適合高可用、強一致要求較高、資料規模較大等各種應用場景，

什么是NewSQL

資料庫發展至今已經有3代了：

1. SQL，傳統關系型資料庫，例如 MySQL
2. noSQL，例如 MongoDB,Redis
3. newSQL

傳統SQL的問題

互聯網在本世紀初開始迅速發展，互聯網應用的用戶規模、資料量都越來越大，并且要求7X24小時在線，

傳統關系型資料庫在這種環境下成為了瓶頸，通常有2種解決方法：

升級服務器硬體

雖然提升了性能，但總有天花板，

資料分片

使用分布式集群結構

對單點資料庫進行資料分片，存放到由廉價機器組成的分布式的集群里，可擴展性更好了，但也帶來了新的麻煩，

以前在一個庫里的資料，現在跨了多個庫，應用系統不能自己去多個庫中操作，需要使用資料庫分片中間件，

分片中間件做簡單的資料操作時還好，但涉及到跨庫join、跨庫事務時就很頭疼了，很多人干脆自己在業務層處理，復雜度較高，

NoSQL 的問題

后來 noSQL 出現了，放棄了傳統SQL的強事務保證和關系模型，重點放在資料庫的高可用性和可擴展性，

優點

• 高可用性和可擴展性，自動磁區，輕松擴展
• 不保證強一致性，性能大幅提升
• 沒有關系模型的限制，極其靈活

缺點

• 不保證強一致性，對于普通應用沒問題，但還是有不少像金融一樣的企業級應用有強一致性的需求，
• 不支持 SQL 陳述句，兼容性是個大問題，不同的 NoSQL 資料庫都有自己的 api 操作資料，比較復雜，

NewSQL 特性

NewSQL 提供了與 noSQL 相同的可擴展性，而且仍基于關系模型，還保留了極其成熟的 SQL 作為查詢語言，保證了ACID事務特性，

簡單來講，NewSQL 就是在傳統關系型資料庫上集成了 NoSQL 強大的可擴展性，

傳統的SQL架構設計基因中是沒有分布式的，而 NewSQL 生于云時代，天生就是分布式架構，

NewSQL 的主要特性：

• SQL 支持，支持復雜查詢和大資料分析，
• 支持 ACID 事務，支持隔離級別，
• 彈性伸縮，擴容縮容對于業務層完全透明，
• 高可用，自動容災，

三種SQL的對比

TiDB怎么來的

著名的開源分布式快取服務 Codis 的作者，PingCAP聯合創始人& CTO ，資深 infrastructure 工程師的黃東旭，擅長分布式存盤系統的設計與實作，開源狂熱分子的技術大神級別人物，即使在互聯網如此繁榮的今天，在資料庫這片邊界模糊且不確定地帶，他還在努力尋找確定性的實踐方向，

直到 2012 年底，他看到 Google 發布的兩篇論文，如同棱鏡般，折射出他自己內心微爍的光彩，這兩篇論文描述了 Google 內部使用的一個海量關系型資料庫 F1/Spanner ，解決了關系型資料庫、彈性擴展以及全球分布的問題，并在生產中大規模使用，“如果這個能實作，對資料存盤領域來說將是顛覆性的”，黃東旭為完美方案的出現而興奮， PingCAP 的 TiDB 在此基礎上誕生了，

公司歷史可以參考下PingCAP

TiDB社區版和企業版

TiDB分為社區版以及企業版，企業版收費提供服務以及安全性的支持

TIDB核心特性

水平彈性擴展

通過簡單地增加新節點即可實作 TiDB 的水平擴展，按需擴展吞吐或存盤，輕松應對高并發、海量資料場景

得益于 TiDB 存盤計算分離的架構的設計，可按需對計算、存盤分別進行在線擴容或者縮容，擴容或者縮容程序中對應用運維人員透明，

分布式事務支持

TiDB 100% 支持標準的 ACID 事務

金融級高可用

相比于傳統主從 (M-S) 復制方案，基于 Raft 的多數派選舉協議可以提供金融級的 100% 資料強一致性保證，且在不丟失大多數副本的前提下，可以實作故障的自動恢復 (auto-failover)，無需人工介入

資料采用多副本存盤，資料副本通過 Multi-Raft 協議同步事務日志，多數派寫入成功事務才能提交，確保資料強一致性且少數副本發生故障時不影響資料的可用性，可按需配置副本地理位置、副本數量等策略滿足不同容災級別的要求，

實時 HTAP

TiDB 作為典型的 OLTP 行存資料庫，同時兼具強大的 OLAP 性能，配合 TiSpark，可提供一站式 HTAP 解決方案，一份存盤同時處理 OLTP & OLAP 無需傳統繁瑣的 ETL 程序

提供行存盤引擎 TiKV、列存盤引擎 TiFlash 兩款存盤引擎，TiFlash 通過 Multi-Raft Learner 協議實時從 TiKV 復制資料，確保行存盤引擎 TiKV 和列存盤引擎 TiFlash 之間的資料強一致，TiKV、TiFlash 可按需部署在不同的機器，解決 HTAP 資源隔離的問題，

云原生的分布式資料庫

TiDB 是為云而設計的資料庫，同 Kubernetes 深度耦合，支持公有云、私有云和混合云，使部署、配置和維護變得十分簡單，TiDB 的設計目標是 100% 的 OLTP 場景和 80% 的 OLAP 場景，更復雜的 OLAP 分析可以通過 TiSpark 專案來完成， TiDB 對業務沒有任何侵入性，能優雅的替換傳統的資料庫中間件、資料庫分庫分表等 Sharding 方案，同時它也讓開發運維人員不用關注資料庫 Scale 的細節問題，專注于業務開發，極大的提升研發的生產力

高度兼容 MySQL

兼容 MySQL 5.7 協議、MySQL 常用的功能、MySQL 生態，應用無需或者修改少量代碼即可從 MySQL 遷移到 TiDB，

提供豐富的資料遷移工具幫助應用便捷完成資料遷移，大多數情況下，無需修改代碼即可從 MySQL 輕松遷移至 TiDB，分庫分表后的 MySQL 集群亦可通過 TiDB 工具進行實時遷移，

OLTP&OLAP(自學)

OLTP(聯機事務處理)

OLTP(Online Transactional Processing) 即聯機事務處理，OLTP 是傳統的關系型資料庫的主要應用，主要是基本的、日常的事務處理，記錄即時的增、刪、改、查，比如在銀行存取一筆款，就是一個事務交易

聯機事務處理是事務性非常高的系統，一般都是高可用的在線系統，以小的事務以及小的查詢為主，評估其系統的時候，一般看其每秒執行的Transaction以及Execute SQL的數量，在這樣的系統中，單個資料庫每秒處理的Transaction往往超過幾百個，或者是幾千個，Select 陳述句的執行量每秒幾千甚至幾萬個，典型的OLTP系統有電子商務系統、銀行、證券等，如美國eBay的業務資料庫，就是很典型的OLTP資料庫，

OLAP(聯機分析處理)

OLAP(Online Analytical Processing) 即聯機分析處理，是資料倉庫的核心部心，支持復雜的分析操作，側重決策支持，并且提供直觀易懂的查詢結果，典型的應用就是復雜的動態報表系統

在這樣的系統中，陳述句的執行量不是考核標準，因為一條陳述句的執行時間可能會非常長，讀取的資料也非常多，所以，在這樣的系統中，考核的標準往往是磁盤子系統的吞吐量（帶寬），如能達到多少MB/s的流量，

特性對比

OLTP和OLAP的特性對比

設計角度區別

TiDB 整體架構

TiDB的優勢

與傳統的單機資料庫相比，TiDB 具有以下優勢：

• 純分布式架構，擁有良好的擴展性，支持彈性的擴縮容
• 支持 SQL，對外暴露 MySQL 的網路協議，并兼容大多數 MySQL 的語法，在大多數場景下可以直接替換 MySQL
• 默認支持高可用，在少數副本失效的情況下，資料庫本身能夠自動進行資料修復和故障轉移，對業務透明
• 支持 ACID 事務，對于一些有強一致需求的場景友好，例如：銀行轉賬
• 具有豐富的工具鏈生態，覆寫資料遷移、同步、備份等多種場景

TiDB的組件

要深入了解 TiDB 的水平擴展和高可用特點，首先需要了解 TiDB 的整體架構，TiDB 集群主要包括三個核心組件：TiDB Server，PD Server 和 TiKV Server，此外，還有用于解決用戶復雜 OLAP 需求的 TiSpark 組件，

在內核設計上，TiDB 分布式資料庫將整體架構拆分成了多個模塊，各模塊之間互相通信，組成完整的 TiDB 系統，對應的架構圖如下：

TiDB Server

TiDB Server 負責接收 SQL 請求，處理 SQL 相關的邏輯，并通過 PD 找到存盤計算所需資料的 TiKV 地址，與 TiKV 互動獲取資料，最侄訓傳結果，TiDB Server 是無狀態的，其本身并不存盤資料，只負責計算，可以無限水平擴展，可以通過負載均衡組件（如 LVS、HAProxy 或 F5）對外提供統一的接入地址，

PD (Placement Driver) Server

Placement Driver (簡稱 PD) 是整個集群的管理模塊，其主要作業有三個：

• 一是存盤集群的元資訊（某個 Key 存盤在哪個 TiKV 節點）；
• 二是對 TiKV 集群進行調度和負載均衡（如資料的遷移、Raft group leader 的遷移等）；
• 三是分配全域唯一且遞增的事務 ID，

PD 通過 Raft 協議保證資料的安全性，Raft 的 leader server 負責處理所有操作，其余的 PD server 僅用于保證高可用，建議部署奇數個 PD 節點

TiKV Server

TiKV Server 負責存盤資料，從外部看 TiKV 是一個分布式的提供事務的 Key-Value 存盤引擎，存盤資料的基本單位是 Region，每個 Region 負責存盤一個 Key Range（從 StartKey 到 EndKey 的左閉右開區間）的資料，每個 TiKV 節點會負責多個 Region，TiKV 使用 Raft 協議做復制，保持資料的一致性和容災，副本以 Region 為單位進行管理，不同節點上的多個 Region 構成一個 Raft Group，互為副本，資料在多個 TiKV 之間的負載均衡由 PD 調度，這里也是以 Region 為單位進行調度，

TiSpark

TiSpark 作為 TiDB 中解決用戶復雜 OLAP 需求的主要組件，將 Spark SQL 直接運行在 TiDB 存盤層上，同時融合 TiKV 分布式集群的優勢，并融入大資料社區生態，至此，TiDB 可以通過一套系統，同時支持 OLTP 與 OLAP，免除用戶資料同步的煩惱，

TiFlash

TiFlash 是一類特殊的存盤節點，和普通 TiKV 節點不一樣的是，在 TiFlash 內部，資料是以列式的形式進行存盤，主要的功能是為分析型的場景加速，

TiKV整體架構

與傳統的整節點備份方式不同的，TiKV是將資料按照 key 的范圍劃分成大致相等的切片（下文統稱為 Region），每一個切片會有多個副本（通常是 3 個），其中一個副本是 Leader，提供讀寫服務，TiKV 通過 PD 對這些 Region 以及副本進行調度，以保證資料和讀寫負載都均勻地分散在各個 TiKV 上，這樣的設計保證了整個集群資源的充分利用并且可以隨著機器數量的增加水平擴展，

Region分裂與合并

當某個 Region 的大小超過一定限制（默認是 144MB）后，TiKV 會將它分裂為兩個或者更多個 Region，以保證各個 Region 的大小是大致接近的，這樣更有利于 PD 進行調度決策，同樣，當某個 Region 因為大量的洗掉請求導致 Region 的大小變得更小時，TiKV 會將比較小的兩個相鄰 Region 合并為一個，

Region調度

Region 與副本之間通過 Raft 協議來維持資料一致性，任何寫請求都只能在 Leader 上寫入，并且需要寫入多數副本后（默認配置為 3 副本，即所有請求必須至少寫入兩個副本成功）才會回傳客戶端寫入成功，

當 PD 需要把某個 Region 的一個副本從一個 TiKV 節點調度到另一個上面時，PD 會先為這個 Raft Group 在目標節點上增加一個 Learner 副本（復制 Leader 的資料），當這個 Learner 副本的進度大致追上 Leader 副本時，Leader 會將它變更為 Follower，之后再移除操作節點的 Follower 副本，這樣就完成了 Region 副本的一次調度，

Leader 副本的調度原理也類似，不過需要在目標節點的 Learner 副本變為 Follower 副本后，再執行一次 Leader Transfer，讓該 Follower 主動發起一次選舉成為新 Leader，之后新 Leader 負責洗掉舊 Leader 這個副本，

分布式事務

TiKV 支持分布式事務，用戶（或者 TiDB）可以一次性寫入多個 key-value 而不必關心這些 key-value 是否處于同一個資料切片 (Region) 上，TiKV 通過兩階段提交保證了這些讀寫請求的 ACID 約束，

高可用架構

高可用是 TiDB 的另一大特點，TiDB/TiKV/PD 這三個組件都能容忍部分實體失效，不影響整個集群的可用性，下面分別說明這三個組件的可用性、單個實體失效后的后果以及如何恢復，

TiDB高可用

TiDB 是無狀態的，推薦至少部署兩個實體，前端通過負載均衡組件對外提供服務，當單個實體失效時，會影響正在這個實體上進行的 Session，從應用的角度看，會出現單次請求失敗的情況，重新連接后即可繼續獲得服務，單個實體失效后，可以重啟這個實體或者部署一個新的實體，

PD高可用

PD 是一個集群，通過 Raft 協議保持資料的一致性，單個實體失效時，如果這個實體不是 Raft 的 leader，那么服務完全不受影響；如果這個實體是 Raft 的 leader，會重新選出新的 Raft leader，自動恢復服務，PD 在選舉的程序中無法對外提供服務，這個時間大約是3秒鐘，推薦至少部署三個 PD 實體，單個實體失效后，重啟這個實體或者添加新的實體，

TiKV高可用

TiKV 是一個集群，通過 Raft 協議保持資料的一致性（副本數量可配置，默認保存三副本），并通過 PD 做負載均衡調度，單個節點失效時，會影響這個節點上存盤的所有 Region，對于 Region 中的 Leader 結點，會中斷服務，等待重新選舉；對于 Region 中的 Follower 節點，不會影響服務，當某個 TiKV 節點失效，并且在一段時間內（默認 10 分鐘）無法恢復，PD 會將其上的資料遷移到其他的 TiKV 節點上，

應用場景

MySQL分片與合并


TiDB 應用的第一類場景是 MySQL 的分片與合并，對于已經在用 MySQL 的業務，分庫、分表、分片、中間件是常用手段，隨著分片的增多，跨分片查詢是一大難題，TiDB 在業務層兼容 MySQL 的訪問協議，PingCAP 做了一個資料同步的工具——Syncer，它可以把黃東旭 TiDB 作為一個 MySQL Slave，將 TiDB 作為現有資料庫的從庫接在主 MySQL 庫的后方，在這一層將資料打通，可以直接進行復雜的跨庫、跨表、跨業務的實時 SQL 查詢，黃東旭提到，“過去的資料庫都是一主多從，有了 TiDB 以后，可以反過來做到多主一從，”

直接替換MySQL

第二類場景是用 TiDB 直接去替換 MySQL，如果你的IT架構在搭建之初并未考慮分庫分表的問題，全部用了 MySQL，隨著業務的快速增長，海量高并發的 OLTP 場景越來越多，如何解決架構上的弊端呢?

在一個 TiDB 的資料庫上，所有業務場景不需要做分庫分表，所有的分布式作業都由資料庫層完成，TiDB 兼容 MySQL 協議，所以可以直接替換 MySQL，而且基本做到了開箱即用，完全不用擔心傳統分庫分表方案帶來繁重的作業負擔和復雜的維護成本，友好的用戶界面讓常規的技術人員可以高效地進行維護和管理，另外，TiDB 具有 NoSQL 類似的擴容能力，在資料量和訪問流量持續增長的情況下能夠通過水平擴容提高系統的業務支撐能力，并且回應延遲穩定，

資料倉庫


TiDB 本身是一個分布式系統，第三種使用場景是將 TiDB 當作資料倉庫使用，TPC-H 是資料分析領域的一個測驗集，TiDB 2.0 在 OLAP 場景下的性能有了大幅提升，原來只能在資料倉庫里面跑的一些復雜的 Query，在 TiDB 2.0 里面跑，時間基本都能控制在 10 秒以內，當然，因為 OLAP 的范疇非常大，TiDB 的 SQL 也有搞不定的情況，為此 PingCAP 開源了 TiSpark，TiSpark 是一個 Spark 插件，用戶可以直接用 Spark SQL 實時地在 TiKV 上做大資料分析，

作為其他系統的模塊

TiDB 是一個傳統的存盤跟計算分離的專案，其底層的 Key-Value 層，可以單獨作為一個 HBase 的 Replacement 來用，它同時支持跨行事務，TiDB 對外提供兩個 API 介面，一個是 ACID Transaction 的 API，用于支持跨行事務；另一個是 Raw API，它可以做單行的事務，換來的是整個性能的提升，但不提供跨行事務的 ACID 支持，用戶可以根據自身的需求在兩個 API 之間自行選擇，例如有一些用戶直接在 TiKV 之上實作了 Redis 協議，將 TiKV 替換一些大容量，對延遲要求不高的 Redis 場景，

應用案例

TiDB與MySQL兼容性對比

• TiDB支持MySQL傳輸協議及其絕大多數的語法，這意味著您現有的MySQL連接器和客戶端都可以繼續使用， 大多數情況下您現有的應用都可以遷移至 TiDB，無需任何代碼修改，
• 當前TiDB服務器官方支持的版本為MySQL 5.7，大部分MySQL運維工具（如PHPMyAdmin, Navicat, MySQL Workbench等），以及備份恢復工具（如 mysqldump, Mydumper/myloader）等都可以直接使用，
• 不過一些特性由于在分布式環境下沒法很好的實作，目前暫時不支持或者是表現與MySQL有差異
• 一些MySQL語法在TiDB中可以決議通過，但是不會做任何后續的處理，例如Create Table陳述句中Engine，是決議并忽略，

TiDB不支持的MySql特性

• 存盤程序與函式
• 觸發器
• 事件
• 自定義函式
• 外鍵約束
• 臨時表
• 全文/空間函式與索引
• 非 ascii/latin1/binary/utf8/utf8mb4 的字符集
• SYS schema
• MySQL 追蹤優化器
• XML 函式
• X-Protocol
• Savepoints
• 列級權限
• XA 語法（TiDB 內部使用兩階段提交，但并沒有通過 SQL 介面公開）
• CREATE TABLE tblName AS SELECT stmt 語法
• CHECK TABLE 語法
• CHECKSUM TABLE 語法
• GET_LOCK 和 RELEASE_LOCK 函式

自增ID

TiDB 的自增列僅保證唯一，也能保證在單個 TiDB server 中自增，但不保證多個 TiDB server 中自增，不保證自動分配的值的連續性，建議不要將預設值和自定義值混用，若混用可能會收 Duplicated Error 的錯誤資訊，

TiDB 可通過 tidb_allow_remove_auto_inc 系統變數開啟或者關閉允許移除列的 AUTO_INCREMENT 屬性，洗掉列屬性的語法是：alter table modify 或 alter table change，

TiDB 不支持添加列的 AUTO_INCREMENT 屬性，移除該屬性后不可恢復，

SELECT 的限制

• 不支持 SELECT ... INTO @變數 語法，
• 不支持 SELECT ... GROUP BY ... WITH ROLLUP 語法，
• TiDB 中的 SELECT .. GROUP BY expr 的回傳結果與 MySQL 5.7 并不一致，MySQL 5.7 的結果等價于 GROUP BY expr ORDER BY expr，而 TiDB 中該語法所回傳的結果并不承諾任何順序，與 MySQL 8.0 的行為一致，

視圖

目前TiDB不支持對視圖進行UPDATE、INSERT、DELETE等寫入操作，

默認設定差異

字符集

• TiDB 默認：utf8mb4，
• MySQL 5.7 默認：latin1，
• MySQL 8.0 默認：utf8mb4，

排序規則

• TiDB 中 utf8mb4 字符集默認：utf8mb4_bin，
• MySQL 5.7 中 utf8mb4 字符集默認：utf8mb4_general_ci，
• MySQL 8.0 中 utf8mb4 字符集默認：utf8mb4_0900_ai_ci，

大小寫敏感

關于lower_case_table_names的配置

• TiDB 默認：2，且僅支持設定該值為 2，
• MySQL 默認如下：
  • Linux 系統中該值為 0
  • Windows 系統中該值為 1
  • macOS 系統中該值為 2

引數解釋

• lower_case_table_names=0 表名存盤為給定的大小和比較是區分大小寫的
• lower_case_table_names = 1 表名存盤在磁盤是小寫的，但是比較的時候是不區分大小寫
• lower_case_table_names=2 表名存盤為給定的大小寫但是比較的時候是小寫的

timestamp型別欄位更新

默認情況下，timestamp型別欄位所在資料行被更新時，該欄位會自動更新為當前時間，而引數explicit_defaults_for_timestamp控制這一種行為，

• TiDB 默認：ON，且僅支持設定該值為 ON，
• MySQL 5.7 默認：OFF，
• MySQL 8.0 默認：ON，

引數解釋

• explicit_defaults_for_timestamp=off，資料行更新時，timestamp型別欄位更新為當前時間
• explicit_defaults_for_timestamp=on，資料行更新時，timestamp型別欄位不更新為當前時間，

外鍵支持

• TiDB 默認：OFF，且僅支持設定該值為 OFF，
• MySQL 5.7 默認：ON，

本文由傳智教育博學谷狂野架構師教研團隊發布，

如果本文對您有幫助，歡迎關注和點贊；如果您有任何建議也可留言評論或私信，您的支持是我堅持創作的動力，

轉載請注明出處！

標籤：Java

上一篇：SpringCloud微服務實戰——搭建企業級開發框架（五十二）：第三方登錄-微信小程式授權登錄流程設計和實作

下一篇：執行緒池