主頁 > 資料庫 > 圖文結合帶你搞懂GreatSQL體系架構

圖文結合帶你搞懂GreatSQL體系架構

2023-06-28 10:20:55 資料庫

往期系列回顧

  • 圖文結合系列之帶你搞懂MySQL日志系列

很多小伙伴使用了GreatSQL,但是對GreatSQL的底層原理還不是很了解,今天就帶大家一起揭開GreatSQL體系架構的神秘面紗!

首先來回顧一張經典的體系架構圖:

640imgadaw518513158aD

圖1_GreatSQL5.7 版本體系架構圖

由此可以發現,GreatSQL5.7 由以下幾部分組成

  • 連接池組件
  • 系統管理和控制工具
  • SQL介面組件
  • 查詢決議器
  • 查詢優化器
  • 快取組件
  • 可插拔存盤引擎
  • 系統和日志檔案

GreatSQL資料庫區別于其他資料庫的一個特點就是其可插拔的表存盤引擎,特別需要注意的是,存盤引擎是基于表的,而不是資料庫

然而,經典同時也意味著這幅圖已經相當陳舊了,在GreatSQL8.0 及更高版本中,查詢快取這一功能已經被移除,

圖片圖2_GreatSQL8.0 版本體系架構圖

總體來說,GreatSQL8.0 可以分為連接層、服務層、存盤引擎層

一、連接層(Client Connectors)

連接層又名為客戶端連接器(Client Connectors)作用是提供與GreatSQL服務器建立的支持,

客戶端通過TCP/IP協議與GreatSQL服務器建立連接,每個連接對應一個執行緒,連接管理還包括了連接池技術,以復用已經建立好的連接,減少重復建立連接的開銷,

而且幾乎支持所有主流的服務端編程技術,主要完成一些類似于連接處理、授權認證、及相關的安全方案,

會對從 TCP 傳輸過來的賬號密碼做身份認證、權限獲取

  • 用戶名或密碼不對,會收到Access denied for user錯誤,客戶端程式結束執行

例如:

$ mysql -uroot -p
ERROR 1045 (28000): Access denied for user 'root'@'localhost' (using password: NO)
  • 用戶名密碼認證通過,會從權限表查出賬號擁有的權限與連接關聯,之后的權限判斷邏輯,都將依賴于此時讀到的權限

二、服務層(GreatSQL Server)

服務層是GreatSQL Server的核心,主要包含連接器、分析器、優化器、執行器等,涵蓋 GreatSQL 的大多數核心服務功能,以及所有的內置函式(如日期、時間、數學和加密函式等),所有跨存盤引擎的功能都在這一層實作,比如存盤程序、觸發器、視圖等,

Ⅰ.SQL Interface: SQL介面

接收用戶的SQL命令,并且回傳用戶需要查詢的結果,比如SELECT … FROM就是呼叫SQL Interface,GreatSQL支持DML、DDL、存盤程序、視圖、觸發器、自定義函式等多種SQL語言介面

同時還支持NoSQL,NoSQL泛指非關系型資料庫和資料存盤,隨著互聯網平臺的規模飛速發展,傳統的關系型資料庫已經越來越不能滿足需求,從5.6版本開始,GreatSQL就開始支持簡單的NoSQL存盤功能,GreatSQL8.0 版本對這一功能做了優化,以更靈活的方式實作NoSQL功能,不再依賴模式(schema),

Ⅱ.Parser: 決議器

在決議器中對 SQL 陳述句進行語法分析、語意分析,將 SQL 陳述句分解成資料結構,并將這個結構傳遞到后續步驟,以后 SQL 陳述句的傳遞和處理就是基于這個結構的,并且判斷你輸入的這個 SQL 陳述句是否滿足 GreatSQL 語法,

Ⅲ.Optimizer: 查詢優化器

在開始執行之前,還要先經過優化器的處理,

SQL陳述句在語法決議之后、查詢之前會使用查詢優化器確定 SQL 陳述句的執行路徑,生成一個執行計劃,可以使用EXPLAIN命令查看執行計劃,

這個執行計劃表明應該使用哪些索引進行查詢(全表檢索還是使用索引檢索),表之間的連接順序如何,最后會按照執行計劃中的步驟呼叫存盤引擎提供的方法來真正的執行查詢,并將查詢結果回傳給用戶,

例如下面的 JOIN 陳述句:

SELECT * FROM tb1 JOIN tb2 USING(ID) WHERE tb1.a=1 and tb2.a=2;

那就有兩種方法可以選擇:

  • 第一種,先取表 tb1 里 a=1 的記錄的ID值,再根據 ID 關聯表 tb2 ,然后再判斷 tb2 里面 a 的值是否等于 2
  • 第二種,先取表 tb2 里面的 a=2 記錄的 ID 值,在根據 ID 值關聯 tb1 ,再判斷 tb1 里面 a 的值是否等于 10

執行的結果肯定是一致的,但是效率就大不相同了,所以我們要選擇用小的資料集去驅動大的資料集,也就是小表驅動大表

Ⅳ.Caches & Buffers:查詢快取組件

GreatSQL 內部維持著一些 CacheBuffer,比如 Query Cache 用來快取一條 SELECT 陳述句的執行結果,如果能夠在其中找到對應的查詢結果,那么就不必再進行查詢決議、優化和執行的整個程序了,直接將結果反饋給客戶端,

但是在 GreatSQL 8.0 版本及以上中洗掉了查詢快取功能,因為查詢快取必須要兩條SQL陳述句完全一模一樣,否則是不能觸發查詢快取,非常的雞肋~

三、引擎層(Storage Engines)

Ⅰ.存盤引擎層

真正的負責了 GreatSQL 中資料的存盤和提取,對物理服務器級別維護的底層資料執行操作,服務器通過API與存盤引擎進行通信,

存盤引擎的優勢在于,各式各樣的存盤引擎都具備獨特的特性,從而能夠針對特定的應用需求建立不同存盤引擎表,

GreatSQL 支持的存盤引擎如下:

greatsql> SHOW ENGINES;
+--------------------+---------+----------------------------------------------------------------------------+--------------+------+------------+
| Engine 引擎名稱 | Support 支持情況 | Comment 引擎的說明                          | Transactions 事務支持 | XA 分布式事務支持  | Savepoints 保存點 |
+--------------------+---------+----------------------------------------------------------------------------+--------------+------+------------+
| FEDERATED          | NO      | Federated MySQL storage engine                                             | NULL         | NULL | NULL       |
| PERFORMANCE_SCHEMA | YES     | Performance Schema                                                         | NO           | NO   | NO         |
| InnoDB             | DEFAULT | Percona-XtraDB, Supports transactions, row-level locking, and foreign keys | YES          | YES  | YES        |
| MEMORY             | YES     | Hash based, stored in memory, useful for temporary tables                  | NO           | NO   | NO         |
| MyISAM             | YES     | MyISAM storage engine                                                      | NO           | NO   | NO         |
| MRG_MYISAM         | YES     | Collection of identical MyISAM tables                                      | NO           | NO   | NO         |
| BLACKHOLE          | YES     | /dev/null storage engine (anything you write to it disappears)             | NO           | NO   | NO         |
| CSV                | YES     | CSV storage engine                                                         | NO           | NO   | NO         |
| ARCHIVE            | YES     | Archive storage engine                                                     | NO           | NO   | NO         |
+--------------------+---------+----------------------------------------------------------------------------+--------------+------+------------+
9 rows in set (0.00 sec)

得益于 GreatSQL 資料庫的開源特性,用戶得以依據存盤引擎介面自行撰寫個性化的存盤引擎,當對某一種存盤引擎的性能或功能存有疑慮時,可通過優化代碼實作所需特性,這正展示了開源所賦予我們的便捷與力量,

Ⅱ.存盤層

所有的資料,資料庫、表的定義,表的每一行的內容,索引,都是存在 檔案系統上,以檔案的方式存在的,并完成與存盤引擎的互動,當然有些存盤引擎比如InnoDB,也支持不使用檔案系統直接管理裸設備,但現代檔案系統的實作使得這樣做沒有必要了,在檔案系統之下,可以使用本地磁盤,可以使用DAS、NAS、SAN等各種存盤系統,

總結

所以可以把 GreatSQL 的架構圖簡化如下:

圖片

要把架構圖牢牢記住,對于以后深入理解 GreatSQL 資料庫會有極大幫助!


Enjoy GreatSQL ??

關于 GreatSQL

GreatSQL是由萬里資料庫維護的MySQL分支,專注于提升MGR可靠性及性能,支持InnoDB并行查詢特性,是適用于金融級應用的MySQL分支版本,

相關鏈接: GreatSQL社區 Gitee GitHub Bilibili

GreatSQL社區:

社區博客有獎征稿詳情:https://greatsql.cn/thread-100-1-1.html

image-20230105161905827

技術交流群:

微信:掃碼添加GreatSQL社區助手微信好友,發送驗證資訊加群

image-20221030163217640

轉載請註明出處,本文鏈接:https://www.uj5u.com/shujuku/556182.html

標籤:其他

上一篇:Spark環境搭建及Spark shell

下一篇:返回列表

標籤雲
其他(161769) Python(38255) JavaScript(25515) Java(18266) C(15238) 區塊鏈(8273) C#(7972) AI(7469) 爪哇(7425) MySQL(7271) html(6777) 基礎類(6313) sql(6102) 熊猫(6058) PHP(5875) 数组(5741) R(5409) Linux(5347) 反应(5209) 腳本語言(PerlPython)(5129) 非技術區(4971) Android(4607) 数据框(4311) css(4259) 节点.js(4032) C語言(3288) json(3245) 列表(3129) 扑(3119) C++語言(3117) 安卓(2998) 打字稿(2995) VBA(2789) Java相關(2746) 疑難問題(2699) 细绳(2522) 單片機工控(2479) iOS(2437) ASP.NET(2404) MongoDB(2323) 麻木的(2285) 正则表达式(2254) 字典(2211) 循环(2198) 迅速(2185) 擅长(2169) 镖(2155) .NET技术(1985) HtmlCss(1976) 功能(1967) Web開發(1951) C++(1942) python-3.x(1918) 弹簧靴(1913) xml(1889) PostgreSQL(1881) .NETCore(1863) 谷歌表格(1846) Unity3D(1843) for循环(1842)

熱門瀏覽
  • GPU虛擬機創建時間深度優化

    **?桔妹導讀:**GPU虛擬機實體創建速度慢是公有云面臨的普遍問題,由于通常情況下創建虛擬機屬于低頻操作而未引起業界的重視,實際生產中還是存在對GPU實體創建時間有苛刻要求的業務場景。本文將介紹滴滴云在解決該問題時的思路、方法、并展示最終的優化成果。 從公有云服務商那里購買過虛擬主機的資深用戶,一 ......

    uj5u.com 2020-09-10 06:09:13 more
  • 可編程網卡芯片在滴滴云網路的應用實踐

    **?桔妹導讀:**隨著云規模不斷擴大以及業務層面對延遲、帶寬的要求越來越高,采用DPDK 加速網路報文處理的方式在橫向縱向擴展都出現了局限性。可編程芯片成為業界熱點。本文主要講述了可編程網卡芯片在滴滴云網路中的應用實踐,遇到的問題、帶來的收益以及開源社區貢獻。 #1. 資料中心面臨的問題 隨著滴滴 ......

    uj5u.com 2020-09-10 06:10:21 more
  • 滴滴資料通道服務演進之路

    **?桔妹導讀:**滴滴資料通道引擎承載著全公司的資料同步,為下游實時和離線場景提供了必不可少的源資料。隨著任務量的不斷增加,資料通道的整體架構也隨之發生改變。本文介紹了滴滴資料通道的發展歷程,遇到的問題以及今后的規劃。 #1. 背景 資料,對于任何一家互聯網公司來說都是非常重要的資產,公司的大資料 ......

    uj5u.com 2020-09-10 06:11:05 more
  • 滴滴AI Labs斬獲國際機器翻譯大賽中譯英方向世界第三

    **桔妹導讀:**深耕人工智能領域,致力于探索AI讓出行更美好的滴滴AI Labs再次斬獲國際大獎,這次獲獎的專案是什么呢?一起來看看詳細報道吧! 近日,由國際計算語言學協會ACL(The Association for Computational Linguistics)舉辦的世界最具影響力的機器 ......

    uj5u.com 2020-09-10 06:11:29 more
  • MPP (Massively Parallel Processing)大規模并行處理

    1、什么是mpp? MPP (Massively Parallel Processing),即大規模并行處理,在資料庫非共享集群中,每個節點都有獨立的磁盤存盤系統和記憶體系統,業務資料根據資料庫模型和應用特點劃分到各個節點上,每臺資料節點通過專用網路或者商業通用網路互相連接,彼此協同計算,作為整體提供 ......

    uj5u.com 2020-09-10 06:11:41 more
  • 滴滴資料倉庫指標體系建設實踐

    **桔妹導讀:**指標體系是什么?如何使用OSM模型和AARRR模型搭建指標體系?如何統一流程、規范化、工具化管理指標體系?本文會對建設的方法論結合滴滴資料指標體系建設實踐進行解答分析。 #1. 什么是指標體系 ##1.1 指標體系定義 指標體系是將零散單點的具有相互聯系的指標,系統化的組織起來,通 ......

    uj5u.com 2020-09-10 06:12:52 more
  • 單表千萬行資料庫 LIKE 搜索優化手記

    我們經常在資料庫中使用 LIKE 運算子來完成對資料的模糊搜索,LIKE 運算子用于在 WHERE 子句中搜索列中的指定模式。 如果需要查找客戶表中所有姓氏是“張”的資料,可以使用下面的 SQL 陳述句: SELECT * FROM Customer WHERE Name LIKE '張%' 如果需要 ......

    uj5u.com 2020-09-10 06:13:25 more
  • 滴滴Ceph分布式存盤系統優化之鎖優化

    **桔妹導讀:**Ceph是國際知名的開源分布式存盤系統,在工業界和學術界都有著重要的影響。Ceph的架構和演算法設計發表在國際系統領域頂級會議OSDI、SOSP、SC等上。Ceph社區得到Red Hat、SUSE、Intel等大公司的大力支持。Ceph是國際云計算領域應用最廣泛的開源分布式存盤系統, ......

    uj5u.com 2020-09-10 06:14:51 more
  • es~通過ElasticsearchTemplate進行聚合~嵌套聚合

    之前寫過《es~通過ElasticsearchTemplate進行聚合操作》的文章,這一次主要寫一個嵌套的聚合,例如先對sex集合,再對desc聚合,最后再對age求和,共三層嵌套。 Aggregations的部分特性類似于SQL語言中的group by,avg,sum等函式,Aggregation ......

    uj5u.com 2020-09-10 06:14:59 more
  • 爬蟲日志監控 -- Elastc Stack(ELK)部署

    傻瓜式部署,只需替換IP與用戶 導讀: 現ELK四大組件分別為:Elasticsearch(核心)、logstash(處理)、filebeat(采集)、kibana(可視化) 下載均在https://www.elastic.co/cn/downloads/下tar包,各組件版本最好一致,配合fdm會 ......

    uj5u.com 2020-09-10 06:15:05 more
最新发布
  • 圖文結合帶你搞懂GreatSQL體系架構

    **往期系列回顧** - [圖文結合系列之帶你搞懂MySQL日志系列](http://mp.weixin.qq.com/s?__biz=MzkzMTIzMDgwMg==&mid=2247496981&idx=1&sn=ec496da6e52e19ee505483a15fb54f6b&chksm=c2 ......

    uj5u.com 2023-06-28 10:20:55 more
  • Spark環境搭建及Spark shell

    # StandAlone模式環境搭建 環境準備:三臺Linux,一個安裝Master,其他兩臺機器安裝Worker ![image](https://img2023.cnblogs.com/blog/1742816/202306/1742816-20230627212426287-907092698 ......

    uj5u.com 2023-06-28 10:15:29 more
  • 詳解資料庫中的索引和視圖

    摘要:索引就是資料表中資料和相應的存盤位置的串列,利用索引可以提高在表或視圖中的查找資料的速度。 本文分享自華為云社區《資料庫開發指南(六)索引和視圖的使用技巧、方法與綜合應用》,作者: bluetata 。 一、索引 1.1 什么是索引 索引就是資料表中資料和相應的存盤位置的串列,利用索引可以提高 ......

    uj5u.com 2023-06-28 10:15:19 more
  • MongoDB(一)

    ## 1、簡介 * MongoDB是基于C++語言撰寫的,是一個基于分布式檔案存盤的開源資料庫系統。 * MongoDB將資料存盤作為一個檔案,資料結構由鍵值對(key==>value)組成,MongoDB檔案類似于JSON物件。欄位值可以包含其他檔案,陣列及檔案陣列。 ![](https://im ......

    uj5u.com 2023-06-28 10:15:12 more
  • 這場世界級的攻堅考驗,華為云GaussDB穩過

    摘要:實踐證明,華為云GaussDB完全經受住了這場世界級的攻堅考驗,也完全具備支撐大型一體機系統遷移上云的能力,并積累了豐富的經驗。 本文分享自華為云社區《這場世界級的攻堅考驗,華為云GaussDB穩過》,作者: GaussDB 資料庫 。 數字化時代,業務“在線”是每個企業的常態。作為企業經營管 ......

    uj5u.com 2023-06-28 10:15:02 more
  • NoSQL簡介

    ## 1、什么是NoSQL * NoSQL(NoSQL = Not Only SQL ),意即"不僅僅是SQL"。 * NoSQL主要指非關系型、分布式、不提供ACID的資料庫設計模式。 * 在現代的計算系統上每天網路上都會產生龐大的資料量。 * 這些資料有很大一部分是由關系資料庫管理系統(RDBM ......

    uj5u.com 2023-06-28 10:14:53 more
  • 詳解資料庫中的索引和視圖

    摘要:索引就是資料表中資料和相應的存盤位置的串列,利用索引可以提高在表或視圖中的查找資料的速度。 本文分享自華為云社區《資料庫開發指南(六)索引和視圖的使用技巧、方法與綜合應用》,作者: bluetata 。 一、索引 1.1 什么是索引 索引就是資料表中資料和相應的存盤位置的串列,利用索引可以提高 ......

    uj5u.com 2023-06-28 10:14:14 more
  • 這場世界級的攻堅考驗,華為云GaussDB穩過

    摘要:實踐證明,華為云GaussDB完全經受住了這場世界級的攻堅考驗,也完全具備支撐大型一體機系統遷移上云的能力,并積累了豐富的經驗。 本文分享自華為云社區《這場世界級的攻堅考驗,華為云GaussDB穩過》,作者: GaussDB 資料庫 。 數字化時代,業務“在線”是每個企業的常態。作為企業經營管 ......

    uj5u.com 2023-06-28 10:13:49 more
  • MongoDB(一)

    ## 1、簡介 * MongoDB是基于C++語言撰寫的,是一個基于分布式檔案存盤的開源資料庫系統。 * MongoDB將資料存盤作為一個檔案,資料結構由鍵值對(key==>value)組成,MongoDB檔案類似于JSON物件。欄位值可以包含其他檔案,陣列及檔案陣列。 ![](https://im ......

    uj5u.com 2023-06-28 10:12:08 more
  • 圖文結合帶你搞懂GreatSQL體系架構

    **往期系列回顧** - [圖文結合系列之帶你搞懂MySQL日志系列](http://mp.weixin.qq.com/s?__biz=MzkzMTIzMDgwMg==&mid=2247496981&idx=1&sn=ec496da6e52e19ee505483a15fb54f6b&chksm=c2 ......

    uj5u.com 2023-06-28 10:11:47 more