主頁 > 資料庫 > 01 | 基礎架構:一條SQL查詢陳述句是如何執行的?

01 | 基礎架構:一條SQL查詢陳述句是如何執行的?

2023-06-09 08:22:58 資料庫

FAQ

畫出 MySQL 的基本架構圖

image.png

Server 層和存盤引擎層各自有哪些組件?

Server 層

  • 連接器
  • 查詢快取
  • 分析器
  • 優化器
  • 執行器
  • 所有內置函式(日期、時間、數學和加密函式等)
  • 所有跨存盤引擎的功能(存盤程序、觸發器、視圖等)

存盤引擎層

  • 負責資料的存盤和讀取

連接器的作用?

  • 連接器負責跟客戶端建立連接、獲取權限、維持和管理連接
  • 獲取權限:連接器從權限表中獲取用戶所擁有的權限,
    • 如果是全域權限,則將權限資訊加載到記憶體 acl_users 陣列中,并且將權限資訊拷貝一份到執行緒物件中,連接中的權限判斷以執行緒物件中保存的權限資訊作為依據,因此全域權限的 grant/revoke 只對新建連接生效,對已存在的連接不生效,
    • 如果是庫級別權限,則將資料表的權限資訊加載到記憶體 acl_dbs 陣列中,之后,權限判斷邏輯以記憶體 acl_dbs 陣列中的權限資訊作為依據,不過存在一種特殊情況,使用 use db 命令時,會將陣列 acl_dbs 中的用戶權限資訊拷貝一份保存到會話變數中,之后,在該會話中的權限檢驗以該會話變數中保存的用戶權限為準,
    • 如果是表、列權限,則將權限資訊加載到 column_priv_hash 哈希結構中,之后權限判斷,以該哈希結構中存盤的資料為準,對已建立的連接立刻生效,
權限范圍 存盤權限資訊的資料表 存盤權限資訊的記憶體資料結構 grant/revoke 陳述句對資料表和記憶體權限資訊的影響 特殊邏輯 grant/revoke對已建立連接的影響 對新建立連接的影響
全域權限 mysql.user acl_users 每次 grant/revoke 時,不僅修改資料表,也會同步修改記憶體 acl_users 陣列 mysql 會為連接維護一個執行緒物件,并將記憶體 acl_users 陣列中的用戶權限資訊拷貝到執行緒物件中,在此之后,此連接中的所有全域權限的判斷,直接使用執行緒物件中保存的權限位 不影響已建立連接 立刻生效
庫級別權限 mysql.db acl_dbs 每次 grant/revoke 時,不僅修改資料表,也會同步修改記憶體 acl_dbs 陣列 use db 陳述句會將獲取到的庫權限資訊保存在會話變數中,在此之后,此連接中的所有庫權限的判斷,都直接使用該會話變數中保存的權限位
- 不影響執行過 use db 命令的已建立連接
- 對未指定庫的連接,立即生效
立刻生效
表和列權限 mysql.tables_priv, mysql.columns_priv column_priv_hash 每次 grant/revoke 時,不僅修改資料表,也會同步修改記憶體 column_priv_hash 結構 立刻生效 立刻生效
  • 針對表級別的權限修改,無論連接是新建的還是后來創建的,命令立馬生效,
  • 針對全域權限或者庫級別權限的修改,已有的連接不受影響(特殊情況:庫級別權限修改并且使用 use db 命令,一般程式都會使用該命令),后續新建的連接才會生效,

什么是長連接、短連接?

如果客戶端使用了連接池,則客戶端和RDS實體之間的連接為長連接(建立連接并讀寫完成后不會主動斷開的連接),反之則為短連接(建立連接并讀寫完成后主動斷開的連接),

使用長連接,為什么有時可能會導致 MySQL 占用記憶體漲得特別快,從而導致記憶體占用太大,被系統強行殺掉(OOM)

因為 MySQL 在執行程序中臨時使用的記憶體是在連接物件里進行管理的,而在默認情況下,連接物件中申請的資源會在連接斷開時才會釋放(釋放給了系統還是 MySQL?),因此如果長連接長時間不斷開連接,可能導致 MySQL 記憶體占用太大,從而被系統強行殺掉(OOM)

如何解決長連接長時間不斷開,導致連接記憶體占用太大,進而導致 MySQL 記憶體占用太大,從而被系統強行殺掉?

兩種方案

  1. 定期斷開長連接,使用一段時間,或者在程式里判斷執行過一個占用記憶體的大查詢后,斷開連接,之后查詢再重建連接
  2. 在 MySQL 5.7 或更新版本,每次執行完一個占用記憶體較大的操作后,執行 [mysql_reset_connection](https://www.yuque.com/docs/share/7ff2ccda-65c6-4dcb-b93c-f7d08f7fecd7?# 《cmd_reset_connection》) 來重新初始化連接資源,并且不需要重連和重新校驗權限,但會將連接恢復到剛剛創建完成時的狀態
    1. C API:mysql_reset_connection
    2. Python API:cmd_reset_connection(無法重新初始化連接資源,釋放不了所占用的記憶體,只能重置用戶和系統變數)

[wait_timeout and interactive_timeout 引數的區別和聯系](https://www.yuque.com/docs/share/26d83ed1-bcff-4211-a315-1c32b2745a1e?# 《wait_timeout and interactive_timeout 引數的區別和聯系》)

為什么叫互動式和非互動式連接?通俗解釋不知道?

  • 互動式連接:通過 mysql 客戶端 與 mysql server 建立的連接是互動式連接
  • 非互動式連接:不是通過 mysql 客戶端,而是通過 jdbc 等方法與 mysql server 建立的連接稱為非互動式連接

會話級變數 wait_timeout

引數 作用
wait_timeout 非互動式連接建立完成后,使用程序中的等待時間(單位:秒)
interactive_timeout 互動式連接建立完成后,使用程序中的等待時間(單位:秒)
  1. 互動式連接的會話變數 wait_timeout 和 interactive_timeout 都繼承自全域變數 interactive_timeout
  2. 非互動式連接的會話變數 wait_timeout 和 interactive_timeout 分別繼承自全域變數 wait_timeout 和 interactive_timeout
  3. 無論是互動式還是非互動式連接,連接閑置閾值都由會話變數 wait_timeout 控制,與會話變數 interactive_timeout 無關,

查詢快取中存盤的是什么內容?

查詢快取中存盤著執行過的陳述句和其結果,并以 key-value 的形式存盤在記憶體中,其中 key 對應查詢的陳述句,value 對應查詢的結果,當查詢陳述句能夠在查詢快取中匹配到的話,則直接回傳查詢結果,

為什么不建議使用查詢快取?

查詢快取的失效機制:只要表上有一個更新,那么查詢快取中關于這張表的所有查詢快取都將清空,這對于更新頻繁的資料庫來說,查詢快取的命中率會非常低,因此查詢快取基本沒用

分析器的作用?

決議 SQL 陳述句,以獲悉該 SQL 陳述句要做什么,

分析器中詞法決議的作用?

SQL 陳述句由多個字串和空格、換行組成,詞法決議會將 SQL 中的字串識別出來,并確定每個字串代表的含義(表、欄位、關鍵字等)
比如,查詢陳述句 select id from t where id = 10,詞法決議會將字串 ”t“ 識別為”表名 t“,字串 ”id“ 識別為“列 id”

分析器中語法決議的作用?

語法決議器根據語法規則判斷 SQL 陳述句是否滿足 MySQL 語法

優化器的作用?

  • 優化器在表中有多個索引時,決定使用哪個索引
  • 或者在一個陳述句有多表關聯時,決定各個表的連接順序

執行器的作用?

呼叫存盤引擎提供的介面去讀寫資料

執行器執行查詢前,需要判斷是否有查詢陳述句中相關表的查詢權限,為什么不將這個權限校驗的程序放到優化器或分析器中去做?

  • 連接階段只是“獲得權限資訊”, 真正開始查詢動作,才判斷“有沒有操作這個表的權限”
  • 連接階段是去系統表讀資料,結果放在變數,執行器使用這個變數

轉載請註明出處,本文鏈接:https://www.uj5u.com/shujuku/554729.html

標籤:其他

上一篇:wait_timeout and interactive_timeout 引數

下一篇:返回列表

標籤雲
其他(160658) Python(38218) JavaScript(25488) Java(18210) C(15237) 區塊鏈(8270) C#(7972) AI(7469) 爪哇(7425) MySQL(7241) html(6777) 基礎類(6313) sql(6102) 熊猫(6058) PHP(5873) 数组(5741) R(5409) Linux(5347) 反应(5209) 腳本語言(PerlPython)(5129) 非技術區(4971) Android(4588) 数据框(4311) css(4259) 节点.js(4032) C語言(3288) json(3245) 列表(3129) 扑(3119) C++語言(3117) 安卓(2998) 打字稿(2995) VBA(2789) Java相關(2746) 疑難問題(2699) 细绳(2522) 單片機工控(2479) iOS(2435) ASP.NET(2404) MongoDB(2323) 麻木的(2285) 正则表达式(2254) 字典(2211) 循环(2198) 迅速(2185) 擅长(2169) 镖(2155) .NET技术(1984) 功能(1967) HtmlCss(1956) Web開發(1951) C++(1933) python-3.x(1918) 弹簧靴(1913) xml(1889) PostgreSQL(1880) .NETCore(1863) 谷歌表格(1846) Unity3D(1843) for循环(1842)

熱門瀏覽
  • GPU虛擬機創建時間深度優化

    **?桔妹導讀:**GPU虛擬機實體創建速度慢是公有云面臨的普遍問題,由于通常情況下創建虛擬機屬于低頻操作而未引起業界的重視,實際生產中還是存在對GPU實體創建時間有苛刻要求的業務場景。本文將介紹滴滴云在解決該問題時的思路、方法、并展示最終的優化成果。 從公有云服務商那里購買過虛擬主機的資深用戶,一 ......

    uj5u.com 2020-09-10 06:09:13 more
  • 可編程網卡芯片在滴滴云網路的應用實踐

    **?桔妹導讀:**隨著云規模不斷擴大以及業務層面對延遲、帶寬的要求越來越高,采用DPDK 加速網路報文處理的方式在橫向縱向擴展都出現了局限性。可編程芯片成為業界熱點。本文主要講述了可編程網卡芯片在滴滴云網路中的應用實踐,遇到的問題、帶來的收益以及開源社區貢獻。 #1. 資料中心面臨的問題 隨著滴滴 ......

    uj5u.com 2020-09-10 06:10:21 more
  • 滴滴資料通道服務演進之路

    **?桔妹導讀:**滴滴資料通道引擎承載著全公司的資料同步,為下游實時和離線場景提供了必不可少的源資料。隨著任務量的不斷增加,資料通道的整體架構也隨之發生改變。本文介紹了滴滴資料通道的發展歷程,遇到的問題以及今后的規劃。 #1. 背景 資料,對于任何一家互聯網公司來說都是非常重要的資產,公司的大資料 ......

    uj5u.com 2020-09-10 06:11:05 more
  • 滴滴AI Labs斬獲國際機器翻譯大賽中譯英方向世界第三

    **桔妹導讀:**深耕人工智能領域,致力于探索AI讓出行更美好的滴滴AI Labs再次斬獲國際大獎,這次獲獎的專案是什么呢?一起來看看詳細報道吧! 近日,由國際計算語言學協會ACL(The Association for Computational Linguistics)舉辦的世界最具影響力的機器 ......

    uj5u.com 2020-09-10 06:11:29 more
  • MPP (Massively Parallel Processing)大規模并行處理

    1、什么是mpp? MPP (Massively Parallel Processing),即大規模并行處理,在資料庫非共享集群中,每個節點都有獨立的磁盤存盤系統和記憶體系統,業務資料根據資料庫模型和應用特點劃分到各個節點上,每臺資料節點通過專用網路或者商業通用網路互相連接,彼此協同計算,作為整體提供 ......

    uj5u.com 2020-09-10 06:11:41 more
  • 滴滴資料倉庫指標體系建設實踐

    **桔妹導讀:**指標體系是什么?如何使用OSM模型和AARRR模型搭建指標體系?如何統一流程、規范化、工具化管理指標體系?本文會對建設的方法論結合滴滴資料指標體系建設實踐進行解答分析。 #1. 什么是指標體系 ##1.1 指標體系定義 指標體系是將零散單點的具有相互聯系的指標,系統化的組織起來,通 ......

    uj5u.com 2020-09-10 06:12:52 more
  • 單表千萬行資料庫 LIKE 搜索優化手記

    我們經常在資料庫中使用 LIKE 運算子來完成對資料的模糊搜索,LIKE 運算子用于在 WHERE 子句中搜索列中的指定模式。 如果需要查找客戶表中所有姓氏是“張”的資料,可以使用下面的 SQL 陳述句: SELECT * FROM Customer WHERE Name LIKE '張%' 如果需要 ......

    uj5u.com 2020-09-10 06:13:25 more
  • 滴滴Ceph分布式存盤系統優化之鎖優化

    **桔妹導讀:**Ceph是國際知名的開源分布式存盤系統,在工業界和學術界都有著重要的影響。Ceph的架構和演算法設計發表在國際系統領域頂級會議OSDI、SOSP、SC等上。Ceph社區得到Red Hat、SUSE、Intel等大公司的大力支持。Ceph是國際云計算領域應用最廣泛的開源分布式存盤系統, ......

    uj5u.com 2020-09-10 06:14:51 more
  • es~通過ElasticsearchTemplate進行聚合~嵌套聚合

    之前寫過《es~通過ElasticsearchTemplate進行聚合操作》的文章,這一次主要寫一個嵌套的聚合,例如先對sex集合,再對desc聚合,最后再對age求和,共三層嵌套。 Aggregations的部分特性類似于SQL語言中的group by,avg,sum等函式,Aggregation ......

    uj5u.com 2020-09-10 06:14:59 more
  • 爬蟲日志監控 -- Elastc Stack(ELK)部署

    傻瓜式部署,只需替換IP與用戶 導讀: 現ELK四大組件分別為:Elasticsearch(核心)、logstash(處理)、filebeat(采集)、kibana(可視化) 下載均在https://www.elastic.co/cn/downloads/下tar包,各組件版本最好一致,配合fdm會 ......

    uj5u.com 2020-09-10 06:15:05 more
最新发布
  • 01 | 基礎架構:一條SQL查詢陳述句是如何執行的?

    ### FAQ #### 畫出 MySQL 的基本架構圖 ![image.png](https://cdn.nlark.com/yuque/0/2023/png/559966/1686211777836-612d0e7c-7595-44b5-ad5c-9392633de905.png#average ......

    uj5u.com 2023-06-09 08:22:58 more
  • wait_timeout and interactive_timeout 引數

    ### wait_timeout and interactive_timeout 引數 - 非互動模式連接:通常情況下,應用到RDS實體會采用非互動模式,具體采用哪個模式需要查看應用的連接方式配置,比如PHP通過傳遞MYSQL_CLIENT_INTERACTIVE常量給mysql_connect() ......

    uj5u.com 2023-06-09 08:22:55 more
  • 理論+示例,詳解GaussDB(DWS)資源管理

    摘要:合理地管理和分配系統資源,是保證資料庫系統穩定高效運行的關鍵。 本文分享自華為云社區《GaussDB(DWS)資源管理能力介紹與應用示例》,作者: 門前一棵葡萄樹 。 一、資源管理能力 1.1 概述 資料庫運行程序中使用的公共資源包含:系統資源(CPU、記憶體、網路等)和資料庫共享資源(鎖、計數 ......

    uj5u.com 2023-06-09 08:22:39 more
  • 閑來無事-夏天防止花被渴死

    ### 扯淡時間 前段時間,辦了一張流量卡。 有了新的手機號碼那就可以薅一波資本主義的羊毛了,所以我在京東上使用0.1大洋包郵的價格喜提了一個多肉,(在此之前我養過挺多的花,所有的都是忘了澆水被渴死了)此次痛并思痛,一定要讓我0.1大洋的的多肉看到明年的太陽。 ### 思路 > 養花幾乎不用管,只需 ......

    uj5u.com 2023-06-09 08:22:14 more
  • 01 | 基礎架構:一條SQL查詢陳述句是如何執行的?

    ### FAQ #### 畫出 MySQL 的基本架構圖 ![image.png](https://cdn.nlark.com/yuque/0/2023/png/559966/1686211777836-612d0e7c-7595-44b5-ad5c-9392633de905.png#average ......

    uj5u.com 2023-06-09 08:21:35 more
  • wait_timeout and interactive_timeout 引數

    ### wait_timeout and interactive_timeout 引數 - 非互動模式連接:通常情況下,應用到RDS實體會采用非互動模式,具體采用哪個模式需要查看應用的連接方式配置,比如PHP通過傳遞MYSQL_CLIENT_INTERACTIVE常量給mysql_connect() ......

    uj5u.com 2023-06-09 08:21:31 more
  • 理論+示例,詳解GaussDB(DWS)資源管理

    摘要:合理地管理和分配系統資源,是保證資料庫系統穩定高效運行的關鍵。 本文分享自華為云社區《GaussDB(DWS)資源管理能力介紹與應用示例》,作者: 門前一棵葡萄樹 。 一、資源管理能力 1.1 概述 資料庫運行程序中使用的公共資源包含:系統資源(CPU、記憶體、網路等)和資料庫共享資源(鎖、計數 ......

    uj5u.com 2023-06-09 08:21:15 more
  • 手記系列之六 ----- 分享個人使用kafka經驗

    ## 前言 本篇文章主要介紹的關于本人從剛作業到現在使用kafka的經驗,內容非常多,包含了kafka的常用命令,在生產環境中遇到的一些場景處理,kafka的一些web工具推薦等等。由于kafka這塊的記錄以及經驗是從我剛開始使用kafka,從2017年開始,可能里面有些內容過時,請見諒。溫馨提醒, ......

    uj5u.com 2023-06-09 08:20:22 more
  • Kafka的系統架構和API開發

    # 系統架構 **主題topic和磁區partition** - topic Kafka中存盤資料的邏輯分類;你可以理解為資料庫中“表”的概念;比如,將app端日志、微信小程式端日志、業務庫訂單表資料分別放入不同的topic - partition磁區(提升kafka吞吐量) topic中資料的具體 ......

    uj5u.com 2023-06-09 08:20:03 more
  • Centos 7 通過 targz 檔案安裝 Elastic Search 服務

    區別于通過發行版自帶的倉庫, 介紹如何通過 targz 檔案安裝 Elastic Search 服務, 使用的 Linux 為 Centos 7 ......

    uj5u.com 2023-06-09 08:19:56 more