主頁 > 資料庫 > MySQL 中的鎖機制

MySQL 中的鎖機制

2022-09-16 09:42:44 資料庫

介紹鎖機制

技術是為了解決問題而生的,鎖被用來實作隔離性,保證并發事務的正確性,

兩段鎖 & 一次封鎖

兩段鎖

資料庫遵循的是兩段鎖協議,將事務分成兩個階段,加鎖階段和解鎖階段(所以叫兩段鎖)

  • 加鎖階段:在加鎖階段只能進行加鎖操作,

    • 如果事務要讀取物件,必須先獲得共享鎖,可以有多個事務同時獲得一個物件的共享鎖
    • 如果事務要修改物件,必須先獲得獨占鎖,只能有一個事務獲得物件的獨占鎖,如果某個事務已經獲得了物件的獨占鎖,則其他嘗試獲取鎖(包括共享鎖、獨占鎖)的事務必須等待,直到加鎖成功才能繼續執行
  • 解鎖階段:在解鎖階段只能進行解鎖操作,

事務要讀取物件 ,必須先獲得共享鎖,這樣防止幻讀,事務要修改物件,必須先獲得獨占鎖,這樣防止臟寫,

兩段鎖可以這樣來實作:事務開始后就處于加鎖階段,一直到執行 rollback 或 commit 之前都是加鎖階段,rollback 和 commit 使事務進入解鎖階段,即在 rollback 或 commit 時釋放持有的鎖,


一次封鎖

一次封鎖法遵守兩段鎖協議,

一次封鎖要求每個事務必須一次將所有要使用的資料全部加鎖,否則就不能繼續執行,

一次封鎖存在的問題:

  • 封鎖時間被延長,并發度被降低:一次就將以后要用到的全部資料加鎖,勢必延長了封鎖的時間,從而降低了系統的并發度,
  • 不適合用在資料庫:一次封鎖不適合用在資料庫中,因為在事務開始階段,資料庫并不知道會用到哪些資料,

一次封鎖的好處:不會出現死鎖,


為什么要使用兩段鎖呢?用完直接釋放鎖不行嗎?

不行,用完直接釋放會使事務的隔離性受到影響,具體介紹可以看下面的文章,Mysql鎖:靈魂七拷問 (youzan.com)

兩段鎖 的優劣局限

兩段鎖的優點 / 作用:

  • 解決事務并發問題:防止臟寫、臟讀 ......
  • 實作可串行化隔離:將兩段鎖與謂詞鎖結合使用,可以防止所有形式的寫傾斜以及其他競爭條件,實作可串行化隔離
  • 性能和實際串行相比:相比于實際串行來說,使用兩段鎖時,多個事務可以并發讀取同一個物件
  • 性能和一次封鎖來比:相比于一次封鎖,兩段鎖的鎖定時間更短,事務并發性比一次封鎖要好

兩段鎖的缺點:

  • 性能:使用兩段鎖,事務吞吐量和查詢回應時間相比于其他弱隔離級別下降非常多,部分原因在于鎖的獲取和釋放本身的開銷,但更重要的是其降低了事務的并發性,
  • 訪問延遲具有非常大的不確定性:假如一個事務需要等待另一個事務釋放鎖,另一個事務釋放鎖的時機是不確定的,因此等待它釋放鎖的耗時是不確定的,
  • 死鎖更加頻繁:由于兩段鎖的加鎖模式,死鎖可能變得更為頻繁,因而導致另一個性能問題,即如果事務由于死鎖而被強行中止,應用層就必須從頭重試,假如死鎖過于頻繁,則性能和效率必然大打折扣,

資料庫系統會自動檢測死鎖情況,并強行中止其中的一個事務以打破僵局

由于使用了這么多的鎖機制,所以很容易出現死鎖現象 ,例如事務 A 可能在等待事務 B 釋放它持有的鎖, 而事務 B 在等待事務 A 釋放它持有的鎖,資料庫系統會自動檢測事務之間的死鎖情況,并強行中止其中的一個事務以打破僵局,這樣另一個可以繼續向前執行 ,而被中止的事務需要由應用層來重試,

MySQL 提供的鎖

根據加鎖的范圍,MySQL 里面的鎖大致可以分成全域鎖、表級鎖和行級鎖三類,

全域鎖

全域鎖就是對整個資料庫實體加鎖,

給資料庫實體加全域鎖的命令:flush tables with read lock;(FTWRL)

釋放鎖的命令:unlock tables;(表級鎖、行級鎖釋放也是這個命令)

加上全域鎖之后,整個資料庫處于只讀狀態,其他執行緒的以下陳述句會被阻塞:

  • 資料更新陳述句(資料的增刪改 insert、delete、update)
  • 資料定義陳述句(DDL、包括建表、修改表結構等)
  • 更新類事務的提交陳述句(更新類事務就是使用了類似 select * from t1 for update; 帶 for update 的查詢的事務)

全域鎖的典型使用場景是,做全庫邏輯備份,也就是把整庫每個表存成 .sql 型別的檔案,


全域鎖的作用相當于是停止更新操作,拿到一個一致性視圖,

MySQL 的在可重復讀隔離級別下開啟一個事務也可以拿到一個一致性視圖,并且后者可以做到不影響更新操作,

官方自帶了全量邏輯備份工具 mysqldump,

  • 當 mysqldump 使用引數 –single-transaction 的時候,就會使用基于 MVCC 機制的一致性視圖,
  • 當 mysqldump 使用引數 –master-data 的時候,就會使用基于全域讀鎖的一致性視圖,

表級鎖

表級鎖就是對表加鎖,

MySQL 里面表級別的鎖有三種:

  • 表鎖;
  • 元資料鎖(meta data lock,MDL);
  • 意向鎖,

表鎖

表鎖就是對整個資料表加鎖,

給資料表加表鎖的命令:lock table 表名 read / write;

釋放表鎖的命令和釋放全域鎖的命令一樣,都是:unlock tables;,如果不手動釋放表鎖,在客戶端斷開的時候會自動釋放表鎖,


需要注意的是,lock tables 語法除了會限制別的執行緒的讀寫外,也限定了本執行緒接下來的操作物件,

舉個例子,如果在執行緒 A 中執行 lock tables t1 read, t2 write; 這個陳述句,則其他執行緒寫 t1、讀寫 t2 的陳述句都會被阻塞,同時,執行緒 A 在執行 unlock tables 之前,也只能執行讀 t1、讀寫 t2 的操作,連寫 t1 都不允許,自然也不能訪問其他表,

意向鎖

表鎖分為:共享鎖、獨占鎖,

  • 如果我們想對整個資料表加共享鎖,首先要確保表中沒有記錄被加獨占鎖
  • 如果我們想對整個資料表加獨占鎖,首先要確保表中沒有記錄被加共享鎖 / 獨占鎖

那么我們該如何來判斷表中是否有記錄被加獨占鎖 / 獨占鎖呢?我們可以通過遍歷所有記錄的方式來查看表中有沒有被加鎖的記錄,而遍歷的方式太慢了,

意向鎖的提出就是為了加表級別的共享鎖 和 獨占鎖時,快速判斷表中的記錄是否被上鎖,以避免用遍歷的方式來查看表中有沒有被加鎖的記錄,提供判斷速度,


意向鎖分為:意向共享鎖、意向獨占鎖:

  • 當事務準備在某條記錄上加 共享鎖 時,需要先在表級別加一個 意向共享鎖;
  • 當事務準備在某條記錄上加 獨占鎖 時,需要先在表級別加一個 意向獨占鎖,

這樣,如果表級別存在 意向共享鎖,就意味著表中有被加 共享鎖 的記錄;如果表級別存在 意向獨占鎖,就意味著表中有被加 獨占鎖 的記錄,通過意向鎖我們就可以快速判斷表中是否有記錄被加鎖,


表鎖和意向鎖的兼容互斥關系

意向共享鎖、意向獨占鎖是兼容的,表鎖和意向鎖的兼容互斥關系如下:

  • ??代表二者兼容;
  • ?代表二者互斥,
鎖的型別 意向共享鎖 意向獨占鎖
表共享鎖 ?? ?
表獨占鎖 ? ?
  • 如果該表持有意向共享鎖,意味著表中有記錄持有共享鎖,那么表共享鎖可以加鎖成功;表獨占鎖加鎖失敗,阻塞等待
  • 如果該表持有意向獨占鎖,意味著表中有記錄持有獨占鎖,那么表共享鎖、表獨占鎖加鎖失敗,阻塞等待

元資料鎖

元資料鎖(meta data lock,MDL)是 MySQL 5.5 版本引入的,

MDL 不需要顯式使用,在訪問一個表的時候會被自動加 MDL 鎖,

MDL 鎖分為:MDL 讀鎖、MDL 寫鎖:

  • DML 操作(資料的增刪改查:insert、delete、update、select)加 MDL 讀鎖
  • DDL 操作(對表結構做變更操作)加 MDL 寫鎖,

MDL 鎖的加鎖、釋放鎖的規則:

  • MDL 讀鎖與 MDL 讀鎖互不干擾,
  • MDL 寫鎖與 MDL 寫鎖、MDL 寫鎖與 MDL 讀鎖相互阻塞,用來保證變更表結構操作的安全性,
  • MDL 鎖使用兩段鎖:事務獲得鎖之后, 一直持有鎖直到事務結束(包括提交或中止),

MDL 鎖作用是:防止 DDL 操作和 DML 操作并發,保證變更表結構操作的安全性,


需要注意的是,如果申請加 MDL 鎖失敗,那么再此之后的加鎖申請都必須等待(公平鎖機制,遵循先來先執行原則,先來的沒有加鎖成功,后來的不能加鎖),因此執行 DDL 操作時要格外注意,如果操作執行時間過長,后面的 DML 操作都將被阻塞較長時間,

行級鎖

行級鎖就是對記錄加鎖,

行級鎖又分為各種型別,不同型別的行級鎖的作用也不同,行級鎖分為:

  • Record Lock:行鎖,單個行記錄的鎖
  • Gap Lock:間隙鎖,作用于記錄與記錄之間的空隙,作用僅僅是為了防止滿足搜索條件的記錄插入空隙(防止插入幻影記錄)
  • Next-Key Lock:索引區間鎖,本質是一個行鎖 和 一個 Gap Lock 的結合體

Gap Lock 說明

A gap lock is a lock on a gap between index records, or a lock on the gap before the first or after the last index record. For example, SELECT c1 FROM t WHERE c1 BETWEEN 10 and 20 FOR UPDATE; prevents other transactions from inserting a value of 15 into column t.c1, whether or not there was already any such value in the column, because the gaps between all existing values in the range are locked.

只在可重復讀或以上隔離級別下的特定操作才會加間隙鎖,在 加讀寫鎖的 select、update 和 delete 時,除了基于唯一索引(主鍵索引也屬于唯一索引)的查詢之外,基于其他索引查詢時都會加間隙鎖,

能夠加 Gap Lock 的要求:

  • 必須是可重復讀或以上隔離級別

  • 如果是 select,則必須以給讀到的記錄加讀寫鎖的方式

    • 可重復讀隔離級別下的 select ... for update、select ... lock in share mode
    • 可串行化隔離級別下的 select ...(加共享鎖)以及上面兩種手動加共享鎖,排他鎖的方式
  • 必須是能夠走索引的查詢,如果是全表掃描的查詢那么沒有辦法加 Gap Lock,


加鎖規則:包含了兩個“原則”、兩個“優化”和一個“bug”,

  • 原則 1:加鎖的基本單位是 next-key lock,next-key lock 是前開后閉區間,
  • 原則 2:查找程序中訪問到的物件才會加鎖,
  • 優化 1:索引上的等值查詢,給唯一索引加鎖的時候,next-key lock 退化為行鎖,
  • 優化 2:索引上的等值查詢,向右遍歷時且最后一個值不滿足等值條件的時候,next-key lock 退化為間隙鎖,
  • 一個 bug:唯一索引上的范圍查詢會訪問到不滿足條件的第一個值為止,

共享鎖 & 獨占鎖 說明

表鎖、元資料鎖、行鎖又都分為共享鎖和獨占鎖,

  • 共享鎖-共享鎖兼容:如果事務要讀取物件 ,必須先以共享模式獲得鎖,可以有多個事務同時獲得一個物件的共享鎖
  • 共享鎖-獨占鎖、獨占鎖-獨占鎖互斥:如果事務要修改物件,必須先以獨占模式獲取鎖,只能有一個事務獲得物件的獨占鎖,如果某個事務已經獲得了物件的獨占鎖,則其他嘗試獲取鎖(包括共享鎖、獨占鎖)的事務必須等待

共享鎖 和 獨占鎖 的兼容互斥關系如下:

  • ??代表二者兼容;
  • ?代表二者互斥,
鎖的型別 共享鎖 獨占鎖
共享鎖 ?? ?
獨占鎖 ? ?

為什么要分 共享鎖、獨占鎖:允許多個事務并發讀,但只允許一個事務寫,既支持并發提高性能,又保證了并發安全,

參考資料

06 | 全域鎖和表鎖 :給表加個欄位怎么有這么多阻礙? (geekbang.org)

07 | 行鎖功過:怎么減少行鎖對性能的影響? (geekbang.org)

21 | 為什么我只改一行的陳述句,鎖這么多? (geekbang.org)

《資料密集型應用系統設計》第七章:事務

《MySQL 是怎樣運行的:從根兒上理解 MySQL》第25章 作業面試老大難-鎖

本文來自博客園,作者:真正的飛魚,轉載請注明原文鏈接:https://www.cnblogs.com/feiyu2/p/16697961.html

轉載請註明出處,本文鏈接:https://www.uj5u.com/shujuku/508871.html

標籤:其他

上一篇:一文讀懂,硬核 Apache DolphinScheduler3.0 原始碼決議

下一篇:SqlServer對表的基本操作

標籤雲
其他(157675) Python(38076) JavaScript(25376) Java(17977) C(15215) 區塊鏈(8255) C#(7972) AI(7469) 爪哇(7425) MySQL(7132) html(6777) 基礎類(6313) sql(6102) 熊猫(6058) PHP(5869) 数组(5741) R(5409) Linux(5327) 反应(5209) 腳本語言(PerlPython)(5129) 非技術區(4971) Android(4554) 数据框(4311) css(4259) 节点.js(4032) C語言(3288) json(3245) 列表(3129) 扑(3119) C++語言(3117) 安卓(2998) 打字稿(2995) VBA(2789) Java相關(2746) 疑難問題(2699) 细绳(2522) 單片機工控(2479) iOS(2429) ASP.NET(2402) MongoDB(2323) 麻木的(2285) 正则表达式(2254) 字典(2211) 循环(2198) 迅速(2185) 擅长(2169) 镖(2155) 功能(1967) .NET技术(1958) Web開發(1951) python-3.x(1918) HtmlCss(1915) 弹簧靴(1913) C++(1909) xml(1889) PostgreSQL(1872) .NETCore(1853) 谷歌表格(1846) Unity3D(1843) for循环(1842)

熱門瀏覽
  • GPU虛擬機創建時間深度優化

    **?桔妹導讀:**GPU虛擬機實體創建速度慢是公有云面臨的普遍問題,由于通常情況下創建虛擬機屬于低頻操作而未引起業界的重視,實際生產中還是存在對GPU實體創建時間有苛刻要求的業務場景。本文將介紹滴滴云在解決該問題時的思路、方法、并展示最終的優化成果。 從公有云服務商那里購買過虛擬主機的資深用戶,一 ......

    uj5u.com 2020-09-10 06:09:13 more
  • 可編程網卡芯片在滴滴云網路的應用實踐

    **?桔妹導讀:**隨著云規模不斷擴大以及業務層面對延遲、帶寬的要求越來越高,采用DPDK 加速網路報文處理的方式在橫向縱向擴展都出現了局限性。可編程芯片成為業界熱點。本文主要講述了可編程網卡芯片在滴滴云網路中的應用實踐,遇到的問題、帶來的收益以及開源社區貢獻。 #1. 資料中心面臨的問題 隨著滴滴 ......

    uj5u.com 2020-09-10 06:10:21 more
  • 滴滴資料通道服務演進之路

    **?桔妹導讀:**滴滴資料通道引擎承載著全公司的資料同步,為下游實時和離線場景提供了必不可少的源資料。隨著任務量的不斷增加,資料通道的整體架構也隨之發生改變。本文介紹了滴滴資料通道的發展歷程,遇到的問題以及今后的規劃。 #1. 背景 資料,對于任何一家互聯網公司來說都是非常重要的資產,公司的大資料 ......

    uj5u.com 2020-09-10 06:11:05 more
  • 滴滴AI Labs斬獲國際機器翻譯大賽中譯英方向世界第三

    **桔妹導讀:**深耕人工智能領域,致力于探索AI讓出行更美好的滴滴AI Labs再次斬獲國際大獎,這次獲獎的專案是什么呢?一起來看看詳細報道吧! 近日,由國際計算語言學協會ACL(The Association for Computational Linguistics)舉辦的世界最具影響力的機器 ......

    uj5u.com 2020-09-10 06:11:29 more
  • MPP (Massively Parallel Processing)大規模并行處理

    1、什么是mpp? MPP (Massively Parallel Processing),即大規模并行處理,在資料庫非共享集群中,每個節點都有獨立的磁盤存盤系統和記憶體系統,業務資料根據資料庫模型和應用特點劃分到各個節點上,每臺資料節點通過專用網路或者商業通用網路互相連接,彼此協同計算,作為整體提供 ......

    uj5u.com 2020-09-10 06:11:41 more
  • 滴滴資料倉庫指標體系建設實踐

    **桔妹導讀:**指標體系是什么?如何使用OSM模型和AARRR模型搭建指標體系?如何統一流程、規范化、工具化管理指標體系?本文會對建設的方法論結合滴滴資料指標體系建設實踐進行解答分析。 #1. 什么是指標體系 ##1.1 指標體系定義 指標體系是將零散單點的具有相互聯系的指標,系統化的組織起來,通 ......

    uj5u.com 2020-09-10 06:12:52 more
  • 單表千萬行資料庫 LIKE 搜索優化手記

    我們經常在資料庫中使用 LIKE 運算子來完成對資料的模糊搜索,LIKE 運算子用于在 WHERE 子句中搜索列中的指定模式。 如果需要查找客戶表中所有姓氏是“張”的資料,可以使用下面的 SQL 陳述句: SELECT * FROM Customer WHERE Name LIKE '張%' 如果需要 ......

    uj5u.com 2020-09-10 06:13:25 more
  • 滴滴Ceph分布式存盤系統優化之鎖優化

    **桔妹導讀:**Ceph是國際知名的開源分布式存盤系統,在工業界和學術界都有著重要的影響。Ceph的架構和演算法設計發表在國際系統領域頂級會議OSDI、SOSP、SC等上。Ceph社區得到Red Hat、SUSE、Intel等大公司的大力支持。Ceph是國際云計算領域應用最廣泛的開源分布式存盤系統, ......

    uj5u.com 2020-09-10 06:14:51 more
  • es~通過ElasticsearchTemplate進行聚合~嵌套聚合

    之前寫過《es~通過ElasticsearchTemplate進行聚合操作》的文章,這一次主要寫一個嵌套的聚合,例如先對sex集合,再對desc聚合,最后再對age求和,共三層嵌套。 Aggregations的部分特性類似于SQL語言中的group by,avg,sum等函式,Aggregation ......

    uj5u.com 2020-09-10 06:14:59 more
  • 爬蟲日志監控 -- Elastc Stack(ELK)部署

    傻瓜式部署,只需替換IP與用戶 導讀: 現ELK四大組件分別為:Elasticsearch(核心)、logstash(處理)、filebeat(采集)、kibana(可視化) 下載均在https://www.elastic.co/cn/downloads/下tar包,各組件版本最好一致,配合fdm會 ......

    uj5u.com 2020-09-10 06:15:05 more
最新发布
  • day02-2-商鋪查詢快取

    功能02-商鋪查詢快取 3.商鋪詳情快取查詢 3.1什么是快取? 快取就是資料交換的緩沖區(稱作Cache),是存盤資料的臨時地方,一般讀寫性能較高。 快取的作用: 降低后端負載 提高讀寫效率,降低回應時間 快取的成本: 資料一致性成本 代碼維護成本 運維成本 3.2需求說明 如下,當我們點擊商店詳 ......

    uj5u.com 2023-04-20 08:33:24 more
  • MySQL中binlog備份腳本分享

    關于MySQL的二進制日志(binlog),我們都知道二進制日志(binlog)非常重要,尤其當你需要point to point災難恢復的時侯,所以我們要對其進行備份。關于二進制日志(binlog)的備份,可以基于flush logs方式先切換binlog,然后拷貝&壓縮到到遠程服務器或本地服務器 ......

    uj5u.com 2023-04-20 08:28:06 more
  • day02-短信登錄

    功能實作02 2.功能01-短信登錄 2.1基于Session實作登錄 2.1.1思路分析 2.1.2代碼實作 2.1.2.1發送短信驗證碼 發送短信驗證碼: 發送驗證碼的介面為:http://127.0.0.1:8080/api/user/code?phone=xxxxx<手機號> 請求方式:PO ......

    uj5u.com 2023-04-20 08:27:27 more
  • 快取與資料庫雙寫一致性幾種策略分析

    本文將對幾種快取與資料庫保證資料一致性的使用方式進行分析。為保證高并發性能,以下分析場景不考慮執行的原子性及加鎖等強一致性要求的場景,僅追求最終一致性。 ......

    uj5u.com 2023-04-20 08:26:48 more
  • sql陳述句優化

    問題查找及措施 問題查找 需要找到具體的代碼,對其進行一對一優化,而非一直把關注點放在服務器和sql平臺 降低簡化每個事務中處理的問題,盡量不要讓一個事務拖太長的時間 例如檔案上傳時,應將檔案上傳這一步放在事務外面 微軟建議 4.啟動sql定時執行計劃 怎么啟動sqlserver代理服務-百度經驗 ......

    uj5u.com 2023-04-20 08:26:35 more
  • 云時代,MySQL到ClickHouse資料同步產品對比推薦

    ClickHouse 在執行分析查詢時的速度優勢很好的彌補了MySQL的不足,但是對于很多開發者和DBA來說,如何將MySQL穩定、高效、簡單的同步到 ClickHouse 卻很困難。本文對比了 NineData、MaterializeMySQL(ClickHouse自帶)、Bifrost 三款產品... ......

    uj5u.com 2023-04-20 08:26:29 more
  • sql陳述句優化

    問題查找及措施 問題查找 需要找到具體的代碼,對其進行一對一優化,而非一直把關注點放在服務器和sql平臺 降低簡化每個事務中處理的問題,盡量不要讓一個事務拖太長的時間 例如檔案上傳時,應將檔案上傳這一步放在事務外面 微軟建議 4.啟動sql定時執行計劃 怎么啟動sqlserver代理服務-百度經驗 ......

    uj5u.com 2023-04-20 08:25:13 more
  • Redis 報”OutOfDirectMemoryError“(堆外記憶體溢位)

    Redis 報錯“OutOfDirectMemoryError(堆外記憶體溢位) ”問題如下: 一、報錯資訊: 使用 Redis 的業務介面 ,產生 OutOfDirectMemoryError(堆外記憶體溢位),如圖: 格式化后的報錯資訊: { "timestamp": "2023-04-17 22: ......

    uj5u.com 2023-04-20 08:24:54 more
  • day02-2-商鋪查詢快取

    功能02-商鋪查詢快取 3.商鋪詳情快取查詢 3.1什么是快取? 快取就是資料交換的緩沖區(稱作Cache),是存盤資料的臨時地方,一般讀寫性能較高。 快取的作用: 降低后端負載 提高讀寫效率,降低回應時間 快取的成本: 資料一致性成本 代碼維護成本 運維成本 3.2需求說明 如下,當我們點擊商店詳 ......

    uj5u.com 2023-04-20 08:24:03 more
  • day02-短信登錄

    功能實作02 2.功能01-短信登錄 2.1基于Session實作登錄 2.1.1思路分析 2.1.2代碼實作 2.1.2.1發送短信驗證碼 發送短信驗證碼: 發送驗證碼的介面為:http://127.0.0.1:8080/api/user/code?phone=xxxxx<手機號> 請求方式:PO ......

    uj5u.com 2023-04-20 08:23:11 more