主頁 > 資料庫 > 深入淺出之mysql索引--上

深入淺出之mysql索引--上

2020-11-02 19:42:32 資料庫

當著小萌新之際,最近作業中遇到了mysql優化的相關問題,然后既然提到了優化,很多像我這樣的小萌新不容置喙,肯定張口就是 建立索引 之類的,
那么說到底,索引到底是什么,它是怎么作業的?接下來就讓我和大家一起學習學習吧

1.索引是什么?

不難理解,索引的出現其實就是為了提高資料查詢的效率,簡單點來說索引就好比一本書的目錄,是為了準確定位具體資料而用的,

2.索引的常見模型

索引模型中,一般比較常見的包括 哈希表、有序陣列、搜索樹

哈希表是一種以key-value存盤資料的結構,我們只要輸入待查找的值即 key, 就可以找到其對應的值即 Value,哈希的思路很簡單,把值放在陣列里,用一個哈希函式把 key 換算成一個確定的位置,然后把 value 放在陣列的這個位置,
但是當多個 key 值經過哈希函式的換算,會出現同一個值的情況,為了處理這種情況,引出了 鏈表
如果你要維護一個身份證資訊和姓名的表,需要根據身份證號查找對應的名字,這時 對應的哈希索引的示意圖如下所示

圖中,User2 和 User3 根據身份證號算出來的值都是 n,后面還跟了一個鏈表,
如果這時候你要查 card-2 對應的名字是什么,處理步驟就是:首先,將 card-2 通過哈希函式算出n,然后,按順序遍歷,找到 User2,
需要注意的是,圖中四個 card-n 的值并不是遞增的,這樣做的好處是增加新的 User 時 速度會很快,只需要往后追加,
但缺點是,因為不是有序的,所以哈希索引做 區間查詢 的速度是很慢的,
如果你現在要找身份證號在 [card_X, card_Y] 這個區間的所有用戶,就必須全部掃描一遍了,
所以,哈希表這種結構適用于只有等值查詢的場景,比如 Memcached 及其他一些 NoSQL 引擎

有序陣列在等值查詢和范圍查詢場景中的性能就都非常優秀,以下是其索示意圖

假設身份證號沒有重復,這個陣列就是按照身份證號遞增的順序保存的,
這時候如 果你要查 card_n2 對應的名字,用二分法就可以快速得到,這個時間復雜度是 O(log(N)),
同時很顯然,這個索引結構支持范圍查詢,你要查身份證號在 [card_X, card_Y] 區間的user,可以先用二分法找到 card_X(如果不存在card_X,就找到大于card_X 的第一個user),然后向右遍歷,直到查到第一個大于card_Y 的身份證 號,退出回圈,
如果僅僅看查詢效率,有序陣列就是最好的資料結構了,
但是,在需要更新資料的時候卻不好,你往中間插入一個記錄就必須得挪動后面所有的記錄,成本太高,
所以,有序陣列索引只適用于靜態存盤引擎,比如你要保存的是2020年某個城市的所有人口資訊,這類不會再修改的資料

二叉搜索樹示意圖

二叉搜索樹的特點是:

每個節點的左兒子小于父節點,父節點又小于右兒子,這樣如果你要查card_n2 的話,按照圖中的搜索順序就是按照 UserA -> UserC -> UserF -> User2 這個路徑得到,這個時間復雜度是 O(log(N)),
當然為了維持 O(log(N)) 的查詢復雜度,你就需要保持這棵樹是平衡二叉樹,為了做這個 保證,更新的時間復雜度也是 O(log(N)),
樹可以有二叉,也可以有多叉,多叉樹就是每個節點有多個兒子,兒子之間的大小保證從左 到右遞增,
二叉樹是搜索效率最高的,但是實際上大多數的資料庫存盤卻并不使用二叉樹, 其原因是,索引不止存在記憶體中,還要寫到磁盤上,
你可以想象一下一棵 100 萬節點的平衡二叉樹,樹高20,一次查詢可能需要訪問 20 個資料塊,
在機械硬碟時代,從磁盤隨機讀一個資料塊需要 10 ms 左右的尋址時間,也就是說,對于一個100萬行的表,如果使用二叉樹來存盤,單獨訪問一個行可能需要 20 個10 ms 的時間

為了讓一個查詢盡量少地讀磁盤,就必須讓查詢程序訪問盡量少的資料塊,那么,我們就不應該使用二叉樹,而是要使用“N 叉”樹,這里,“N 叉”樹中的“N”取決于資料塊的大小,
以 InnoDB 的一個整數欄位索引為例,這個N差不多是 1200,這棵樹高是 4 的時候,就可以存 1200 的 3 次方個值,這已經 17 億了,
考慮到樹根的資料塊總是在記憶體中的,一個 10 億行的表上一個整數欄位的索引,查找一個值最多只需要訪問3次磁盤,
其實,樹的第二層也有很大概率在記憶體中,那么訪問磁盤的平均次數就更少了,N叉樹由于在讀寫上的性能優點,以及適配磁盤的訪問模式,已經被廣泛應用在資料庫引 擎中了,

在 MySQL 中,索引是在存盤引擎層實作的,所以并沒有統一的索引標準,即不同存盤引 擎的索引的作業方式并不一樣,而即使多個存盤引擎支持同一種型別的索引,其底層的實作 也可能不同,由于 InnoDB 存盤引擎在 MySQL 資料庫中使用最為廣泛,下面以 InnoDB為例子

InnoDB 的索引模型

在 InnoDB 中,表都是根據主鍵順序以索引的形式存放的,這種存盤方式的表稱為索引組織表,
InnoDB 使用了 B+ 樹索引模型,所以資料都是存盤在 B+ 樹中的,每一個索引在 InnoDB 里面對應一棵 B+ 樹,
假設,我們有一個主鍵列為 ID 的表,表中有欄位 k,并且在 k 上有索引

CREATE TABLE T ( id INT PRIMARY KEY, k INT NOT NULL, NAME VARCHAR ( 16 ), INDEX ( k ) ) ENGINE = INNODB;

表中 R1~R5 的 (ID,k) 值分別為 (100,1)、(200,2)、(300,3)、(500,5) 和 (600,6),兩棵樹 的示例示意圖如下

從圖中不難看出,根據葉子節點的內容,索引型別分為 主鍵索引 和 非主鍵索引 ,
主鍵索引的葉子節點存的是整行資料,在 InnoDB 里,主鍵索引也被稱為聚簇索引 (clustered index),
非主鍵索引的葉子節點內容是主鍵的值,在 InnoDB 里,非主鍵索引也被稱為二級索引 (secondary index),
根據上面的索引結構說明,來討論一個問題:基于主鍵索引和普通索引的查詢有什么區別?

如果陳述句是 select * from T where ID=500,即主鍵查詢方式,則只需要搜索 ID 這棵 B+ 樹;
如果陳述句是 select * from T where k=5,即普通索引查詢方式,則需要先搜索 k 索引 樹,得到 ID 的值為 500,再到 ID 索引樹搜索一次,
這個程序稱為回表,

也就是說,基于非主鍵索引的查詢需要多掃描一棵索引樹,因此,我們在應用中應該盡量使用主鍵查詢,.

索引維護

B+樹為了維護索引有序性,在插入新值的時候需要做必要的維護,
以上面這個圖為例,
如果插入新的行ID值為 700,則只需要在 R5 的記錄后面插入一個新記錄,
如果新插入的ID值為400,就相對麻煩了,需要邏輯上挪動后面的資料,空出位置,
而更糟的情況是,如果 R5 所在的資料頁已經滿了,根據 B+ 樹的演算法,這時候需要申請一個新的資料頁,然后挪動部分資料過去,
這個程序稱為頁分裂,在這種情況下,性能自然會受影響,
除了性能外,頁分裂操作還影響資料頁的利用率,原本放在一個頁的資料,現在分到兩個頁中,整體空間利用率降低大約50%,

基于上面的索引維護程序說明,討論一個案例:

在一些建表規范里面見到過類似的描述,要求建表陳述句里一定要有自 增主鍵,
分析一下哪些場景下應該使用自增主鍵,而 哪些場景下不應該,

自增主鍵是指自增列上定義的主鍵,在建表陳述句中一般是這么定義的: NOT NULL PRIMARY KEY AUTO_INCREMENT,
插入新記錄的時候可以不指定 ID 的值,系統會獲取當前 ID 最大值加 1 作為下一條記錄的 ID 值,

也就是說,自增主鍵的插入資料模式,正符合了我們前面提到的遞增插入的場景,每次插入一條新記錄,都是追加操作,都不涉及到挪動其他記錄,也不會觸發葉子節點的分裂,
而有業務邏輯的欄位做主鍵,則往往不容易保證有序插入,這樣寫資料成本相對較高,

除了考慮性能外,還可以從存盤空間的角度來看,
假設你的表中確實有一個唯一欄位, 比如字串型別的身份證號,那應該用身份證號做主鍵,還是用自增欄位做主鍵呢?

由于每個非主鍵索引的葉子節點上都是主鍵的值(因為要根據非主鍵索引找到主鍵索引位置然后再找到資料,可看上圖),
如果用身份證號做主鍵,那么每個二級索引的葉子節點占用約 20 個位元組,而如果用整型做主鍵,則只要 4 個位元組,如果是長整型 (bigint)則是 8 個位元組,
顯然,主鍵長度越小,普通索引的葉子節點就越小,普通索引占用的空間也就越小,
所以,從性能和存盤空間方面考量,自增主鍵往往是更合理的選擇,

什么場景適合用業務欄位直接做主鍵的呢?有些業務的場景需求是如下:

  1. 只有一個索引;
  2. 該索引必須是唯一索引
    這就是典型的 KV 場景,

由于沒有其他索引,所以也就不用考慮其他索引的葉子節點大小的問題,
這時候我們就要優先考慮上一段提到的“盡量使用主鍵查詢”原則,直接將這個索引設定為 主鍵,可以避免每次查詢需要搜索兩棵樹,

對于上面例子中的 InnoDB 表 T,如果要重建索引 k,可以寫:
alter table T drop index k;
alter table T add index(k);

要重建主鍵索引,可以寫
alter table T drop primary key;
alter table T add primary key(id);

這樣寫是否合理?
重建索引 k 的做法是合理的,可以達到省空間的目的,
但是,重建主鍵的程序不合理,
不論是洗掉主鍵還是創建主鍵,都會將整個表重建,
所以連著執行這兩個陳述句的話,第一個陳述句就白做了,這兩個陳述句,可以用這個陳述句代替 :alter table T engine=InnoDB

轉載請註明出處,本文鏈接:https://www.uj5u.com/shujuku/199921.html

標籤:其他

上一篇:騰訊大牛教你ClickHouse實時同步MySQL資料

下一篇:請教 當網斷開后再次連接用什么命令?

標籤雲
其他(157675) Python(38076) JavaScript(25376) Java(17977) C(15215) 區塊鏈(8255) C#(7972) AI(7469) 爪哇(7425) MySQL(7132) html(6777) 基礎類(6313) sql(6102) 熊猫(6058) PHP(5869) 数组(5741) R(5409) Linux(5327) 反应(5209) 腳本語言(PerlPython)(5129) 非技術區(4971) Android(4554) 数据框(4311) css(4259) 节点.js(4032) C語言(3288) json(3245) 列表(3129) 扑(3119) C++語言(3117) 安卓(2998) 打字稿(2995) VBA(2789) Java相關(2746) 疑難問題(2699) 细绳(2522) 單片機工控(2479) iOS(2429) ASP.NET(2402) MongoDB(2323) 麻木的(2285) 正则表达式(2254) 字典(2211) 循环(2198) 迅速(2185) 擅长(2169) 镖(2155) 功能(1967) .NET技术(1958) Web開發(1951) python-3.x(1918) HtmlCss(1915) 弹簧靴(1913) C++(1909) xml(1889) PostgreSQL(1872) .NETCore(1853) 谷歌表格(1846) Unity3D(1843) for循环(1842)

熱門瀏覽
  • GPU虛擬機創建時間深度優化

    **?桔妹導讀:**GPU虛擬機實體創建速度慢是公有云面臨的普遍問題,由于通常情況下創建虛擬機屬于低頻操作而未引起業界的重視,實際生產中還是存在對GPU實體創建時間有苛刻要求的業務場景。本文將介紹滴滴云在解決該問題時的思路、方法、并展示最終的優化成果。 從公有云服務商那里購買過虛擬主機的資深用戶,一 ......

    uj5u.com 2020-09-10 06:09:13 more
  • 可編程網卡芯片在滴滴云網路的應用實踐

    **?桔妹導讀:**隨著云規模不斷擴大以及業務層面對延遲、帶寬的要求越來越高,采用DPDK 加速網路報文處理的方式在橫向縱向擴展都出現了局限性。可編程芯片成為業界熱點。本文主要講述了可編程網卡芯片在滴滴云網路中的應用實踐,遇到的問題、帶來的收益以及開源社區貢獻。 #1. 資料中心面臨的問題 隨著滴滴 ......

    uj5u.com 2020-09-10 06:10:21 more
  • 滴滴資料通道服務演進之路

    **?桔妹導讀:**滴滴資料通道引擎承載著全公司的資料同步,為下游實時和離線場景提供了必不可少的源資料。隨著任務量的不斷增加,資料通道的整體架構也隨之發生改變。本文介紹了滴滴資料通道的發展歷程,遇到的問題以及今后的規劃。 #1. 背景 資料,對于任何一家互聯網公司來說都是非常重要的資產,公司的大資料 ......

    uj5u.com 2020-09-10 06:11:05 more
  • 滴滴AI Labs斬獲國際機器翻譯大賽中譯英方向世界第三

    **桔妹導讀:**深耕人工智能領域,致力于探索AI讓出行更美好的滴滴AI Labs再次斬獲國際大獎,這次獲獎的專案是什么呢?一起來看看詳細報道吧! 近日,由國際計算語言學協會ACL(The Association for Computational Linguistics)舉辦的世界最具影響力的機器 ......

    uj5u.com 2020-09-10 06:11:29 more
  • MPP (Massively Parallel Processing)大規模并行處理

    1、什么是mpp? MPP (Massively Parallel Processing),即大規模并行處理,在資料庫非共享集群中,每個節點都有獨立的磁盤存盤系統和記憶體系統,業務資料根據資料庫模型和應用特點劃分到各個節點上,每臺資料節點通過專用網路或者商業通用網路互相連接,彼此協同計算,作為整體提供 ......

    uj5u.com 2020-09-10 06:11:41 more
  • 滴滴資料倉庫指標體系建設實踐

    **桔妹導讀:**指標體系是什么?如何使用OSM模型和AARRR模型搭建指標體系?如何統一流程、規范化、工具化管理指標體系?本文會對建設的方法論結合滴滴資料指標體系建設實踐進行解答分析。 #1. 什么是指標體系 ##1.1 指標體系定義 指標體系是將零散單點的具有相互聯系的指標,系統化的組織起來,通 ......

    uj5u.com 2020-09-10 06:12:52 more
  • 單表千萬行資料庫 LIKE 搜索優化手記

    我們經常在資料庫中使用 LIKE 運算子來完成對資料的模糊搜索,LIKE 運算子用于在 WHERE 子句中搜索列中的指定模式。 如果需要查找客戶表中所有姓氏是“張”的資料,可以使用下面的 SQL 陳述句: SELECT * FROM Customer WHERE Name LIKE '張%' 如果需要 ......

    uj5u.com 2020-09-10 06:13:25 more
  • 滴滴Ceph分布式存盤系統優化之鎖優化

    **桔妹導讀:**Ceph是國際知名的開源分布式存盤系統,在工業界和學術界都有著重要的影響。Ceph的架構和演算法設計發表在國際系統領域頂級會議OSDI、SOSP、SC等上。Ceph社區得到Red Hat、SUSE、Intel等大公司的大力支持。Ceph是國際云計算領域應用最廣泛的開源分布式存盤系統, ......

    uj5u.com 2020-09-10 06:14:51 more
  • es~通過ElasticsearchTemplate進行聚合~嵌套聚合

    之前寫過《es~通過ElasticsearchTemplate進行聚合操作》的文章,這一次主要寫一個嵌套的聚合,例如先對sex集合,再對desc聚合,最后再對age求和,共三層嵌套。 Aggregations的部分特性類似于SQL語言中的group by,avg,sum等函式,Aggregation ......

    uj5u.com 2020-09-10 06:14:59 more
  • 爬蟲日志監控 -- Elastc Stack(ELK)部署

    傻瓜式部署,只需替換IP與用戶 導讀: 現ELK四大組件分別為:Elasticsearch(核心)、logstash(處理)、filebeat(采集)、kibana(可視化) 下載均在https://www.elastic.co/cn/downloads/下tar包,各組件版本最好一致,配合fdm會 ......

    uj5u.com 2020-09-10 06:15:05 more
最新发布
  • day02-2-商鋪查詢快取

    功能02-商鋪查詢快取 3.商鋪詳情快取查詢 3.1什么是快取? 快取就是資料交換的緩沖區(稱作Cache),是存盤資料的臨時地方,一般讀寫性能較高。 快取的作用: 降低后端負載 提高讀寫效率,降低回應時間 快取的成本: 資料一致性成本 代碼維護成本 運維成本 3.2需求說明 如下,當我們點擊商店詳 ......

    uj5u.com 2023-04-20 08:33:24 more
  • MySQL中binlog備份腳本分享

    關于MySQL的二進制日志(binlog),我們都知道二進制日志(binlog)非常重要,尤其當你需要point to point災難恢復的時侯,所以我們要對其進行備份。關于二進制日志(binlog)的備份,可以基于flush logs方式先切換binlog,然后拷貝&壓縮到到遠程服務器或本地服務器 ......

    uj5u.com 2023-04-20 08:28:06 more
  • day02-短信登錄

    功能實作02 2.功能01-短信登錄 2.1基于Session實作登錄 2.1.1思路分析 2.1.2代碼實作 2.1.2.1發送短信驗證碼 發送短信驗證碼: 發送驗證碼的介面為:http://127.0.0.1:8080/api/user/code?phone=xxxxx<手機號> 請求方式:PO ......

    uj5u.com 2023-04-20 08:27:27 more
  • 快取與資料庫雙寫一致性幾種策略分析

    本文將對幾種快取與資料庫保證資料一致性的使用方式進行分析。為保證高并發性能,以下分析場景不考慮執行的原子性及加鎖等強一致性要求的場景,僅追求最終一致性。 ......

    uj5u.com 2023-04-20 08:26:48 more
  • sql陳述句優化

    問題查找及措施 問題查找 需要找到具體的代碼,對其進行一對一優化,而非一直把關注點放在服務器和sql平臺 降低簡化每個事務中處理的問題,盡量不要讓一個事務拖太長的時間 例如檔案上傳時,應將檔案上傳這一步放在事務外面 微軟建議 4.啟動sql定時執行計劃 怎么啟動sqlserver代理服務-百度經驗 ......

    uj5u.com 2023-04-20 08:26:35 more
  • 云時代,MySQL到ClickHouse資料同步產品對比推薦

    ClickHouse 在執行分析查詢時的速度優勢很好的彌補了MySQL的不足,但是對于很多開發者和DBA來說,如何將MySQL穩定、高效、簡單的同步到 ClickHouse 卻很困難。本文對比了 NineData、MaterializeMySQL(ClickHouse自帶)、Bifrost 三款產品... ......

    uj5u.com 2023-04-20 08:26:29 more
  • sql陳述句優化

    問題查找及措施 問題查找 需要找到具體的代碼,對其進行一對一優化,而非一直把關注點放在服務器和sql平臺 降低簡化每個事務中處理的問題,盡量不要讓一個事務拖太長的時間 例如檔案上傳時,應將檔案上傳這一步放在事務外面 微軟建議 4.啟動sql定時執行計劃 怎么啟動sqlserver代理服務-百度經驗 ......

    uj5u.com 2023-04-20 08:25:13 more
  • Redis 報”OutOfDirectMemoryError“(堆外記憶體溢位)

    Redis 報錯“OutOfDirectMemoryError(堆外記憶體溢位) ”問題如下: 一、報錯資訊: 使用 Redis 的業務介面 ,產生 OutOfDirectMemoryError(堆外記憶體溢位),如圖: 格式化后的報錯資訊: { "timestamp": "2023-04-17 22: ......

    uj5u.com 2023-04-20 08:24:54 more
  • day02-2-商鋪查詢快取

    功能02-商鋪查詢快取 3.商鋪詳情快取查詢 3.1什么是快取? 快取就是資料交換的緩沖區(稱作Cache),是存盤資料的臨時地方,一般讀寫性能較高。 快取的作用: 降低后端負載 提高讀寫效率,降低回應時間 快取的成本: 資料一致性成本 代碼維護成本 運維成本 3.2需求說明 如下,當我們點擊商店詳 ......

    uj5u.com 2023-04-20 08:24:03 more
  • day02-短信登錄

    功能實作02 2.功能01-短信登錄 2.1基于Session實作登錄 2.1.1思路分析 2.1.2代碼實作 2.1.2.1發送短信驗證碼 發送短信驗證碼: 發送驗證碼的介面為:http://127.0.0.1:8080/api/user/code?phone=xxxxx<手機號> 請求方式:PO ......

    uj5u.com 2023-04-20 08:23:11 more