主頁 > 資料庫 > 資料庫索引原理及優化

資料庫索引原理及優化

2023-02-13 07:26:36 資料庫

摘要: 本文內容主要來源于互聯網上主流文章,只是按照個人理解稍作整合,后面附有參考鏈接,

本文內容主要來源于互聯網上主流文章,只是按照個人理解稍作整合,后面附有參考鏈接,

一、摘要

本文以MySQL資料庫為研究物件,討論與資料庫索引相關的一些話題,特別需要說明的是,MySQL支持諸多存盤引擎,而各種存盤引擎對索引的支持也各不相同,因此MySQL資料庫支持多種索引型別,如BTree索引,哈希索引,全文索引等等,為了避免混亂,本文將只關注于BTree索引,因為這是平常使用MySQL時主要打交道的索引,至于哈希索引和全文索引本文暫不討論,

二、常見的查詢演算法及資料結構

為什么這里要講查詢演算法和資料結構呢?因為之所以要建立索引,其實就是為了構建一種資料結構,可以在上面應用一種高效的查詢演算法,最終提高資料的查詢速度,

2.1 索引的本質

MySQL官方對索引的定義為:索引(Index)是幫助MySQL高效獲取資料的資料結構,提取句子主干,就可以得到索引的本質:索引是資料結構,

2.2 常見的查詢演算法

我們知道,資料庫查詢是資料庫的最主要功能之一,我們都希望查詢資料的速度能盡可能的快,因此資料庫系統的設計者會從查詢演算法的角度進行優化,那么有哪些查詢演算法可以使查詢速度變得更快呢?

2.2.1 順序查找(linear search )

最基本的查詢演算法當然是順序查找(linear search),也就是對比每個元素的方法,不過這種演算法在資料量很大時效率是極低的, 
資料結構:有序或無序佇列 
復雜度:O(n) 
實體代碼:

//順序查找
int SequenceSearch(int a[], int value, int n)
{
    int i;
    for(i=0; i<n; i++)
        if(a[i]==value)
            return i;
    return -1;
}

2.2.2 二分查找(binary search)

比順序查找更快的查詢方法應該就是二分查找了,二分查找的原理是查找程序從陣列的中間元素開始,如果中間元素正好是要查找的元素,則搜素程序結束;如果某一特定元素大于或者小于中間元素,則在陣列大于或小于中間元素的那一半中查找,而且跟開始一樣從中間元素開始比較,如果在某一步驟陣列為空,則代表找不到, 
資料結構:有序陣列 
復雜度:O(logn) 
實體代碼:

//二分查找,遞回版本
int BinarySearch2(int a[], int value, int low, int high)
{
    int mid = low+(high-low)/2;
    if(a[mid]==value)
        return mid;
    if(a[mid]>value)
        return BinarySearch2(a, value, low, mid-1);
    if(a[mid]<value)
        return BinarySearch2(a, value, mid+1, high);
}

2.2.3 二叉排序樹查找

二叉排序樹的特點是:

  1. 若它的左子樹不空,則左子樹上所有結點的值均小于它的根結點的值;
  2. 若它的右子樹不空,則右子樹上所有結點的值均大于它的根結點的值;
  3. 它的左、右子樹也分別為二叉排序樹,

搜索的原理:

  1. 若b是空樹,則搜索失敗,否則:
  2. 若x等于b的根節點的資料域之值,則查找成功;否則:
  3. 若x小于b的根節點的資料域之值,則搜索左子樹;否則:
  4. 查找右子樹,

資料結構:二叉排序樹 
時間復雜度: O(log2N)

2.2.4 哈希散列法(哈希表)

其原理是首先根據key值和哈希函式創建一個哈希表(散串列),燃耗根據鍵值,通過散列函式,定位資料元素位置,

資料結構:哈希表 
時間復雜度:幾乎是O(1),取決于產生沖突的多少,

2.2.5 分塊查找

分塊查找又稱索引順序查找,它是順序查找的一種改進方法,其演算法思想是將n個資料元素”按塊有序”劃分為m塊(m ≤ n),每一塊中的結點不必有序,但塊與塊之間必須”按塊有序”;即第1塊中任一元素的關鍵字都必須小于第2塊中任一元素的關鍵字;而第2塊中任一元素又都必須小于第3塊中的任一元素,依次類推, 
   
演算法流程:

  1. 先選取各塊中的最大關鍵字構成一個索引表;
  2. 查找分兩個部分:先對索引表進行二分查找或順序查找,以確定待查記錄在哪一塊中;然后,在已確定的塊中用順序法進行查找,

這種搜索演算法每一次比較都使搜索范圍縮小一半,它們的查詢速度就有了很大的提升,復雜度為,如果稍微分析一下會發現,每種查找演算法都只能應用于特定的資料結構之上,例如二分查找要求被檢索資料有序,而二叉樹查找只能應用于二叉查找樹上,但是資料本身的組織結構不可能完全滿足各種資料結構(例如,理論上不可能同時將兩列都按順序進行組織),所以,在資料之外,資料庫系統還維護著滿足特定查找演算法的資料結構,這些資料結構以某種方式參考(指向)資料,這樣就可以在這些資料結構上實作高級查找演算法,這種資料結構,就是索引,

2.3 平衡多路搜索樹B樹(B-tree)

上面講到了二叉樹,它的搜索時間復雜度為O(log2N),所以它的搜索效率和樹的深度有關,如果要提高查詢速度,那么就要降低樹的深度,要降低樹的深度,很自然的方法就是采用多叉樹,再結合平衡二叉樹的思想,我們可以構建一個平衡多叉樹結構,然后就可以在上面構建平衡多路查找演算法,提高大資料量下的搜索效率,

2.3.1 B Tree

B樹(Balance Tree)又叫做B- 樹(其實B-是由B-tree翻譯過來,所以B-樹和B樹是一個概念) ,它就是一種平衡多路查找樹,下圖就是一個典型的B樹: 
這里寫圖片描述

從上圖中我們可以大致看到B樹的一些特點,為了更好的描述B樹,我們定義記錄為一個二元組[key, data],key為記錄的鍵值,data表示其它資料(上圖中只有key,沒有畫出data資料 ),下面是對B樹的一個詳細定義:

1. 有一個根節點,根節點只有一個記錄和兩個孩子或者根節點為空;
2. 每個節點記錄中的key和指標相互間隔,指標指向孩子節點;
3. d是表示樹的寬度,除葉子節點之外,其它每個節點有[d/2,d-1]條記錄,并且些記錄中的key都是從左到右按大小排列的,有[d/2+1,d]個孩子;
4. 在一個節點中,第n個子樹中的所有key,小于這個節點中第n個key,大于第n-1個key,比如上圖中B節點的第2個子節點E中的所有key都小于B中的第2個key 9,大于第1個key 3;
5. 所有的葉子節點必須在同一層次,也就是它們具有相同的深度;

由于B-Tree的特性,在B-Tree中按key檢索資料的演算法非常直觀:首先從根節點進行二分查找,如果找到則回傳對應節點的data,否則對相應區間的指標指向的節點遞回進行查找,直到找到節點或找到null指標,前者查找成功,后者查找失敗,B-Tree上查找演算法的偽代碼如下:

BTree_Search(node, key) {
     if(node == null) return null;
     foreach(node.key){
          if(node.key[i] == key) return node.data[i];
          if(node.key[i] > key) return BTree_Search(point[i]->node);
      }
     return BTree_Search(point[i+1]->node);
  }
data = https://www.cnblogs.com/caiyt/archive/2023/02/12/BTree_Search(root, my_key);

關于B-Tree有一系列有趣的性質,例如一個度為d的B-Tree,設其索引N個key,則其樹高h的上限為logd((N+1)/2),檢索一個key,其查找節點個數的漸進復雜度為O(logdN),從這點可以看出,B-Tree是一個非常有效率的索引資料結構,

另外,由于插入洗掉新的資料記錄會破壞B-Tree的性質,因此在插入洗掉時,需要對樹進行一個分裂、合并、轉移等操作以保持B-Tree性質,本文不打算完整討論B-Tree這些內容,因為已經有許多資料詳細說明了B-Tree的數學性質及插入洗掉演算法,有興趣的朋友可以查閱其它文獻進行詳細研究,

2.3.2 B+Tree

其實B-Tree有許多變種,其中最常見的是B+Tree,比如MySQL就普遍使用B+Tree實作其索引結構,B-Tree相比,B+Tree有以下不同點:

  • 每個節點的指標上限為2d而不是2d+1;
  • 內節點不存盤data,只存盤key;
  • 葉子節點不存盤指標;

下面是一個簡單的B+Tree示意, 
這里寫圖片描述

由于并不是所有節點都具有相同的域,因此B+Tree中葉節點和內節點一般大小不同,這點與B-Tree不同,雖然B-Tree中不同節點存放的key和指標可能數量不一致,但是每個節點的域和上限是一致的,所以在實作中B-Tree往往對每個節點申請同等大小的空間,一般來說,B+Tree比B-Tree更適合實作外存盤索引結構,具體原因與外存盤器原理及計算機存取原理有關,將在下面討論,

2.3.3 帶有順序訪問指標的B+Tree

一般在資料庫系統或檔案系統中使用的B+Tree結構都在經典B+Tree的基礎上進行了優化,增加了順序訪問指標, 
這里寫圖片描述

如圖所示,在B+Tree的每個葉子節點增加一個指向相鄰葉子節點的指標,就形成了帶有順序訪問指標的B+Tree,做這個優化的目的是為了提高區間訪問的性能,例如圖4中如果要查詢key為從18到49的所有資料記錄,當找到18后,只需順著節點和指標順序遍歷就可以一次性訪問到所有資料節點,極大提到了區間查詢效率,

這一節對B-Tree和B+Tree進行了一個簡單的介紹,下一節結合存盤器存取原理介紹為什么目前B+Tree是資料庫系統實作索引的首選資料結構,

三、索引資料結構設相關的計算機原理

上文說過,二叉樹、紅黑樹等資料結構也可以用來實作索引,但是檔案系統及資料庫系統普遍采用B-/+Tree作為索引結構,這一節將結合計算機組成原理相關知識討論B-/+Tree作為索引的理論基礎,

3.1 兩種型別的存盤

在計算機系統中一般包含兩種型別的存盤,計算機主存(RAM)和外部存盤器(如硬碟、CD、SSD等),在設計索引演算法和存盤結構時,我們必須要考慮到這兩種型別的存盤特點,主存的讀取速度快,相對于主存,外部磁盤的資料讀取速率要比主從慢好幾個數量級,具體它們之間的差別后面會詳細介紹, 上面講的所有查詢演算法都是假設資料存盤在計算機主存中的,計算機主存一般比較小,實際資料庫中資料都是存盤到外部存盤器的,

一般來說,索引本身也很大,不可能全部存盤在記憶體中,因此索引往往以索引檔案的形式存盤的磁盤上,這樣的話,索引查找程序中就要產生磁盤I/O消耗,相對于記憶體存取,I/O存取的消耗要高幾個數量級,所以評價一個資料結構作為索引的優劣最重要的指標就是在查找程序中磁盤I/O操作次數的漸進復雜度,換句話說,索引的結構組織要盡量減少查找程序中磁盤I/O的存取次數,下面詳細介紹記憶體和磁盤存取原理,然后再結合這些原理分析B-/+Tree作為索引的效率,

3.2 主存存取原理

目前計算機使用的主存基本都是隨機讀寫存盤器(RAM),現代RAM的結構和存取原理比較復雜,這里本文拋卻具體差別,抽象出一個十分簡單的存取模型來說明RAM的作業原理, 
這里寫圖片描述

從抽象角度看,主存是一系列的存盤單元組成的矩陣,每個存盤單元存盤固定大小的資料,每個存盤單元有唯一的地址,現代主存的編址規則比較復雜,這里將其簡化成一個二維地址:通過一個行地址和一個列地址可以唯一定位到一個存盤單元,上圖展示了一個4 x 4的主存模型,

主存的存取程序如下:

當系統需要讀取主存時,則將地址信號放到地址總線上傳給主存,主存讀到地址信號后,決議信號并定位到指定存盤單元,然后將此存盤單元資料放到資料總線上,供其它部件讀取,寫主存的程序類似,系統將要寫入單元地址和資料分別放在地址總線和資料總線上,主存讀取兩個總線的內容,做相應的寫操作,

這里可以看出,主存存取的時間僅與存取次數呈線性關系,因為不存在機械操作,兩次存取的資料的“距離”不會對時間有任何影響,例如,先取A0再取A1和先取A0再取D3的時間消耗是一樣的,

3.3 磁盤存取原理

上文說過,索引一般以檔案形式存盤在磁盤上,索引檢索需要磁盤I/O操作,與主存不同,磁盤I/O存在機械運動耗費,因此磁盤I/O的時間消耗是巨大的,

磁盤讀取資料靠的是機械運動,當需要從磁盤讀取資料時,系統會將資料邏輯地址傳給磁盤,磁盤的控制電路按照尋址邏輯將邏輯地址翻譯成物理地址,即確定要讀的資料在哪個磁道,哪個扇區,為了讀取這個扇區的資料,需要將磁頭放到這個扇區上方,為了實作這一點,磁頭需要移動對準相應磁道,這個程序叫做尋道,所耗費時間叫做尋道時間,然后磁盤旋轉將目標扇區旋轉到磁頭下,這個程序耗費的時間叫做旋轉時間,最后便是對讀取資料的傳輸, 所以每次讀取資料花費的時間可以分為尋道時間、旋轉延遲、傳輸時間三個部分,其中:

  • 尋道時間是磁臂移動到指定磁道所需要的時間,主流磁盤一般在5ms以下,
  • 旋轉延遲就是我們經常聽說的磁盤轉速,比如一個磁盤7200轉,表示每分鐘能轉7200次,也就是說1秒鐘能轉120次,旋轉延遲就是1/120/2 = 4.17ms,
  • 傳輸時間指的是從磁盤讀出或將資料寫入磁盤的時間,一般在零點幾毫秒,相對于前兩個時間可以忽略不計,

那么訪問一次磁盤的時間,即一次磁盤IO的時間約等于5+4.17 = 9ms左右,聽起來還挺不錯的,但要知道一臺500 -MIPS的機器每秒可以執行5億條指令,因為指令依靠的是電的性質,換句話說執行一次IO的時間可以執行40萬條指令,資料庫動輒十萬百萬乃至千萬級資料,每次9毫秒的時間,顯然是個災難,

3.4 區域性原理與磁盤預讀

由于存盤介質的特性,磁盤本身存取就比主存慢很多,再加上機械運動耗費,磁盤的存取速度往往是主存的幾百分分之一,因此為了提高效率,要盡量減少磁盤I/O,為了達到這個目的,磁盤往往不是嚴格按需讀取,而是每次都會預讀,即使只需要一個位元組,磁盤也會從這個位置開始,順序向后讀取一定長度的資料放入記憶體,這樣做的理論依據是計算機科學中著名的區域性原理:當一個資料被用到時,其附近的資料也通常會馬上被使用,程式運行期間所需要的資料通常比較集中,

由于磁盤順序讀取的效率很高(不需要尋道時間,只需很少的旋轉時間),因此對于具有區域性的程式來說,預讀可以提高I/O效率,預讀的長度一般為頁(page)的整倍數,頁是計算機管理存盤器的邏輯塊,硬體及作業系統往往將主存和磁盤存盤區分割為連續的大小相等的塊,每個存盤塊稱為一頁(在許多作業系統中,頁得大小通常為4k),主存和磁盤以頁為單位交換資料,當程式要讀取的資料不在主存中時,會觸發一個缺頁例外,此時系統會向磁盤發出讀盤信號,磁盤會找到資料的起始位置并向后連續讀取一頁或幾頁載入記憶體中,然后例外回傳,程式繼續運行,

四、資料庫索引所采用的資料結構B-/+Tree及其性能分析

到這里終于可以分析為何資料庫索引采用B-/+Tree存盤結構了,上文說過資料庫索引是存盤到磁盤的而我們又一般以使用磁盤I/O次數來評價索引結構的優劣,先從B-Tree分析,根據B-Tree的定義,可知檢索一次最多需要訪問h-1個節點(根節點常駐記憶體),資料庫系統的設計者巧妙利用了磁盤預讀原理,將一個節點的大小設為等于一個頁,這樣每個節點只需要一次I/O就可以完全載入,為了達到這個目的,在實際實作B-Tree還需要使用如下技巧:每次新建節點時,直接申請一個頁的空間,這樣就保證一個節點物理上也存盤在一個頁里,加之計算機存盤分配都是按頁對齊的,就實作了一個node只需一次I/O,

B-Tree中一次檢索最多需要h-1次I/O(根節點常駐記憶體),漸進復雜度為O(h)=O(logdN),一般實際應用中,出度d是非常大的數字,通常超過100,因此h非常小(通常不超過3),

綜上所述,如果我們采用B-Tree存盤結構,搜索時I/O次數一般不會超過3次,所以用B-Tree作為索引結構效率是非常高的,

4.1 B+樹性能分析

從上面介紹我們知道,B樹的搜索復雜度為O(h)=O(logdN),所以樹的出度d越大,深度h就越小,I/O的次數就越少,B+Tree恰恰可以增加出度d的寬度,因為每個節點大小為一個頁大小,所以出度的上限取決于節點內key和data的大小:

dmax=floor(pagesize/(keysize+datasize+pointsize))//floor表示向下取整

  由于B+Tree內節點去掉了data域,因此可以擁有更大的出度,從而擁有更好的性能,

4.2 B+樹查找程序

這里寫圖片描述
B-樹和B+樹查找程序基本一致,如上圖所示,如果要查找資料項29,那么首先會把磁盤塊1由磁盤加載到記憶體,此時發生一次IO,在記憶體中用二分查找確定29在17和35之間,鎖定磁盤塊1的P2指標,記憶體時間因為非常短(相比磁盤的IO)可以忽略不計,通過磁盤塊1的P2指標的磁盤地址把磁盤塊3由磁盤加載到記憶體,發生第二次IO,29在26和30之間,鎖定磁盤塊3的P2指標,通過指標加載磁盤塊8到記憶體,發生第三次IO,同時記憶體中做二分查找找到29,結束查詢,總計三次IO,真實的情況是,3層的b+樹可以表示上百萬的資料,如果上百萬的資料查找只需要三次IO,性能提高將是巨大的,如果沒有索引,每個資料項都要發生一次IO,那么總共需要百萬次的IO,顯然成本非常非常高,

這一章從理論角度討論了與索引相關的資料結構與演算法問題,下一章將討論B+Tree是如何具體實作為MySQL中索引,同時將結合MyISAM和InnDB存盤引擎介紹非聚集索引和聚集索引兩種不同的索引實作形式,

五、MySQL索引實作

在MySQL中,索引屬于存盤引擎級別的概念,不同存盤引擎對索引的實作方式是不同的,本文主要討論MyISAM和InnoDB兩個存盤引擎的索引實作方式,

5.1 MyISAM索引實作

MyISAM引擎使用B+Tree作為索引結構,葉節點的data域存放的是資料記錄的地址,下圖是MyISAM索引的原理圖: 
這里寫圖片描述

這里設表一共有三列,假設我們以Col1為主鍵,則上圖是一個MyISAM表的主索引(Primary key)示意,可以看出MyISAM的索引檔案僅僅保存資料記錄的地址,在MyISAM中,主索引和輔助索引(Secondary key)在結構上沒有任何區別,只是主索引要求key是唯一的,而輔助索引的key可以重復,如果我們在Col2上建立一個輔助索引,則此索引的結構如下圖所示: 
這里寫圖片描述

同樣也是一顆B+Tree,data域保存資料記錄的地址,因此,MyISAM中索引檢索的演算法為首先按照B+Tree搜索演算法搜索索引,如果指定的Key存在,則取出其data域的值,然后以data域的值為地址,讀取相應資料記錄, 
MyISAM的索引方式也叫做“非聚集”的,之所以這么稱呼是為了與InnoDB的聚集索引區分,

5.2 InnoDB索引實作

雖然InnoDB也使用B+Tree作為索引結構,但具體實作方式卻與MyISAM截然不同,

第一個重大區別是InnoDB的資料檔案本身就是索引檔案,從上文知道,MyISAM索引檔案和資料檔案是分離的,索引檔案僅保存資料記錄的地址,而在InnoDB中,表資料檔案本身就是按B+Tree組織的一個索引結構,這棵樹的葉節點data域保存了完整的資料記錄,這個索引的key是資料表的主鍵,因此InnoDB表資料檔案本身就是主索引, 
這里寫圖片描述

上圖是InnoDB主索引(同時也是資料檔案)的示意圖,可以看到葉節點包含了完整的資料記錄,這種索引叫做聚集索引,因為InnoDB的資料檔案本身要按主鍵聚集,所以InnoDB要求表必須有主鍵(MyISAM可以沒有),如果沒有顯式指定,則MySQL系統會自動選擇一個可以唯一標識資料記錄的列作為主鍵,如果不存在這種列,則MySQL自動為InnoDB表生成一個隱含欄位作為主鍵,這個欄位長度為6個位元組,型別為長整形,

第二個與MyISAM索引的不同是InnoDB的輔助索引data域存盤相應記錄主鍵的值而不是地址,換句話說,InnoDB的所有輔助索引都參考主鍵作為data域,例如,下圖為定義在Col3上的一個輔助索引: 
這里寫圖片描述

這里以英文字符的ASCII碼作為比較準則,聚集索引這種實作方式使得按主鍵的搜索十分高效,但是輔助索引搜索需要檢索兩遍索引:首先檢索輔助索引獲得主鍵,然后用主鍵到主索引中檢索獲得記錄,

了解不同存盤引擎的索引實作方式對于正確使用和優化索引都非常有幫助,例如知道了InnoDB的索引實作后,就很容易明白為什么不建議使用過長的欄位作為主鍵,因為所有輔助索引都參考主索引,過長的主索引會令輔助索引變得過大,再例如,用非單調的欄位作為主鍵在InnoDB中不是個好主意,因為InnoDB資料檔案本身是一顆B+Tree,非單調的主鍵會造成在插入新記錄時資料檔案為了維持B+Tree的特性而頻繁的分裂調整,十分低效,而使用自增欄位作為主鍵則是一個很好的選擇,

下一章將具體討論這些與索引有關的優化策略,

六、索引使用策略及優化

MySQL的優化主要分為結構優化(Scheme optimization)和查詢優化(Query optimization),本章討論的高性能索引策略主要屬于結構優化范疇,本章的內容完全基于上文的理論基礎,實際上一旦理解了索引背后的機制,那么選擇高性能的策略就變成了純粹的推理,并且可以理解這些策略背后的邏輯,

6.1 聯合索引及最左前綴原理

聯合索引(復合索引)

首先介紹一下聯合索引,聯合索引其實很簡單,相對于一般索引只有一個欄位,聯合索引可以為多個欄位創建一個索引,它的原理也很簡單,比如,我們在(a,b,c)欄位上創建一個聯合索引,則索引記錄會首先按照A欄位排序,然后再按照B欄位排序然后再是C欄位,因此,聯合索引的特點就是:

  • 第一個欄位一定是有序的
  • 當第一個欄位值相等的時候,第二個欄位又是有序的,比如下表中當A=2時所有B的值是有序排列的,依次類推,當同一個B值得所有C欄位是有序排列的

    | A | B | C | 
    | 1 | 2 | 3 | 
    | 1 | 4 | 2 | 
    | 1 | 1 | 4 | 
    | 2 | 3 | 5 | 
    | 2 | 4 | 4 | 
    | 2 | 4 | 6 | 
    | 2 | 5 | 5 |

其實聯合索引的查找就跟查字典是一樣的,先根據第一個字母查,然后再根據第二個字母查,或者只根據第一個字母查,但是不能跳過第一個字母從第二個字母開始查,這就是所謂的最左前綴原理,

最左前綴原理

我們再來詳細介紹一下聯合索引的查詢,還是上面例子,我們在(a,b,c)欄位上建了一個聯合索引,所以這個索引是先按a 再按b 再按c進行排列的,所以:

以下的查詢方式都可以用到索引

select * from table where a=1;
select * from table where a=1 and b=2;
select * from table where a=1 and b=2 and c=3;

上面三個查詢按照 (a ), (a,b ),(a,b,c )的順序都可以利用到索引,這就是最左前綴匹配,

如果查詢陳述句是:

select * from table where a=1 and c=3; 那么只會用到索引a,

如果查詢陳述句是:

select * from table where b=2 and c=3; 因為沒有用到最左前綴a,所以這個查詢是用不到索引的,

如果用到了最左前綴,但是順序顛倒會用到索引碼?

比如:

select * from table where b=2 and a=1;
select * from table where b=2 and a=1 and c=3;

如果用到了最左前綴而只是顛倒了順序,也是可以用到索引的,因為mysql查詢優化器會判斷糾正這條sql陳述句該以什么樣的順序執行效率最高,最后才生成真正的執行計劃,但我們還是最好按照索引順序來查詢,這樣查詢優化器就不用重新編譯了,

前綴索引

除了聯合索引之外,對mysql來說其實還有一種前綴索引,前綴索引就是用列的前綴代替整個列作為索引key,當前綴長度合適時,可以做到既使得前綴索引的選擇性接近全列索引,同時因為索引key變短而減少了索引檔案的大小和維護開銷,

一般來說以下情況可以使用前綴索引:

  • 字串列(varchar,char,text等),需要進行全欄位匹配或者前匹配,也就是=‘xxx’ 或者 like ‘xxx%’
  • 字串本身可能比較長,而且前幾個字符就開始不相同,比如我們對中國人的姓名使用前綴索引就沒啥意義,因為中國人名字都很短,另外對收件地址使用前綴索引也不是很實用,因為一方面收件地址一般都是以XX省開頭,也就是說前幾個字符都是差不多的,而且收件地址進行檢索一般都是like ’%xxx%’,不會用到前匹配,相反對外國人的姓名可以使用前綴索引,因為其字符較長,而且前幾個字符的選擇性比較高,同樣電子郵件也是一個可以使用前綴索引的欄位,
  • 前一半字符的索引選擇性就已經接近于全欄位的索引選擇性,如果整個欄位的長度為20,索引選擇性為0.9,而我們對前10個字符建立前綴索引其選擇性也只有0.5,那么我們需要繼續加大前綴字符的長度,但是這個時候前綴索引的優勢已經不明顯,沒有太大的建前綴索引的必要了,

一些文章中也提到:

MySQL 前綴索引能有效減小索引檔案的大小,提高索引的速度,但是前綴索引也有它的壞處:MySQL 不能在 ORDER BY 或 GROUP BY 中使用前綴索引,也不能把它們用作覆寫索引(Covering Index),

6.2 索引優化策略

  • 最左前綴匹配原則,上面講到了
  • 主鍵外檢一定要建索引
  • 對 where,on,group by,order by 中出現的列使用索引
  • 盡量選擇區分度高的列作為索引,區分度的公式是count(distinct col)/count(*),表示欄位不重復的比例,比例越大我們掃描的記錄數越少,唯一鍵的區分度是1,而一些狀態、性別欄位可能在大資料面前區分度就是0
  • 對較小的資料列使用索引,這樣會使索引檔案更小,同時記憶體中也可以裝載更多的索引鍵
  • 索引列不能參與計算,保持列“干凈”,比如from_unixtime(create_time) = ’2014-05-29’就不能使用到索引,原因很簡單,b+樹中存的都是資料表中的欄位值,但進行檢索時,需要把所有元素都應用函式才能比較,顯然成本太大,所以陳述句應該寫成create_time = unix_timestamp(’2014-05-29’);
  • 為較長的字串使用前綴索引
  • 盡量的擴展索引,不要新建索引,比如表中已經有a的索引,現在要加(a,b)的索引,那么只需要修改原來的索引即可
  • 不要過多創建索引, 權衡索引個數與DML之間關系,DML也就是插入、洗掉資料操作,這里需要權衡一個問題,建立索引的目的是為了提高查詢效率的,但建立的索引過多,會影響插入、洗掉資料的速度,因為我們修改的表資料,索引也需要進行調整重建
  • 對于like查詢,”%”不要放在前面, 
    SELECT * FROMhoudunwangWHEREunameLIKE'后盾%' -- 走索引 
    SELECT * FROMhoudunwangWHEREunameLIKE "%后盾%" -- 不走索引
  • 查詢where條件資料型別不匹配也無法使用索引 
    字串與數字比較不使用索引; 
    CREATE TABLEa(achar(10)); 
    EXPLAIN SELECT * FROMaWHEREa="1" – 走索引 
    EXPLAIN SELECT * FROM a WHERE a=1 – 不走索引 
    正則運算式不使用索引,這應該很好理解,所以為什么在SQL中很難看到regexp關鍵字的原因

參考文章:

http://blog.csdn.net/suifeng3051/article/details/49530299?locationNum=1 
http://tech.meituan.com/mysql-index.html 
https://yq.aliyun.com/articles/39841 
http://blog.csdn.net/lovelion/article/details/8462814

 轉載:https://yq.aliyun.com/articles/65126

 

建索引原則:

1.最左前綴匹配原則,非常重要的原則,mysql會一直向右匹配直到遇到范圍查詢(>、<、between、like)就停止匹配,比如a = 1 and b = 2 and c > 3 and d = 4 如果建立(a,b,c,d)順序的索引,d是用不到索引的,如果建立(a,b,d,c)的索引則都可以用到,a,b,d的順序可以任意調整,
2.=和in可以亂序,比如a = 1 and b = 2 and c = 3 建立(a,b,c)索引可以任意順序,mysql的查詢優化器會幫你優化成索引可以識別的形式
3.盡量選擇區分度高的列作為索引,區分度的公式是count(distinct col)/count(*),表示欄位不重復的比例,比例越大我們掃描的記錄數越少,唯一鍵的區分度是1,而一些狀態、性別欄位可能在大資料面前區分度就是0,那可能有人會問,這個比例有什么經驗值嗎?使用場景不同,這個值也很難確定,一般需要join的欄位我們都要求是0.1以上,即平均1條掃描10條記錄
4.索引列不能參與計算,保持列“干凈”,比如from_unixtime(create_time) = ’2014-05-29’就不能使用到索引,原因很簡單,b+樹中存的都是資料表中的欄位值,但進行檢索時,需要把所有元素都應用函式才能比較,顯然成本太大,所以陳述句應該寫成create_time = unix_timestamp(’2014-05-29’);
5.盡量的擴展索引,不要新建索引,比如表中已經有a的索引,現在要加(a,b)的索引,那么只需要修改原來的索引即可

轉載請註明出處,本文鏈接:https://www.uj5u.com/shujuku/543710.html

標籤:其他

上一篇:SSMS建表時,出現報錯,無法建表

下一篇:mysql 運維篇

標籤雲
其他(157675) Python(38076) JavaScript(25376) Java(17977) C(15215) 區塊鏈(8255) C#(7972) AI(7469) 爪哇(7425) MySQL(7132) html(6777) 基礎類(6313) sql(6102) 熊猫(6058) PHP(5869) 数组(5741) R(5409) Linux(5327) 反应(5209) 腳本語言(PerlPython)(5129) 非技術區(4971) Android(4554) 数据框(4311) css(4259) 节点.js(4032) C語言(3288) json(3245) 列表(3129) 扑(3119) C++語言(3117) 安卓(2998) 打字稿(2995) VBA(2789) Java相關(2746) 疑難問題(2699) 细绳(2522) 單片機工控(2479) iOS(2429) ASP.NET(2402) MongoDB(2323) 麻木的(2285) 正则表达式(2254) 字典(2211) 循环(2198) 迅速(2185) 擅长(2169) 镖(2155) 功能(1967) .NET技术(1958) Web開發(1951) python-3.x(1918) HtmlCss(1915) 弹簧靴(1913) C++(1909) xml(1889) PostgreSQL(1872) .NETCore(1853) 谷歌表格(1846) Unity3D(1843) for循环(1842)

熱門瀏覽
  • GPU虛擬機創建時間深度優化

    **?桔妹導讀:**GPU虛擬機實體創建速度慢是公有云面臨的普遍問題,由于通常情況下創建虛擬機屬于低頻操作而未引起業界的重視,實際生產中還是存在對GPU實體創建時間有苛刻要求的業務場景。本文將介紹滴滴云在解決該問題時的思路、方法、并展示最終的優化成果。 從公有云服務商那里購買過虛擬主機的資深用戶,一 ......

    uj5u.com 2020-09-10 06:09:13 more
  • 可編程網卡芯片在滴滴云網路的應用實踐

    **?桔妹導讀:**隨著云規模不斷擴大以及業務層面對延遲、帶寬的要求越來越高,采用DPDK 加速網路報文處理的方式在橫向縱向擴展都出現了局限性。可編程芯片成為業界熱點。本文主要講述了可編程網卡芯片在滴滴云網路中的應用實踐,遇到的問題、帶來的收益以及開源社區貢獻。 #1. 資料中心面臨的問題 隨著滴滴 ......

    uj5u.com 2020-09-10 06:10:21 more
  • 滴滴資料通道服務演進之路

    **?桔妹導讀:**滴滴資料通道引擎承載著全公司的資料同步,為下游實時和離線場景提供了必不可少的源資料。隨著任務量的不斷增加,資料通道的整體架構也隨之發生改變。本文介紹了滴滴資料通道的發展歷程,遇到的問題以及今后的規劃。 #1. 背景 資料,對于任何一家互聯網公司來說都是非常重要的資產,公司的大資料 ......

    uj5u.com 2020-09-10 06:11:05 more
  • 滴滴AI Labs斬獲國際機器翻譯大賽中譯英方向世界第三

    **桔妹導讀:**深耕人工智能領域,致力于探索AI讓出行更美好的滴滴AI Labs再次斬獲國際大獎,這次獲獎的專案是什么呢?一起來看看詳細報道吧! 近日,由國際計算語言學協會ACL(The Association for Computational Linguistics)舉辦的世界最具影響力的機器 ......

    uj5u.com 2020-09-10 06:11:29 more
  • MPP (Massively Parallel Processing)大規模并行處理

    1、什么是mpp? MPP (Massively Parallel Processing),即大規模并行處理,在資料庫非共享集群中,每個節點都有獨立的磁盤存盤系統和記憶體系統,業務資料根據資料庫模型和應用特點劃分到各個節點上,每臺資料節點通過專用網路或者商業通用網路互相連接,彼此協同計算,作為整體提供 ......

    uj5u.com 2020-09-10 06:11:41 more
  • 滴滴資料倉庫指標體系建設實踐

    **桔妹導讀:**指標體系是什么?如何使用OSM模型和AARRR模型搭建指標體系?如何統一流程、規范化、工具化管理指標體系?本文會對建設的方法論結合滴滴資料指標體系建設實踐進行解答分析。 #1. 什么是指標體系 ##1.1 指標體系定義 指標體系是將零散單點的具有相互聯系的指標,系統化的組織起來,通 ......

    uj5u.com 2020-09-10 06:12:52 more
  • 單表千萬行資料庫 LIKE 搜索優化手記

    我們經常在資料庫中使用 LIKE 運算子來完成對資料的模糊搜索,LIKE 運算子用于在 WHERE 子句中搜索列中的指定模式。 如果需要查找客戶表中所有姓氏是“張”的資料,可以使用下面的 SQL 陳述句: SELECT * FROM Customer WHERE Name LIKE '張%' 如果需要 ......

    uj5u.com 2020-09-10 06:13:25 more
  • 滴滴Ceph分布式存盤系統優化之鎖優化

    **桔妹導讀:**Ceph是國際知名的開源分布式存盤系統,在工業界和學術界都有著重要的影響。Ceph的架構和演算法設計發表在國際系統領域頂級會議OSDI、SOSP、SC等上。Ceph社區得到Red Hat、SUSE、Intel等大公司的大力支持。Ceph是國際云計算領域應用最廣泛的開源分布式存盤系統, ......

    uj5u.com 2020-09-10 06:14:51 more
  • es~通過ElasticsearchTemplate進行聚合~嵌套聚合

    之前寫過《es~通過ElasticsearchTemplate進行聚合操作》的文章,這一次主要寫一個嵌套的聚合,例如先對sex集合,再對desc聚合,最后再對age求和,共三層嵌套。 Aggregations的部分特性類似于SQL語言中的group by,avg,sum等函式,Aggregation ......

    uj5u.com 2020-09-10 06:14:59 more
  • 爬蟲日志監控 -- Elastc Stack(ELK)部署

    傻瓜式部署,只需替換IP與用戶 導讀: 現ELK四大組件分別為:Elasticsearch(核心)、logstash(處理)、filebeat(采集)、kibana(可視化) 下載均在https://www.elastic.co/cn/downloads/下tar包,各組件版本最好一致,配合fdm會 ......

    uj5u.com 2020-09-10 06:15:05 more
最新发布
  • day02-2-商鋪查詢快取

    功能02-商鋪查詢快取 3.商鋪詳情快取查詢 3.1什么是快取? 快取就是資料交換的緩沖區(稱作Cache),是存盤資料的臨時地方,一般讀寫性能較高。 快取的作用: 降低后端負載 提高讀寫效率,降低回應時間 快取的成本: 資料一致性成本 代碼維護成本 運維成本 3.2需求說明 如下,當我們點擊商店詳 ......

    uj5u.com 2023-04-20 08:33:24 more
  • MySQL中binlog備份腳本分享

    關于MySQL的二進制日志(binlog),我們都知道二進制日志(binlog)非常重要,尤其當你需要point to point災難恢復的時侯,所以我們要對其進行備份。關于二進制日志(binlog)的備份,可以基于flush logs方式先切換binlog,然后拷貝&壓縮到到遠程服務器或本地服務器 ......

    uj5u.com 2023-04-20 08:28:06 more
  • day02-短信登錄

    功能實作02 2.功能01-短信登錄 2.1基于Session實作登錄 2.1.1思路分析 2.1.2代碼實作 2.1.2.1發送短信驗證碼 發送短信驗證碼: 發送驗證碼的介面為:http://127.0.0.1:8080/api/user/code?phone=xxxxx<手機號> 請求方式:PO ......

    uj5u.com 2023-04-20 08:27:27 more
  • 快取與資料庫雙寫一致性幾種策略分析

    本文將對幾種快取與資料庫保證資料一致性的使用方式進行分析。為保證高并發性能,以下分析場景不考慮執行的原子性及加鎖等強一致性要求的場景,僅追求最終一致性。 ......

    uj5u.com 2023-04-20 08:26:48 more
  • sql陳述句優化

    問題查找及措施 問題查找 需要找到具體的代碼,對其進行一對一優化,而非一直把關注點放在服務器和sql平臺 降低簡化每個事務中處理的問題,盡量不要讓一個事務拖太長的時間 例如檔案上傳時,應將檔案上傳這一步放在事務外面 微軟建議 4.啟動sql定時執行計劃 怎么啟動sqlserver代理服務-百度經驗 ......

    uj5u.com 2023-04-20 08:26:35 more
  • 云時代,MySQL到ClickHouse資料同步產品對比推薦

    ClickHouse 在執行分析查詢時的速度優勢很好的彌補了MySQL的不足,但是對于很多開發者和DBA來說,如何將MySQL穩定、高效、簡單的同步到 ClickHouse 卻很困難。本文對比了 NineData、MaterializeMySQL(ClickHouse自帶)、Bifrost 三款產品... ......

    uj5u.com 2023-04-20 08:26:29 more
  • sql陳述句優化

    問題查找及措施 問題查找 需要找到具體的代碼,對其進行一對一優化,而非一直把關注點放在服務器和sql平臺 降低簡化每個事務中處理的問題,盡量不要讓一個事務拖太長的時間 例如檔案上傳時,應將檔案上傳這一步放在事務外面 微軟建議 4.啟動sql定時執行計劃 怎么啟動sqlserver代理服務-百度經驗 ......

    uj5u.com 2023-04-20 08:25:13 more
  • Redis 報”OutOfDirectMemoryError“(堆外記憶體溢位)

    Redis 報錯“OutOfDirectMemoryError(堆外記憶體溢位) ”問題如下: 一、報錯資訊: 使用 Redis 的業務介面 ,產生 OutOfDirectMemoryError(堆外記憶體溢位),如圖: 格式化后的報錯資訊: { "timestamp": "2023-04-17 22: ......

    uj5u.com 2023-04-20 08:24:54 more
  • day02-2-商鋪查詢快取

    功能02-商鋪查詢快取 3.商鋪詳情快取查詢 3.1什么是快取? 快取就是資料交換的緩沖區(稱作Cache),是存盤資料的臨時地方,一般讀寫性能較高。 快取的作用: 降低后端負載 提高讀寫效率,降低回應時間 快取的成本: 資料一致性成本 代碼維護成本 運維成本 3.2需求說明 如下,當我們點擊商店詳 ......

    uj5u.com 2023-04-20 08:24:03 more
  • day02-短信登錄

    功能實作02 2.功能01-短信登錄 2.1基于Session實作登錄 2.1.1思路分析 2.1.2代碼實作 2.1.2.1發送短信驗證碼 發送短信驗證碼: 發送驗證碼的介面為:http://127.0.0.1:8080/api/user/code?phone=xxxxx<手機號> 請求方式:PO ......

    uj5u.com 2023-04-20 08:23:11 more