主頁 > 資料庫 > SQL優化

SQL優化

2021-01-13 08:15:10 資料庫

1.步驟(具體場景,具體分析,以下大致思路)

  1. 根據慢日志定位慢查詢sql
  2. 使用explain等工具分析sql
  3. 修改sql或者盡量讓sql走索引

2.具體步驟

2.1 根據慢日志定位慢查詢sql

show variables like '%quer%'

slow_query_log 慢日志狀態

slow_query_log_file 慢日志檔案地址

long_query_time 慢日志記錄的最低查詢時間

show status like '%slow_queries%' -- 查詢本次慢查詢資料數量

set global show_query_log = on; -- 設定打開慢查詢日志
set global long_query_time = 1; -- 設定慢日志記錄的最低查詢時間為一秒 需要重新連接才生效
以上可以在 my.ini 組態檔內修改, set 不是永久生效,重啟服務器會回歸默認設定

2.2 使用explain等工具分析sql

explain + 需要分析sql陳述句

id select_type table partitions type possible_keys key key_len ref rows filtered Extra

欄位名解釋

id: select查詢的序列號,包含一組數字,表示查詢中執行select子句或操作表的順序

select_type: 表示查詢的型別,

table: 指的就是當前執行的表

partitions: 匹配的磁區

type: type所顯示的是查詢使用了哪種型別

possible_keys: 顯示可能應用在這張表中的索引,一個或多個,查詢涉及到的欄位上若存在索引,則該索引將被列出,但不一定被查詢實際使用

key: 實際使用的索引,如果為NULL,則沒有使用索引,(可能原因包括沒有建立索引或索引失效)

key_len: 表示索引中使用的位元組數,可通過該列計算查詢中使用的索引的長度,在不損失精確性的情況下,長度越短越好,key_len顯示的值為索引欄位的最大可能長度,并非實際使用長度,即key_len是根據表定義計算而得,不是通過表內檢索出的,

ref: 顯示索引的那一列被使用了,如果可能的話,最好是一個常數,哪些列或常量被用于查找索引列上的值,

rows: 根據表統計資訊及索引選用情況,大致估算出找到所需的記錄所需要讀取的行數,也就是說,用的越少越好

filtered: 按表條件過濾的行百分比

Extra: 列回傳的描述的意義

關鍵欄位

  • type

system > const>eq_ref > ref>fulltext > ref_or_null > index_merge > unique_subquery >

index_subquery > range > index > all

index ,all 需要優化

  • system 表只有一行記錄(等于系統表),這是const型別的特列,平時不會出現,這個也可以忽略不計
  • const 表示通過索引一次就找到了,const用于比較primary key 或者unique索引,因為只匹配一行資料,所以很快,如將主鍵置于where串列中,MySQL就能將該查詢轉換為一個常量,

  • eq_ref 唯一性索引掃描,對于每個索引鍵,表中只有一條記錄與之匹配,常見于主鍵或唯一索引掃描

  • ref 非唯一性索引掃描,回傳匹配某個單獨值的所有行,本質上也是一種索引訪問,它回傳所有匹配某個單獨值的行,然而,它可能會找到多個符合條件的行,所以他應該屬于查找和掃描的混合體,

  • range 只檢索給定范圍的行,使用一個索引來選擇行,key列顯示使用了哪個索引,一般就是在你的where陳述句中出現between、< 、>、in等的查詢,這種范圍掃描索引比全表掃描要好,因為它只需要開始于索引的某一點,而結束于另一點,不用掃描全部索引,

  • index Full Index Scan,Index與All區別為index型別只遍歷索引樹,這通常比ALL快,因為索引檔案通常比資料檔案小,(也就是說雖然all和Index都是讀全表,但index是從索引中讀取的,而all是從硬碟讀取

  • all Full Table Scan 將遍歷全表以找到匹配的行

  • extra

extra項 說明
Using filesort (看到這個的時候,查詢就需要優化了) 表示 mysql會對結果使用一個外部索引排序,而不是從表里按索引次序讀到相關內容,可能在記憶體或者磁盤上進行排序,mysql 中無法利用索引完成的排序操作稱為“檔案排序”,
Using temporary (看到這個的時候,查詢需要優化了) 表示 mysql 在對查詢結果排序時使用臨時表,常見于排序order by 和分組查詢 group by ,
Using index 表示相應的select操作中使用了覆寫索引(Covering Index),避免訪問了表的資料行,效率不錯,如果同時出現using where,表明索引被用來執行索引鍵值的查找;如果沒有同時出現using where,表明索參考來讀取資料而非執行查找動作,
Using where 表明使用了where過濾
Using join buffer 表明使用了連接快取,比如說在查詢的時候,多表join的次數非常多,那么將組態檔中的緩沖區的join buffer調大一些,
impossible where where子句的值總是false,不能用來獲取任何元組
select tables optimized away 在沒有GROUPBY子句的情況下,基于索引優化MIN/MAX操作或者對于MyISAM存盤引擎優化COUNT(*)操作,不必等到執行階段再進行計算,查詢執行計劃生成的階段即完成優化,
distinct 優化distinct操作,在找到第一匹配的元組后即停止找同樣值的動作

2.3 修改sql或者盡量讓sql走索引

1.對查詢進行優化,應盡量避免全表掃描,首先應考慮在 where 及 order by 涉及的列上建立索引,

2.應盡量避免在 where 子句中對欄位進行 null 值判斷,否則將導致引擎放棄使用索引而進行全表掃描,如:
select id from t where num is null
可以在num上設定默認值0,確保表中num列沒有null值,然后這樣查詢:
select id from t where num=0

3.應盡量避免在 where 子句中使用!=或<>運算子,否則將引擎放棄使用索引而進行全表掃描,

4.應盡量避免在 where 子句中使用 or 來連接條件,否則將導致引擎放棄使用索引而進行全表掃描,如:
select id from t where num=10 or num=20
可以這樣查詢:
select id from t where num=10
union all
select id from t where num=20

5.in 和 not in 也要慎用,否則會導致全表掃描,如:
select id from t where num in(1,2,3)
對于連續的數值,能用 between 就不要用 in 了:
select id from t where num between 1 and 3

6.下面的查詢也將導致全表掃描:
select id from t where name like '%abc%'

7.應盡量避免在 where 子句中對欄位進行運算式操作,這將導致引擎放棄使用索引而進行全表掃描,如:
select id from t where num/2=100
應改為:
select id from t where num=100*2

8.應盡量避免在where子句中對欄位進行函式操作,這將導致引擎放棄使用索引而進行全表掃描,如:
select id from t where substring(name,1,3)='abc'--name以abc開頭的id
應改為:
select id from t where name like 'abc%'

9.不要在 where 子句中的“=”左邊進行函式、算術運算或其他運算式運算,否則系統將可能無法正確使用索引,

10.在使用索引欄位作為條件時,如果該索引是復合索引,那么必須使用到該索引中的第一個欄位作為條件時才能保證系統使用該索引,否則該索引將不會被使用,并且應盡可能的讓欄位順序與索引順序相一致,

11.不要寫一些沒有意義的查詢,如需要生成一個空表結構:
select col1,col2 into #t from t where 1=0
這類代碼不會回傳任何結果集,但是會消耗系統資源的,應改成這樣:
create table #t(...)

12.很多時候用 exists 代替 in 是一個好的選擇:
select num from a where num in(select num from b)
用下面的陳述句替換:
select num from a where exists(select 1 from b where num=a.num)

13.并不是所有索引對查詢都有效,SQL是根據表中資料來進行查詢優化的,當索引列有大量資料重復時,SQL查詢可能不會去利用索引,如一表中有欄位sex,male、female幾乎各一半,那么即使在sex上建了索引也對查詢效率起不了作用,

14.索引并不是越多越好,索引固然可以提高相應的 select 的效率,但同時也降低了 insert 及 update 的效率,
因為 insert 或 update 時有可能會重建索引,所以怎樣建索引需要慎重考慮,視具體情況而定,
一個表的索引數最好不要超過6個,若太多則應考慮一些不常使用到的列上建的索引是否有必要,

15.盡量使用數字型欄位,若只含數值資訊的欄位盡量不要設計為字符型,這會降低查詢和連接的性能,并會增加存盤開銷,
這是因為引擎在處理查詢和連接時會逐個比較字串中每一個字符,而對于數字型而言只需要比較一次就夠了,

16.盡可能的使用 varchar 代替 char ,因為首先變長欄位存盤空間小,可以節省存盤空間,
其次對于查詢來說,在一個相對較小的欄位內搜索效率顯然要高些,

17.任何地方都不要使用 select * from t ,用具體的欄位串列代替“*”,不要回傳用不到的任何欄位,

18.避免頻繁創建和洗掉臨時表,以減少系統表資源的消耗,

19.臨時表并不是不可使用,適當地使用它們可以使某些例程更有效,例如,當需要重復參考大型表或常用表中的某個資料集時,但是,對于一次性事件,最好使用匯出表,

20.在新建臨時表時,如果一次性插入資料量很大,那么可以使用 select into 代替 create table,避免造成大量 log ,
以提高速度;如果資料量不大,為了緩和系統表的資源,應先create table,然后insert,

21.如果使用到了臨時表,在存盤程序的最后務必將所有的臨時表顯式洗掉,先 truncate table ,然后 drop table ,這樣可以避免系統表的較長時間鎖定,

22.盡量避免使用游標,因為游標的效率較差,如果游標操作的資料超過1萬行,那么就應該考慮改寫,

23.使用基于游標的方法或臨時表方法之前,應先尋找基于集的解決方案來解決問題,基于集的方法通常更有效,

24.與臨時表一樣,游標并不是不可使用,對小型資料集使用 FAST_FORWARD 游標通常要優于其他逐行處理方法,尤其是在必須參考幾個表才能獲得所需的資料時,
在結果集中包括“合計”的例程通常要比使用游標執行的速度快,如果開發時間允許,基于游標的方法和基于集的方法都可以嘗試一下,看哪一種方法的效果更好,

25.盡量避免大事務操作,提高系統并發能力,

26.盡量避免向客戶端回傳大資料量,若資料量過大,應該考慮相應需求是否合理,

轉載請註明出處,本文鏈接:https://www.uj5u.com/shujuku/248034.html

標籤:其他

上一篇:ASPxGridView排序空值默認為最小,Oracle資料庫空值默認最大引起的排序問題

下一篇:MySql創建存盤程序,并使用事件定時呼叫

標籤雲
其他(157675) Python(38076) JavaScript(25376) Java(17977) C(15215) 區塊鏈(8255) C#(7972) AI(7469) 爪哇(7425) MySQL(7132) html(6777) 基礎類(6313) sql(6102) 熊猫(6058) PHP(5869) 数组(5741) R(5409) Linux(5327) 反应(5209) 腳本語言(PerlPython)(5129) 非技術區(4971) Android(4554) 数据框(4311) css(4259) 节点.js(4032) C語言(3288) json(3245) 列表(3129) 扑(3119) C++語言(3117) 安卓(2998) 打字稿(2995) VBA(2789) Java相關(2746) 疑難問題(2699) 细绳(2522) 單片機工控(2479) iOS(2429) ASP.NET(2402) MongoDB(2323) 麻木的(2285) 正则表达式(2254) 字典(2211) 循环(2198) 迅速(2185) 擅长(2169) 镖(2155) 功能(1967) .NET技术(1958) Web開發(1951) python-3.x(1918) HtmlCss(1915) 弹簧靴(1913) C++(1909) xml(1889) PostgreSQL(1872) .NETCore(1853) 谷歌表格(1846) Unity3D(1843) for循环(1842)

熱門瀏覽
  • GPU虛擬機創建時間深度優化

    **?桔妹導讀:**GPU虛擬機實體創建速度慢是公有云面臨的普遍問題,由于通常情況下創建虛擬機屬于低頻操作而未引起業界的重視,實際生產中還是存在對GPU實體創建時間有苛刻要求的業務場景。本文將介紹滴滴云在解決該問題時的思路、方法、并展示最終的優化成果。 從公有云服務商那里購買過虛擬主機的資深用戶,一 ......

    uj5u.com 2020-09-10 06:09:13 more
  • 可編程網卡芯片在滴滴云網路的應用實踐

    **?桔妹導讀:**隨著云規模不斷擴大以及業務層面對延遲、帶寬的要求越來越高,采用DPDK 加速網路報文處理的方式在橫向縱向擴展都出現了局限性。可編程芯片成為業界熱點。本文主要講述了可編程網卡芯片在滴滴云網路中的應用實踐,遇到的問題、帶來的收益以及開源社區貢獻。 #1. 資料中心面臨的問題 隨著滴滴 ......

    uj5u.com 2020-09-10 06:10:21 more
  • 滴滴資料通道服務演進之路

    **?桔妹導讀:**滴滴資料通道引擎承載著全公司的資料同步,為下游實時和離線場景提供了必不可少的源資料。隨著任務量的不斷增加,資料通道的整體架構也隨之發生改變。本文介紹了滴滴資料通道的發展歷程,遇到的問題以及今后的規劃。 #1. 背景 資料,對于任何一家互聯網公司來說都是非常重要的資產,公司的大資料 ......

    uj5u.com 2020-09-10 06:11:05 more
  • 滴滴AI Labs斬獲國際機器翻譯大賽中譯英方向世界第三

    **桔妹導讀:**深耕人工智能領域,致力于探索AI讓出行更美好的滴滴AI Labs再次斬獲國際大獎,這次獲獎的專案是什么呢?一起來看看詳細報道吧! 近日,由國際計算語言學協會ACL(The Association for Computational Linguistics)舉辦的世界最具影響力的機器 ......

    uj5u.com 2020-09-10 06:11:29 more
  • MPP (Massively Parallel Processing)大規模并行處理

    1、什么是mpp? MPP (Massively Parallel Processing),即大規模并行處理,在資料庫非共享集群中,每個節點都有獨立的磁盤存盤系統和記憶體系統,業務資料根據資料庫模型和應用特點劃分到各個節點上,每臺資料節點通過專用網路或者商業通用網路互相連接,彼此協同計算,作為整體提供 ......

    uj5u.com 2020-09-10 06:11:41 more
  • 滴滴資料倉庫指標體系建設實踐

    **桔妹導讀:**指標體系是什么?如何使用OSM模型和AARRR模型搭建指標體系?如何統一流程、規范化、工具化管理指標體系?本文會對建設的方法論結合滴滴資料指標體系建設實踐進行解答分析。 #1. 什么是指標體系 ##1.1 指標體系定義 指標體系是將零散單點的具有相互聯系的指標,系統化的組織起來,通 ......

    uj5u.com 2020-09-10 06:12:52 more
  • 單表千萬行資料庫 LIKE 搜索優化手記

    我們經常在資料庫中使用 LIKE 運算子來完成對資料的模糊搜索,LIKE 運算子用于在 WHERE 子句中搜索列中的指定模式。 如果需要查找客戶表中所有姓氏是“張”的資料,可以使用下面的 SQL 陳述句: SELECT * FROM Customer WHERE Name LIKE '張%' 如果需要 ......

    uj5u.com 2020-09-10 06:13:25 more
  • 滴滴Ceph分布式存盤系統優化之鎖優化

    **桔妹導讀:**Ceph是國際知名的開源分布式存盤系統,在工業界和學術界都有著重要的影響。Ceph的架構和演算法設計發表在國際系統領域頂級會議OSDI、SOSP、SC等上。Ceph社區得到Red Hat、SUSE、Intel等大公司的大力支持。Ceph是國際云計算領域應用最廣泛的開源分布式存盤系統, ......

    uj5u.com 2020-09-10 06:14:51 more
  • es~通過ElasticsearchTemplate進行聚合~嵌套聚合

    之前寫過《es~通過ElasticsearchTemplate進行聚合操作》的文章,這一次主要寫一個嵌套的聚合,例如先對sex集合,再對desc聚合,最后再對age求和,共三層嵌套。 Aggregations的部分特性類似于SQL語言中的group by,avg,sum等函式,Aggregation ......

    uj5u.com 2020-09-10 06:14:59 more
  • 爬蟲日志監控 -- Elastc Stack(ELK)部署

    傻瓜式部署,只需替換IP與用戶 導讀: 現ELK四大組件分別為:Elasticsearch(核心)、logstash(處理)、filebeat(采集)、kibana(可視化) 下載均在https://www.elastic.co/cn/downloads/下tar包,各組件版本最好一致,配合fdm會 ......

    uj5u.com 2020-09-10 06:15:05 more
最新发布
  • day02-2-商鋪查詢快取

    功能02-商鋪查詢快取 3.商鋪詳情快取查詢 3.1什么是快取? 快取就是資料交換的緩沖區(稱作Cache),是存盤資料的臨時地方,一般讀寫性能較高。 快取的作用: 降低后端負載 提高讀寫效率,降低回應時間 快取的成本: 資料一致性成本 代碼維護成本 運維成本 3.2需求說明 如下,當我們點擊商店詳 ......

    uj5u.com 2023-04-20 08:33:24 more
  • MySQL中binlog備份腳本分享

    關于MySQL的二進制日志(binlog),我們都知道二進制日志(binlog)非常重要,尤其當你需要point to point災難恢復的時侯,所以我們要對其進行備份。關于二進制日志(binlog)的備份,可以基于flush logs方式先切換binlog,然后拷貝&壓縮到到遠程服務器或本地服務器 ......

    uj5u.com 2023-04-20 08:28:06 more
  • day02-短信登錄

    功能實作02 2.功能01-短信登錄 2.1基于Session實作登錄 2.1.1思路分析 2.1.2代碼實作 2.1.2.1發送短信驗證碼 發送短信驗證碼: 發送驗證碼的介面為:http://127.0.0.1:8080/api/user/code?phone=xxxxx<手機號> 請求方式:PO ......

    uj5u.com 2023-04-20 08:27:27 more
  • 快取與資料庫雙寫一致性幾種策略分析

    本文將對幾種快取與資料庫保證資料一致性的使用方式進行分析。為保證高并發性能,以下分析場景不考慮執行的原子性及加鎖等強一致性要求的場景,僅追求最終一致性。 ......

    uj5u.com 2023-04-20 08:26:48 more
  • sql陳述句優化

    問題查找及措施 問題查找 需要找到具體的代碼,對其進行一對一優化,而非一直把關注點放在服務器和sql平臺 降低簡化每個事務中處理的問題,盡量不要讓一個事務拖太長的時間 例如檔案上傳時,應將檔案上傳這一步放在事務外面 微軟建議 4.啟動sql定時執行計劃 怎么啟動sqlserver代理服務-百度經驗 ......

    uj5u.com 2023-04-20 08:26:35 more
  • 云時代,MySQL到ClickHouse資料同步產品對比推薦

    ClickHouse 在執行分析查詢時的速度優勢很好的彌補了MySQL的不足,但是對于很多開發者和DBA來說,如何將MySQL穩定、高效、簡單的同步到 ClickHouse 卻很困難。本文對比了 NineData、MaterializeMySQL(ClickHouse自帶)、Bifrost 三款產品... ......

    uj5u.com 2023-04-20 08:26:29 more
  • sql陳述句優化

    問題查找及措施 問題查找 需要找到具體的代碼,對其進行一對一優化,而非一直把關注點放在服務器和sql平臺 降低簡化每個事務中處理的問題,盡量不要讓一個事務拖太長的時間 例如檔案上傳時,應將檔案上傳這一步放在事務外面 微軟建議 4.啟動sql定時執行計劃 怎么啟動sqlserver代理服務-百度經驗 ......

    uj5u.com 2023-04-20 08:25:13 more
  • Redis 報”OutOfDirectMemoryError“(堆外記憶體溢位)

    Redis 報錯“OutOfDirectMemoryError(堆外記憶體溢位) ”問題如下: 一、報錯資訊: 使用 Redis 的業務介面 ,產生 OutOfDirectMemoryError(堆外記憶體溢位),如圖: 格式化后的報錯資訊: { "timestamp": "2023-04-17 22: ......

    uj5u.com 2023-04-20 08:24:54 more
  • day02-2-商鋪查詢快取

    功能02-商鋪查詢快取 3.商鋪詳情快取查詢 3.1什么是快取? 快取就是資料交換的緩沖區(稱作Cache),是存盤資料的臨時地方,一般讀寫性能較高。 快取的作用: 降低后端負載 提高讀寫效率,降低回應時間 快取的成本: 資料一致性成本 代碼維護成本 運維成本 3.2需求說明 如下,當我們點擊商店詳 ......

    uj5u.com 2023-04-20 08:24:03 more
  • day02-短信登錄

    功能實作02 2.功能01-短信登錄 2.1基于Session實作登錄 2.1.1思路分析 2.1.2代碼實作 2.1.2.1發送短信驗證碼 發送短信驗證碼: 發送驗證碼的介面為:http://127.0.0.1:8080/api/user/code?phone=xxxxx<手機號> 請求方式:PO ......

    uj5u.com 2023-04-20 08:23:11 more