關于MySQL的知識點總結了一個思維導圖,希望對大家所有幫助!
關注公眾號:程式員白楠楠,領取2021版MySQL筆記(300多頁PDF檔案),
本文會提到 50 條 SQL 陳述句性能優化策略,
1、對查詢進行優化,應盡量避免全表掃描,首先應考慮在 WHERE 及 ORDER BY 涉及的列上建立索引,
2、應盡量避免在 WHERE 子句中對欄位進行 NULL 值判斷,創建表時 NULL 是默認值,但大多數時候應該使用 NOT NULL,或者使用一個特殊的值,如 0,-1 作為默認值,
3、應盡量避免在 WHERE 子句中使用 != 或 <> 運算子,MySQL 只有對以下運算子才使用索引:<,<=,=,>,>=,BETWEEN,IN,以及某些時候的 LIKE,
4、應盡量避免在 WHERE 子句中使用 OR 來連接條件,否則將導致引擎放棄使用索引而進行全表掃描,可以使用 UNION 合并查詢:select id from t where num=10 union all select id from t where num=20,
5、IN 和 NOT IN 也要慎用,否則會導致全表掃描,對于連續的數值,能用 BETWEEN 就不要用 IN:select id from t where num between 1 and 3,
6、下面的查詢也將導致全表掃描:select id from t where name like‘%abc%’ 或者select id from t where name like‘%abc’若要提高效率,可以考慮全文檢索,而select id from t where name like‘abc%’才用到索引,
7、如果在 WHERE 子句中使用引數,也會導致全表掃描,
8、應盡量避免在 WHERE 子句中對欄位進行運算式操作,應盡量避免在 WHERE 子句中對欄位進行函式操作,
9、很多時候用 EXISTS 代替 IN 是一個好的選擇:select num from a where num in(select num from b),用下面的陳述句替換:select num from a where exists(select 1 from b where num=a.num),
10、索引固然可以提高相應的 SELECT 的效率,但同時也降低了 INSERT 及 UPDATE 的效,因為 INSERT 或 UPDATE 時有可能會重建索引,所以怎樣建索引需要慎重考慮,視具體情況而定,一個表的索引數最好不要超過 6 個,若太多則應考慮一些不常使用到的列上建的索引是否有必要,
11、應盡可能的避免更新 clustered 索引資料列, 因為 clustered 索引資料列的順序就是表記錄的物理存盤順序,一旦該列值改變將導致整個表記錄的順序的調整,會耗費相當大的資源,若應用系統需要頻繁更新 clustered 索引資料列,那么需要考慮是否應將該索引建為 clustered 索引,
12、盡量使用數字型欄位,若只含數值資訊的欄位盡量不要設計為字符型,這會降低查詢和連接的性能,并會增加存盤開銷,
13、盡可能的使用 varchar, nvarchar 代替 char, nchar,因為首先變長欄位存盤空間小,可以節省存盤空間,其次對于查詢來說,在一個相對較小的欄位內搜索效率顯然要高些,
14、最好不要使用回傳所有:select from t ,用具體的欄位串列代替 “*”,不要回傳用不到的任何欄位,
15、盡量避免向客戶端回傳大資料量,若資料量過大,應該考慮相應需求是否合理,
16、使用表的別名(Alias):當在 SQL 陳述句中連接多個表時,請使用表的別名并把別名前綴于每個 Column 上,這樣一來,就可以減少決議的時間并減少那些由 Column 歧義引起的語法錯誤,
17、使用“臨時表”暫存中間結果 :
簡化 SQL 陳述句的重要方法就是采用臨時表暫存中間結果,但是臨時表的好處遠遠不止這些,將臨時結果暫存在臨時表,后面的查詢就在 tempdb 中了,這可以避免程式中多次掃描主表,也大大減少了程式執行中“共享鎖”阻塞“更新鎖”,減少了阻塞,提高了并發性能,
18、一些 SQL 查詢陳述句應加上 nolock,讀、寫是會相互阻塞的,為了提高并發性能,對于一些查詢,可以加上 nolock,這樣讀的時候可以允許寫,但缺點是可能讀到未提交的臟資料,
使用 nolock 有3條原則:
-
查詢的結果用于“插、刪、改”的不能加 nolock;
-
查詢的表屬于頻繁發生頁分裂的,慎用 nolock ;
-
使用臨時表一樣可以保存“資料前影”,起到類似 Oracle 的 undo 表空間的功能,能采用臨時表提高并發性能的,不要用 nolock,
19、常見的簡化規則如下:
不要有超過 5 個以上的表連接(JOIN),考慮使用臨時表或表變數存放中間結果,少用子查詢,視圖嵌套不要過深,一般視圖嵌套不要超過 2 個為宜,
20、將需要查詢的結果預先計算好放在表中,查詢的時候再Select,這在SQL7.0以前是最重要的手段,例如醫院的住院費計算,
21、用 OR 的字句可以分解成多個查詢,并且通過 UNION 連接多個查詢,他們的速度只同是否使用索引有關,如果查詢需要用到聯合索引,用 UNION all 執行的效率更高,多個 OR 的字句沒有用到索引,改寫成 UNION 的形式再試圖與索引匹配,一個關鍵的問題是否用到索引,
22、在IN后面值的串列中,將出現最頻繁的值放在最前面,出現得最少的放在最后面,減少判斷的次數,
23、盡量將資料的處理作業放在服務器上,減少網路的開銷,如使用存盤程序,
存盤程序是編譯好、優化過、并且被組織到一個執行規劃里、且存盤在資料庫中的 SQL 陳述句,是控制流語言的集合,速度當然快,反復執行的動態 SQL,可以使用臨時存盤程序,該程序(臨時表)被放在 Tempdb 中,
24、當服務器的記憶體夠多時,配制執行緒數量 = 最大連接數+5,這樣能發揮最大的效率;否則使用配制執行緒數量< 最大連接數,啟用 SQL SERVER 的執行緒池來解決,如果還是數量 = 最大連接數+5,嚴重的損害服務器的性能,
25、查詢的關聯同寫的順序 :
select a.personMemberID, * from chineseresume a,personmember b where personMemberID = b.referenceid and a.personMemberID = 'JCNPRH39681' (A = B, B = '號碼')
select a.personMemberID, * from chineseresume a,personmember b where a.personMemberID = b.referenceid and a.personMemberID = 'JCNPRH39681' and b.referenceid = 'JCNPRH39681' (A = B, B = '號碼', A = '號碼')
select a.personMemberID, * from chineseresume a,personmember b where b.referenceid = 'JCNPRH39681' and a.personMemberID = 'JCNPRH39681' (B = '號碼', A = '號碼')
26、盡量使用 EXISTS 代替 select count(1) 來判斷是否存在記錄,count 函式只有在統計表中所有行數時使用,而且 count(1) 比 count(*) 更有效率,
27、盡量使用 “>=”,不要使用 “>”,
28、索引的使用規范:
-
索引的創建要與應用結合考慮,建議大的 OLTP 表不要超過 6 個索引;
-
盡可能的使用索引欄位作為查詢條件,尤其是聚簇索引,必要時可以通過 index index_name 來強制指定索引;
-
避免對大表查詢時進行 table scan,必要時考慮新建索引;
-
在使用索引欄位作為條件時,如果該索引是聯合索引,那么必須使用到該索引中的第一個欄位作為條件時才能保證系統使用該索引,否則該索引將不會被使用;
-
要注意索引的維護,周期性重建索引,重新編譯存盤程序,
29、下列 SQL 條件陳述句中的列都建有恰當的索引,但執行速度卻非常慢:
SELECT * FROM record WHERE substrINg(card_no, 1, 4) = '5378' --13秒
SELECT * FROM record WHERE amount/30 < 1000 --11秒
SELECT * FROM record WHERE convert(char(10), date, 112) = '19991201' --10秒
分析:
WHERE 子句中對列的任何操作結果都是在 SQL 運行時逐列計算得到的,因此它不得不進行表搜索,而沒有使用該列上面的索引,
如果這些結果在查詢編譯時就能得到,那么就可以被 SQL 優化器優化,使用索引,避免表搜索,因此將 SQL 重寫成下面這樣:
SELECT * FROM record WHERE card_no like '5378%' -- < 1秒
SELECT * FROM record WHERE amount < 1000*30 -- < 1秒
SELECT * FROM record WHERE date = '1999/12/01' -- < 1秒
30、當有一批處理的插入或更新時,用批量插入或批量更新,絕不會一條條記錄的去更新,
31、在所有的存盤程序中,能夠用 SQL 陳述句的,我絕不會用回圈去實作,
例如:列出上個月的每一天,我會用 connect by 去遞回查詢一下,絕不會去用回圈從上個月第一天到最后一天,
32、選擇最有效率的表名順序(只在基于規則的優化器中有效):
Oracle 的決議器按照從右到左的順序處理 FROM 子句中的表名,FROM 子句中寫在最后的表(基礎表 driving table)將被最先處理,在 FROM 子句中包含多個表的情況下,你必須選擇記錄條數最少的表作為基礎表,
如果有 3 個以上的表連接查詢,那就需要選擇交叉表(intersection table)作為基礎表,交叉表是指那個被其他表所參考的表,
33、提高 GROUP BY 陳述句的效率,可以通過將不需要的記錄在 GROUP BY 之前過濾掉,下面兩個查詢回傳相同結果,但第二個明顯就快了許多,
低效:
SELECT JOB, AVG(SAL)
FROM EMP
GROUP BY JOB
HAVING JOB = 'PRESIDENT'
OR JOB = 'MANAGER'
高效:
SELECT JOB, AVG(SAL)
FROM EMP
WHERE JOB = 'PRESIDENT'
OR JOB = 'MANAGER'
GROUP BY JOB
34、SQL 陳述句用大寫,因為 Oracle 總是先決議 SQL 陳述句,把小寫的字母轉換成大寫的再執行,
35、別名的使用,別名是大型資料庫的應用技巧,就是表名、列名在查詢中以一個字母為別名,查詢速度要比建連接表快 1.5 倍,
36、避免死鎖,在你的存盤程序和觸發器中訪問同一個表時總是以相同的順序;事務應經可能地縮短,在一個事務中應盡可能減少涉及到的資料量;永遠不要在事務中等待用戶輸入,
37、避免使用臨時表,除非卻有需要,否則應盡量避免使用臨時表,相反,可以使用表變數代替,大多數時候(99%),表變數駐扎在記憶體中,因此速度比臨時表更快,臨時表駐扎在 TempDb 資料庫中,因此臨時表上的操作需要跨資料庫通信,速度自然慢,
38、最好不要使用觸發器:
-
觸發一個觸發器,執行一個觸發器事件本身就是一個耗費資源的程序;
-
如果能夠使用約束實作的,盡量不要使用觸發器;
-
不要為不同的觸發事件(Insert、Update 和 Delete)使用相同的觸發器;
-
不要在觸發器中使用事務型代碼,
39、索引創建規則:
-
表的主鍵、外鍵必須有索引;
-
資料量超過 300 的表應該有索引;
-
經常與其他表進行連接的表,在連接欄位上應該建立索引;
-
經常出現在 WHERE 子句中的欄位,特別是大表的欄位,應該建立索引;
-
索引應該建在選擇性高的欄位上;
-
索引應該建在小欄位上,對于大的文本欄位甚至超長欄位,不要建索引;
-
復合索引的建立需要進行仔細分析,盡量考慮用單欄位索引代替;
-
正確選擇復合索引中的主列欄位,一般是選擇性較好的欄位;
-
復合索引的幾個欄位是否經常同時以 AND 方式出現在 WHERE 子句中?單欄位查詢是否極少甚至沒有?如果是,則可以建立復合索引;否則考慮單欄位索引;
-
如果復合索引中包含的欄位經常單獨出現在 WHERE 子句中,則分解為多個單欄位索引;
-
如果復合索引所包含的欄位超過 3 個,那么仔細考慮其必要性,考慮減少復合的欄位;
-
如果既有單欄位索引,又有這幾個欄位上的復合索引,一般可以洗掉復合索引;
-
頻繁進行資料操作的表,不要建立太多的索引;
-
洗掉無用的索引,避免對執行計劃造成負面影響;
-
表上建立的每個索引都會增加存盤開銷,索引對于插入、洗掉、更新操作也會增加處理上的開銷,另外,過多的復合索引,在有單欄位索引的情況下,一般都是沒有存在價值的;相反,還會降低資料增加洗掉時的性能,特別是對頻繁更新的表來說,負面影響更大,
-
盡量不要對資料庫中某個含有大量重復的值的欄位建立索引,
40、MySQL 查詢優化總結:
使用慢查詢日志去發現慢查詢,使用執行計劃去判斷查詢是否正常運行,總是去測驗你的查詢看看是否他們運行在最佳狀態下,
久而久之性能總會變化,避免在整個表上使用 count(*),它可能鎖住整張表,使查詢保持一致以便后續相似的查詢可以使用查詢快取,在適當的情形下使用 GROUP BY 而不是 DISTINCT,在 WHERE、GROUP BY 和 ORDER BY 子句中使用有索引的列,保持索引簡單,不在多個索引中包含同一個列,
有時候 MySQL 會使用錯誤的索引,對于這種情況使用 USE INDEX,檢查使用 SQL_MODE=STRICT 的問題,對于記錄數小于5的索引欄位,在 UNION 的時候使用LIMIT不是是用OR,
為了避免在更新前 SELECT,使用 INSERT ON DUPLICATE KEY 或者 INSERT IGNORE;不要用 UPDATE 去實作,不要使用 MAX;使用索引欄位和 ORDER BY子句 LIMIT M,N 實際上可以級訓查詢在某些情況下,有節制地使用,在 WHERE 子句中使用 UNION 代替子查詢,在重新啟動的 MySQL,記得來溫暖你的資料庫,以確保資料在記憶體和查詢速度快,考慮持久連接,而不是多個連接,以減少開銷,
基準查詢,包括使用服務器上的負載,有時一個簡單的查詢可以影響其他查詢,當負載增加在服務器上,使用 SHOW PROCESSLIST 查看慢的和有問題的查詢,在開發環境中產生的鏡像資料中測驗的所有可疑的查詢,
41、MySQL 備份程序:
-
從二級復制服務器上進行備份;
-
在進行備份期間停止復制,以避免在資料依賴和外鍵約束上出現不一致;
-
徹底停止 MySQL,從資料庫檔案進行備份;
-
如果使用 MySQL dump 進行備份,請同時備份二進制日志檔案 – 確保復制沒有中斷;
-
不要信任 LVM 快照,這很可能產生資料不一致,將來會給你帶來麻煩;
-
為了更容易進行單表恢復,以表為單位匯出資料——如果資料是與其他表隔離的,
-
當使用 mysqldump 時請使用 –opt;
-
在備份之前檢查和優化表;
-
為了更快的進行匯入,在匯入時臨時禁用外鍵約束,;
-
為了更快的進行匯入,在匯入時臨時禁用唯一性檢測;
-
在每一次備份后計算資料庫,表以及索引的尺寸,以便更夠監控資料尺寸的增長;
-
通過自動調度腳本監控復制實體的錯誤和延遲;
-
定期執行備份,
42、查詢緩沖并不自動處理空格,因此,在寫 SQL 陳述句時,應盡量減少空格的使用,尤其是在 SQL 首和尾的空格(因為查詢緩沖并不自動截取首尾空格),
43、member 用 mid 做標準進行分表方便查詢么?一般的業務需求中基本上都是以 username 為查詢依據,正常應當是 username 做 hash 取模來分表,
而分表的話 MySQL 的 partition 功能就是干這個的,對代碼是透明的;在代碼層面去實作貌似是不合理的,
44、我們應該為資料庫里的每張表都設定一個 ID 做為其主鍵,而且最好的是一個 INT 型的(推薦使用 UNSIGNED),并設定上自動增加的 AUTO_INCREMENT 標志,
45、在所有的存盤程序和觸發器的開始處設定 SET NOCOUNT ON,在結束時設定 SET NOCOUNT OFF,無需在執行存盤程序和觸發器的每個陳述句后向客戶端發送 DONE_IN_PROC 訊息,
46、MySQL 查詢可以啟用高速查詢快取,這是提高資料庫性能的有效MySQL優化方法之一,當同一個查詢被執行多次時,從快取中提取資料和直接從資料庫中回傳資料快很多,
47、EXPLAIN SELECT 查詢用來跟蹤查看效果:
使用 EXPLAIN 關鍵字可以讓你知道 MySQL 是如何處理你的 SQL 陳述句的,這可以幫你分析你的查詢陳述句或是表結構的性能瓶頸,EXPLAIN 的查詢結果還會告訴你你的索引主鍵被如何利用的,你的資料表是如何被搜索和排序的,
48、當只要一行資料時使用 LIMIT 1 :
當你查詢表的有些時候,你已經知道結果只會有一條結果,但因為你可能需要去fetch游標,或是你也許會去檢查回傳的記錄數,
在這種情況下,加上 LIMIT 1 可以增加性能,這樣一來,MySQL 資料庫引擎會在找到一條資料后停止搜索,而不是繼續往后查少下一條符合記錄的資料,
49、選擇表合適存盤引擎:
-
myisam:應用時以讀和插入操作為主,只有少量的更新和洗掉,并且對事務的完整性,并發性要求不是很高的,
-
InnoDB:事務處理,以及并發條件下要求資料的一致性,除了插入和查詢外,包括很多的更新和洗掉,(InnoDB 有效地降低洗掉和更新導致的鎖定), 對于支持事務的 InnoDB類 型的表來說,影響速度的主要原因是 AUTOCOMMIT 默認設定是打開的,而且程式沒有顯式呼叫 BEGIN 開始事務,導致每插入一條都自動提交,嚴重影響了速度,可以在執行 SQL 前呼叫 begin,多條 SQL 形成一個事物(即使 autocommit 打開也可以),將大大提高性能,
50、優化表的資料型別,選擇合適的資料型別:
原則:更小通常更好,簡單就好,所有欄位都得有默認值,盡量避免 NULL,
例如:資料庫表設計時候更小的占磁盤空間盡可能使用更小的整數型別,(mediumint 就比 int 更合適)
比如時間欄位:datetime 和 timestamp,datetime 占用8個位元組,timestamp 占用4個位元組,只用了一半,而 timestamp 表示的范圍是 1970—2037 適合做更新時間,
MySQL可以很好的支持大資料量的存取,但是一般說來,資料庫中的表越小,在它上面執行的查詢也就會越快,
因此,在創建表的時候,為了獲得更好的性能,我們可以將表中欄位的寬度設得盡可能小,
例如:在定義郵政編碼這個欄位時,如果將其設定為 CHAR(255),顯然給資料庫增加了不必要的空間,甚至使用VARCHAR 這種型別也是多余的,因為 CHAR(6) 就可以很好的完成任務了,
同樣的,如果可以的話,我們應該使用 MEDIUMINT 而不是 BIGIN 來定義整型欄位,應該盡量把欄位設定為 NOT NULL,這樣在將來執行查詢的時候,資料庫不用去比較 NULL 值,
對于某些文本欄位,例如“省份”或者“性別”,我們可以將它們定義為 ENUM 型別,因為在 MySQL 中,ENUM 型別被當作數值型資料來處理,而數值型資料被處理起來的速度要比文本型別快得多,這樣,我們又可以提高資料庫的性能,
轉載請註明出處,本文鏈接:https://www.uj5u.com/houduan/244117.html
標籤:Java
上一篇:【Java面向物件】介面的概念與使用 介面和抽象類的區別
下一篇:訊息佇列之activeMQ
