主頁 > 資料庫 > mysql總結

mysql總結

2023-04-04 08:50:13 資料庫

MyiSAM和innodb

MyiSAM:非聚集索引、B+樹、葉子結點保存data地址;

innodb:聚集索引、B+樹、聚集索引中葉子結點保存完整data,innodb非聚集索引需要兩遍索引,innoDB要求表必須有主鍵;

innodb為什么要用自增id作為主鍵:

自增主鍵:順序添加,頁寫滿開辟新的頁;

非自增主鍵(學號等):主鍵值隨機,有碎片、不夠緊湊的索引結構;

分庫與分表設計、分片:

水平分表

垂直分表:不常用的加入另一張表、大文本欄位單獨拆分到另一張表、不經常修改的欄位放入另一張表;

聚集索引與非聚集索引:

聚集索引:聚集索引查找完整資料;

非聚集索引:查找對應的主鍵值,然后根據主鍵值查找聚集索引,查找到完整資料

事務四大特性(ACID):

原子性:一個事務中的所有操作,要么全部完成,要么全部不完成,在執行程序中發生錯誤,會發生回滾(rollback);

一致性:事務開始前和結束后,資料庫的完整性沒有被破壞;

隔離性:多個事務執行,防止多個事務之間由于交叉執行而導致資料不一致,讀未提交、讀提交、可重復度、串行化,

持久性:事務提交后,對資料庫的修改是永久的,

事務的并發?事務隔離級別,每個級別會引發什么問題,MySQL默認是哪個級別?

臟讀:一個事務處理程序中讀到了另一個事務未提交的資料;

不可重復讀:一個事務多次讀取一個資料,獲得不同的資料結果;

幻讀:一個事務讀的程序中,另一個事務洗掉或者增加一條資料,影響這條事務的讀的結果,

Mysql級別:可重復讀

事務隔離級別:

讀未提交:讀取未提交的資料,臟讀;

不可重復讀:事務A多次讀取同一資料,事務B在該程序中對資料進行修改并提交,導致A多次讀取資料不一致;

可重復讀:同一事務里,多次讀操作結果一致,但是存在幻讀;

串行化:事務并發,一個個按順序執行,

MySQL常見的存盤引擎InnoDB、MyISAM的區別?

MyISAM:事務×,鎖級別:表級鎖,存盤表總行數,非聚集索引;

(適用于插入不頻繁,查詢頻繁)

InnoDB:事務?,鎖級別:行級鎖和外鍵約束,不存盤表總行數,聚集索引;

(可靠性要求比較高,或要求事務,表更新和查詢都頻繁)

資料庫三范式,根據某個場景設計資料表?優缺點
  • 所有欄位值都是不可分解的原子值,
  • 在一個資料庫表中,一個表中只能保存一種資料,不可以把多種資料保存在同一張資料庫表中,
  • 資料表中的每一列資料都和主鍵直接相關,而不能間接相關,
第一范式(確保每列保持原子性):

表中欄位值不可再分,提高資料庫性能;

第二范式(確保表中的每列都和主鍵相關):

第二范式需要確保資料庫表中的每一列都和主鍵相關,而不能只與主鍵的某一部分相關(主要針對聯合主鍵而言),比如要設計一個訂單資訊表,因為訂單中可能會有多種商品,所以要將訂單編號和商品編號作為資料庫表的聯合主鍵,

第三范式(確保每列都和主鍵列直接相關,而不是間接相關):

比如在設計一個訂單資料表的時候,可以將客戶編號作為一個外鍵和訂單表建立相應的關系,而不可以在訂單表中添加關于客戶其它資訊(比如姓名、所屬公司等)的欄位,

優點:可以盡量得減少資料冗余 缺點:對于查詢需要多個表進行關聯,更難進行索引優化 反范式化: 優點:可以減少表得關聯 缺點:資料冗余以及資料例外

Explain關鍵字:

table:當前陳述句訪問的表;

id:id相同,順序執行,id越大,執行優先度越高;

select_type:小查詢陳述句扮演的角色,比如SIMPLE、PRIMARY、UNION等,

type表示MySQL在表中找到所需行的方式,又稱”訪問型別“,

常見型別:NULL,system,const,eq_ref,ref,range,index,ALL

(性能由好到差)

ALL:遍歷全表;

EXPLAIN SELECT * FROM s1;

index:只遍歷索引樹;

EXPLAIN SELECT key_part2 FROM s1 WHERE key_part3 = 'a';

range:檢索給定范圍的行;

EXPLAIN SELECT * FROM s1 WHERE key1 IN ('a', 'b', 'c');

ref:表示上述表的連接匹配條件,即哪些列或常量被用于查找索引列上的值;

eq_ref:類似ref,區別:唯一索引;

const、system:查詢優化時,轉換為常量;system:只查詢一行;

# const
EXPLAIN SELECT * FROM s1 WHERE id = 10005;
# system
INSERT INTO t VALUES(1);

NULL:不需要訪問表,

rows:預估的需要讀取的記錄條數,值越小越好

key_len :

實際使用到的索引長度 (即:位元組數)

幫你檢查是否充分的利用了索引值越大越好,主要針對于聯合索引,有一定的參考意義,

MVCC多版本并發控制(Multiversion Concurrency Control):

InnoDB中實作MVCC機制;

快照讀當前讀

快照讀:不加鎖的簡單的 SELECT 都屬于快照讀;

當前讀:讀取的記錄進行加鎖;

MVCC:包括:隱藏欄位Undo LogRead View

隱藏欄位:當前事務id,undo指標(指向歷史版本的當前記錄);

Undo Log:undo日志,通過undo指標串聯歷史版本;

ReadView:在查詢時創建,

包含:

創建這個Read View的事務ID;

當前活躍的事務id串列

活躍事務最小事務ID;

系統事務最大ID(并不一定是活躍的);

Read View規則:判斷當前查詢事務與Read View中最小事務的關系,

如果小于最小活躍ID,那么說明當前讀取的行已提交;

如果大于最大ID,說明當前的行是由一個活躍的事務還未提交,正在處理,需要按照Undo Log往下找,找到不在活躍事務id串列中的最新的提交的資料,

簡而言之:每一行存盤歷史資訊,查找時獲取當前活躍id,找到歷史資訊中最新的,并且不在活躍id的事務,

處理讀已提交:

每次select時創建一個新的Read View;

處理可重復讀:

每次同樣的select只在最初的select創建一個Read View;

索引優化:

優化的角度:

  • 索引失效、沒有充分利用到索引——建立索引
  • 關聯查詢太多JOIN(設計缺陷或不得已的需求)——SQL優化
  • 服務器調優及各個引數設定(緩沖、執行緒數等)——調整my.cnf
  • 資料過多——分庫分表
索引失效情況:

最左前綴:MySQL可以為多個欄位創建索引,一個索引可以包含16個欄位,對于多列索引,過濾條件要使用索引必須按照索引建立時的順序,依次滿足,一旦跳過某個欄位,索引后面的欄位都無法被使用,如果查詢條件中沒有用這些欄位中第一個欄位時,多列(或聯合)索引不會被使用,

遞增主鍵:減少頁分裂,不用隨機欄位作為主鍵,

計算、函式、型別轉換(自動或手動)導致索引失效

函式失效

# 使用like
EXPLAIN SELECT SQL_NO_CACHE * FROM student WHERE student.name LIKE 'abc%';
# 使用函式
EXPLAIN SELECT SQL_NO_CACHE * FROM student WHERE LEFT(student.name,3) = 'abc';
# 創建索引之后
CREATE INDEX idx_name ON student(NAME);

函式將導致索引失效;

計算失效

# 創建索引
CREATE INDEX idx_sno ON student(stuno);
# 查詢時使用計算
EXPLAIN SELECT SQL_NO_CACHE id, stuno, NAME FROM student WHERE stuno+1 = 900001;

導致索引失效;

型別轉換失效

# 未使用到索引
# name的型別為字串,下面發生了型別轉換,導致失效
EXPLAIN SELECT SQL_NO_CACHE * FROM student WHERE name=123;

# 使用到索引
EXPLAIN SELECT SQL_NO_CACHE * FROM student WHERE name='123';

范圍條件右邊的列索引失效

SELECT SQL_NO_CACHE * FROM student
WHERE student.age=30 AND student.classId>20 AND student.name = 'abc' ;

idx_age_classId_name索引將會失效,因為ID>20作為范圍條件,導致右側的name失效,

除非如下修改,將ID>20放到最后:

create index idx_age_name_classId on student(age,name,classId);
EXPLAIN SELECT SQL_NO_CACHE * FROM student WHERE student.age=30 AND student.name = 'abc' AND student.classId>20;

不等于(!= 或者<>)索引失效;

is null可以使用索引,is not null無法使用索引;

like以通配符%開頭索引失效

OR 前后存在非索引的列,索引失效

OR前后的兩個條件中的列都是索引時,查詢中才使用索引,

查詢優化:

① 盡可能的使用聯合索引而不是索引的組合;

②創建索引盡量讓輔助索引進行索引覆寫 而不是回表;

③在可以使用主鍵id的表中,盡量使用自增主鍵id,這樣可以避免頁分裂;

④查詢的時候盡量不要使用select * ,這樣可以避免大量的回表;

⑤盡量少使用子查詢,能使用外連接就使用外連接,這樣可以避免產生笛卡爾集;

⑥能使用短索引就使用短索引,這樣可以在非葉子節點存盤更多的索引列降低樹的層高,并且減少空間的開銷;

轉載請註明出處,本文鏈接:https://www.uj5u.com/shujuku/549086.html

標籤:MySQL

上一篇:讀SQL進階教程筆記06_外連接

下一篇:華為云GaussDB踐行數字化,護航證券保險高質量發展

標籤雲
其他(157675) Python(38076) JavaScript(25376) Java(17977) C(15215) 區塊鏈(8255) C#(7972) AI(7469) 爪哇(7425) MySQL(7132) html(6777) 基礎類(6313) sql(6102) 熊猫(6058) PHP(5869) 数组(5741) R(5409) Linux(5327) 反应(5209) 腳本語言(PerlPython)(5129) 非技術區(4971) Android(4554) 数据框(4311) css(4259) 节点.js(4032) C語言(3288) json(3245) 列表(3129) 扑(3119) C++語言(3117) 安卓(2998) 打字稿(2995) VBA(2789) Java相關(2746) 疑難問題(2699) 细绳(2522) 單片機工控(2479) iOS(2429) ASP.NET(2402) MongoDB(2323) 麻木的(2285) 正则表达式(2254) 字典(2211) 循环(2198) 迅速(2185) 擅长(2169) 镖(2155) 功能(1967) .NET技术(1958) Web開發(1951) python-3.x(1918) HtmlCss(1915) 弹簧靴(1913) C++(1909) xml(1889) PostgreSQL(1872) .NETCore(1853) 谷歌表格(1846) Unity3D(1843) for循环(1842)

熱門瀏覽
  • GPU虛擬機創建時間深度優化

    **?桔妹導讀:**GPU虛擬機實體創建速度慢是公有云面臨的普遍問題,由于通常情況下創建虛擬機屬于低頻操作而未引起業界的重視,實際生產中還是存在對GPU實體創建時間有苛刻要求的業務場景。本文將介紹滴滴云在解決該問題時的思路、方法、并展示最終的優化成果。 從公有云服務商那里購買過虛擬主機的資深用戶,一 ......

    uj5u.com 2020-09-10 06:09:13 more
  • 可編程網卡芯片在滴滴云網路的應用實踐

    **?桔妹導讀:**隨著云規模不斷擴大以及業務層面對延遲、帶寬的要求越來越高,采用DPDK 加速網路報文處理的方式在橫向縱向擴展都出現了局限性。可編程芯片成為業界熱點。本文主要講述了可編程網卡芯片在滴滴云網路中的應用實踐,遇到的問題、帶來的收益以及開源社區貢獻。 #1. 資料中心面臨的問題 隨著滴滴 ......

    uj5u.com 2020-09-10 06:10:21 more
  • 滴滴資料通道服務演進之路

    **?桔妹導讀:**滴滴資料通道引擎承載著全公司的資料同步,為下游實時和離線場景提供了必不可少的源資料。隨著任務量的不斷增加,資料通道的整體架構也隨之發生改變。本文介紹了滴滴資料通道的發展歷程,遇到的問題以及今后的規劃。 #1. 背景 資料,對于任何一家互聯網公司來說都是非常重要的資產,公司的大資料 ......

    uj5u.com 2020-09-10 06:11:05 more
  • 滴滴AI Labs斬獲國際機器翻譯大賽中譯英方向世界第三

    **桔妹導讀:**深耕人工智能領域,致力于探索AI讓出行更美好的滴滴AI Labs再次斬獲國際大獎,這次獲獎的專案是什么呢?一起來看看詳細報道吧! 近日,由國際計算語言學協會ACL(The Association for Computational Linguistics)舉辦的世界最具影響力的機器 ......

    uj5u.com 2020-09-10 06:11:29 more
  • MPP (Massively Parallel Processing)大規模并行處理

    1、什么是mpp? MPP (Massively Parallel Processing),即大規模并行處理,在資料庫非共享集群中,每個節點都有獨立的磁盤存盤系統和記憶體系統,業務資料根據資料庫模型和應用特點劃分到各個節點上,每臺資料節點通過專用網路或者商業通用網路互相連接,彼此協同計算,作為整體提供 ......

    uj5u.com 2020-09-10 06:11:41 more
  • 滴滴資料倉庫指標體系建設實踐

    **桔妹導讀:**指標體系是什么?如何使用OSM模型和AARRR模型搭建指標體系?如何統一流程、規范化、工具化管理指標體系?本文會對建設的方法論結合滴滴資料指標體系建設實踐進行解答分析。 #1. 什么是指標體系 ##1.1 指標體系定義 指標體系是將零散單點的具有相互聯系的指標,系統化的組織起來,通 ......

    uj5u.com 2020-09-10 06:12:52 more
  • 單表千萬行資料庫 LIKE 搜索優化手記

    我們經常在資料庫中使用 LIKE 運算子來完成對資料的模糊搜索,LIKE 運算子用于在 WHERE 子句中搜索列中的指定模式。 如果需要查找客戶表中所有姓氏是“張”的資料,可以使用下面的 SQL 陳述句: SELECT * FROM Customer WHERE Name LIKE '張%' 如果需要 ......

    uj5u.com 2020-09-10 06:13:25 more
  • 滴滴Ceph分布式存盤系統優化之鎖優化

    **桔妹導讀:**Ceph是國際知名的開源分布式存盤系統,在工業界和學術界都有著重要的影響。Ceph的架構和演算法設計發表在國際系統領域頂級會議OSDI、SOSP、SC等上。Ceph社區得到Red Hat、SUSE、Intel等大公司的大力支持。Ceph是國際云計算領域應用最廣泛的開源分布式存盤系統, ......

    uj5u.com 2020-09-10 06:14:51 more
  • es~通過ElasticsearchTemplate進行聚合~嵌套聚合

    之前寫過《es~通過ElasticsearchTemplate進行聚合操作》的文章,這一次主要寫一個嵌套的聚合,例如先對sex集合,再對desc聚合,最后再對age求和,共三層嵌套。 Aggregations的部分特性類似于SQL語言中的group by,avg,sum等函式,Aggregation ......

    uj5u.com 2020-09-10 06:14:59 more
  • 爬蟲日志監控 -- Elastc Stack(ELK)部署

    傻瓜式部署,只需替換IP與用戶 導讀: 現ELK四大組件分別為:Elasticsearch(核心)、logstash(處理)、filebeat(采集)、kibana(可視化) 下載均在https://www.elastic.co/cn/downloads/下tar包,各組件版本最好一致,配合fdm會 ......

    uj5u.com 2020-09-10 06:15:05 more
最新发布
  • day02-2-商鋪查詢快取

    功能02-商鋪查詢快取 3.商鋪詳情快取查詢 3.1什么是快取? 快取就是資料交換的緩沖區(稱作Cache),是存盤資料的臨時地方,一般讀寫性能較高。 快取的作用: 降低后端負載 提高讀寫效率,降低回應時間 快取的成本: 資料一致性成本 代碼維護成本 運維成本 3.2需求說明 如下,當我們點擊商店詳 ......

    uj5u.com 2023-04-20 08:33:24 more
  • MySQL中binlog備份腳本分享

    關于MySQL的二進制日志(binlog),我們都知道二進制日志(binlog)非常重要,尤其當你需要point to point災難恢復的時侯,所以我們要對其進行備份。關于二進制日志(binlog)的備份,可以基于flush logs方式先切換binlog,然后拷貝&壓縮到到遠程服務器或本地服務器 ......

    uj5u.com 2023-04-20 08:28:06 more
  • day02-短信登錄

    功能實作02 2.功能01-短信登錄 2.1基于Session實作登錄 2.1.1思路分析 2.1.2代碼實作 2.1.2.1發送短信驗證碼 發送短信驗證碼: 發送驗證碼的介面為:http://127.0.0.1:8080/api/user/code?phone=xxxxx<手機號> 請求方式:PO ......

    uj5u.com 2023-04-20 08:27:27 more
  • 快取與資料庫雙寫一致性幾種策略分析

    本文將對幾種快取與資料庫保證資料一致性的使用方式進行分析。為保證高并發性能,以下分析場景不考慮執行的原子性及加鎖等強一致性要求的場景,僅追求最終一致性。 ......

    uj5u.com 2023-04-20 08:26:48 more
  • sql陳述句優化

    問題查找及措施 問題查找 需要找到具體的代碼,對其進行一對一優化,而非一直把關注點放在服務器和sql平臺 降低簡化每個事務中處理的問題,盡量不要讓一個事務拖太長的時間 例如檔案上傳時,應將檔案上傳這一步放在事務外面 微軟建議 4.啟動sql定時執行計劃 怎么啟動sqlserver代理服務-百度經驗 ......

    uj5u.com 2023-04-20 08:26:35 more
  • 云時代,MySQL到ClickHouse資料同步產品對比推薦

    ClickHouse 在執行分析查詢時的速度優勢很好的彌補了MySQL的不足,但是對于很多開發者和DBA來說,如何將MySQL穩定、高效、簡單的同步到 ClickHouse 卻很困難。本文對比了 NineData、MaterializeMySQL(ClickHouse自帶)、Bifrost 三款產品... ......

    uj5u.com 2023-04-20 08:26:29 more
  • sql陳述句優化

    問題查找及措施 問題查找 需要找到具體的代碼,對其進行一對一優化,而非一直把關注點放在服務器和sql平臺 降低簡化每個事務中處理的問題,盡量不要讓一個事務拖太長的時間 例如檔案上傳時,應將檔案上傳這一步放在事務外面 微軟建議 4.啟動sql定時執行計劃 怎么啟動sqlserver代理服務-百度經驗 ......

    uj5u.com 2023-04-20 08:25:13 more
  • Redis 報”OutOfDirectMemoryError“(堆外記憶體溢位)

    Redis 報錯“OutOfDirectMemoryError(堆外記憶體溢位) ”問題如下: 一、報錯資訊: 使用 Redis 的業務介面 ,產生 OutOfDirectMemoryError(堆外記憶體溢位),如圖: 格式化后的報錯資訊: { "timestamp": "2023-04-17 22: ......

    uj5u.com 2023-04-20 08:24:54 more
  • day02-2-商鋪查詢快取

    功能02-商鋪查詢快取 3.商鋪詳情快取查詢 3.1什么是快取? 快取就是資料交換的緩沖區(稱作Cache),是存盤資料的臨時地方,一般讀寫性能較高。 快取的作用: 降低后端負載 提高讀寫效率,降低回應時間 快取的成本: 資料一致性成本 代碼維護成本 運維成本 3.2需求說明 如下,當我們點擊商店詳 ......

    uj5u.com 2023-04-20 08:24:03 more
  • day02-短信登錄

    功能實作02 2.功能01-短信登錄 2.1基于Session實作登錄 2.1.1思路分析 2.1.2代碼實作 2.1.2.1發送短信驗證碼 發送短信驗證碼: 發送驗證碼的介面為:http://127.0.0.1:8080/api/user/code?phone=xxxxx<手機號> 請求方式:PO ......

    uj5u.com 2023-04-20 08:23:11 more