主頁 > 資料庫 > [MySQL--SQL優化]

[MySQL--SQL優化]

2023-06-01 16:28:49 資料庫

[MySQL--SQL優化]

1、insert優化(插入資料優化)

  • 建議使用批量插入

    # 批量插入避免頻繁連接斷開資料庫(一次連接插入多條資料)
    	insert into 表名 values(資料1),(資料2),(資料3)......
    
  • 建議手動提交事務插入(避免頻繁開啟關閉事務)

    # 即開啟一次事務 執行多條sql
    
    start transaction;  # 開啟事務 
    # 執行多條sql
    insert into 表名 values(資料1),(資料2),(資料3);
    insert into 表名 values(資料4),(資料5),(資料6);
    insert into 表名 values(資料7),(資料8),(資料9);
    commit;  # 提交事務
    
    
  • 大批量插入資料(load指令)

    如果一次性需要插入大批量資料,使用insert陳述句插入性能較低,此時可以使用MySQL資料庫提供的load指令進行插入,

    操作如下:

    # 客戶端連接服務器時,加上引數 --local-infile
    	mysql --local-infile -u 用戶名 -p 密碼
    	
    # 設定全域引數local-infile為1,開啟從本地加載檔案匯入資料的開關
    	1、查看是否開啟命令 
    		select @@local_infile;
    	2、開啟命令
    		set global local_infile = 1;
    		
    # 執行load指令將準備好的資料,加載到表格
    	load data local infile '/root/sql.log' into table 'tb_user' fields terminated by ',' lines terminated by '\n';
    	load data local infile '檔案路徑' into table '表名' fields terminated by '什么作為分割符' lines terminated by '每一行的結束符';
    	
    

    注意:主鍵順序插入的性能高于亂序插入!

2、主鍵優化

# 1)滿足業務需求的情況下、盡量降低主鍵的長度
	原因是我們二級索引的葉子節點存放的就是主鍵,如果主鍵過長且葉子節點過多會占用大量的磁盤空間!
	
# 2)插入資料時盡量選擇順序插入,選擇使用auto_increment主鍵自增
	如果不順序插入可能會存在頁分裂現象,如果按照順序插入則可避免
	
# 3)盡量不要使用uuid作為主鍵或者是其他自然主鍵,如身份證號!
	原因 uuid或者身份證號則無序且過長,影響效率!
	
# 4)業務操作時盡量避免對主鍵的修改,
	

3、order by優化

①. Using filesort:通過表的索引或全表掃描,讀取滿足條件的資料行,然后在排序緩沖區sort buffer中完成排序操作,所有不是通過索引直接回傳排序結果的排序都叫file sort排序,

②. Using index:通過有序索引順序掃描直接回傳有序資料,這種情況即為using index,不需要額外排序,操作效率高,

注意:盡量優化為Using index

# 1、根據排序欄位建立合適的索引,多欄位排序時,也遵循最左前綴法則
# 2、盡量使用覆寫索引
# 3、多欄位排序,一個升序一個降序,此時需要注意聯合索引在創建時的規則(ASC/DESC)
# 4、如果不可避免的出現filesort,大資料量排序時,可以適當增大排序緩沖區大小sort_buffer_size(默認256k),
	查看默認緩沖區大小命令
	show variables like 'sort_buffer_size';

4、group by優化

# 在分組操作時,可以通過索引來提高效率,
# 分組操作時,索引的使用也是滿足最左前綴法則的,

5、limit優化

  • 針對于大資料量的情況下 分頁查詢時越往后就會變得越耗時,所以我們需要通過優化limit來提升效率

    注意:官方建議通過覆寫索引加子查詢來優化

    例如:
    
    未優化前:
    	select * from 表名 limit 9000000,10:
    	耗時 19s
    	
    	
    優化后:
    	# 可以直接使用覆寫聚集索引,不需要回表查詢 提升效率
    	select id from 表名 order by id limit 9000000,10;
    	# 我們可以將查詢出來的id看作為一張新表
    	# 之后我們可以使用子查詢來獲取具體資料
    	select A.* from 表名1 as A,(select id from 表名 order by id limit 9000000,10:) as B where A.id == B.id;
    	# 括號內可以看作為一張新表 然后進行連表查詢即可 大大提升效率
    	
    	耗時 12s
    	
    

6、count優化

  • MyISAM 引擎把一個表的總行數存在了磁盤上,因此執行count(*)的時候就會直接回傳這個數,效率很高(僅僅在沒有where條件有效)

  • innoDB 引擎就麻煩了,它執行count(*)的時候,需要把資料一行一行地從引擎里面讀出來,然后累計計數

優化思路:自己計數,

比如:我們可以自己維護一張表來專門存盤我們所需要記錄的資料,利用redis記憶體資料庫 加一條資料 就+1等

count的幾種用法

1.count(主鍵)

InnoDB引擎會遍歷整張表,把每一行的主鍵id值都取出來,回傳給服務層,服務層拿到主鍵后,直接按行進行累加(主鍵不可能為nut)

2.count(欄位)

沒有 not nul約束:   Innodb引擎會遍歷整張表把每一行的欄位值都取出來,回傳給服務層,服務層判斷是否為nu不為nu,計數累加,
有 not nu約束:   Innodb引擎會遍歷整張表把每一行的欄位值都取出來,回傳給服務層,直接按行進行累加,

3.count(1)

Innodb引擎遍歷整張表,但不取值,服務層對于回傳的每一行,放一個數字“1”進去,直接按行進行累加,

4.count(*)

Innodb引擎并不會把全部欄位取出來,而是專門做了優化,不取值,服務層直接按行進行累加,

按照效率排序的話, count欄位)< count(主鍵id< count(1) c count(·),所以盡量使用 count(*)

7、update優化

update student set no='2000100100' where id=1;

update student set no='2000100105' where name='韋一笑';

# Innode的行鎖是針對索引加的鎖,不是針對記錄加的鎖,并且該索引不能失效,否則會從行鎖升級為表鎖,
# 升級為表鎖就會降低性能!

轉載請註明出處,本文鏈接:https://www.uj5u.com/shujuku/554058.html

標籤:其他

上一篇:海量資料運維要給力,GaussDB(for Cassandra)來助力

下一篇:返回列表

標籤雲
其他(160158) Python(38196) JavaScript(25473) Java(18173) C(15235) 區塊鏈(8268) C#(7972) AI(7469) 爪哇(7425) MySQL(7222) html(6777) 基礎類(6313) sql(6102) 熊猫(6058) PHP(5873) 数组(5741) R(5409) Linux(5344) 反应(5209) 腳本語言(PerlPython)(5129) 非技術區(4971) Android(4580) 数据框(4311) css(4259) 节点.js(4032) C語言(3288) json(3245) 列表(3129) 扑(3119) C++語言(3117) 安卓(2998) 打字稿(2995) VBA(2789) Java相關(2746) 疑難問題(2699) 细绳(2522) 單片機工控(2479) iOS(2434) ASP.NET(2403) MongoDB(2323) 麻木的(2285) 正则表达式(2254) 字典(2211) 循环(2198) 迅速(2185) 擅长(2169) 镖(2155) .NET技术(1979) 功能(1967) Web開發(1951) HtmlCss(1950) C++(1928) python-3.x(1918) 弹簧靴(1913) xml(1889) PostgreSQL(1879) .NETCore(1863) 谷歌表格(1846) Unity3D(1843) for循环(1842)

熱門瀏覽
  • GPU虛擬機創建時間深度優化

    **?桔妹導讀:**GPU虛擬機實體創建速度慢是公有云面臨的普遍問題,由于通常情況下創建虛擬機屬于低頻操作而未引起業界的重視,實際生產中還是存在對GPU實體創建時間有苛刻要求的業務場景。本文將介紹滴滴云在解決該問題時的思路、方法、并展示最終的優化成果。 從公有云服務商那里購買過虛擬主機的資深用戶,一 ......

    uj5u.com 2020-09-10 06:09:13 more
  • 可編程網卡芯片在滴滴云網路的應用實踐

    **?桔妹導讀:**隨著云規模不斷擴大以及業務層面對延遲、帶寬的要求越來越高,采用DPDK 加速網路報文處理的方式在橫向縱向擴展都出現了局限性。可編程芯片成為業界熱點。本文主要講述了可編程網卡芯片在滴滴云網路中的應用實踐,遇到的問題、帶來的收益以及開源社區貢獻。 #1. 資料中心面臨的問題 隨著滴滴 ......

    uj5u.com 2020-09-10 06:10:21 more
  • 滴滴資料通道服務演進之路

    **?桔妹導讀:**滴滴資料通道引擎承載著全公司的資料同步,為下游實時和離線場景提供了必不可少的源資料。隨著任務量的不斷增加,資料通道的整體架構也隨之發生改變。本文介紹了滴滴資料通道的發展歷程,遇到的問題以及今后的規劃。 #1. 背景 資料,對于任何一家互聯網公司來說都是非常重要的資產,公司的大資料 ......

    uj5u.com 2020-09-10 06:11:05 more
  • 滴滴AI Labs斬獲國際機器翻譯大賽中譯英方向世界第三

    **桔妹導讀:**深耕人工智能領域,致力于探索AI讓出行更美好的滴滴AI Labs再次斬獲國際大獎,這次獲獎的專案是什么呢?一起來看看詳細報道吧! 近日,由國際計算語言學協會ACL(The Association for Computational Linguistics)舉辦的世界最具影響力的機器 ......

    uj5u.com 2020-09-10 06:11:29 more
  • MPP (Massively Parallel Processing)大規模并行處理

    1、什么是mpp? MPP (Massively Parallel Processing),即大規模并行處理,在資料庫非共享集群中,每個節點都有獨立的磁盤存盤系統和記憶體系統,業務資料根據資料庫模型和應用特點劃分到各個節點上,每臺資料節點通過專用網路或者商業通用網路互相連接,彼此協同計算,作為整體提供 ......

    uj5u.com 2020-09-10 06:11:41 more
  • 滴滴資料倉庫指標體系建設實踐

    **桔妹導讀:**指標體系是什么?如何使用OSM模型和AARRR模型搭建指標體系?如何統一流程、規范化、工具化管理指標體系?本文會對建設的方法論結合滴滴資料指標體系建設實踐進行解答分析。 #1. 什么是指標體系 ##1.1 指標體系定義 指標體系是將零散單點的具有相互聯系的指標,系統化的組織起來,通 ......

    uj5u.com 2020-09-10 06:12:52 more
  • 單表千萬行資料庫 LIKE 搜索優化手記

    我們經常在資料庫中使用 LIKE 運算子來完成對資料的模糊搜索,LIKE 運算子用于在 WHERE 子句中搜索列中的指定模式。 如果需要查找客戶表中所有姓氏是“張”的資料,可以使用下面的 SQL 陳述句: SELECT * FROM Customer WHERE Name LIKE '張%' 如果需要 ......

    uj5u.com 2020-09-10 06:13:25 more
  • 滴滴Ceph分布式存盤系統優化之鎖優化

    **桔妹導讀:**Ceph是國際知名的開源分布式存盤系統,在工業界和學術界都有著重要的影響。Ceph的架構和演算法設計發表在國際系統領域頂級會議OSDI、SOSP、SC等上。Ceph社區得到Red Hat、SUSE、Intel等大公司的大力支持。Ceph是國際云計算領域應用最廣泛的開源分布式存盤系統, ......

    uj5u.com 2020-09-10 06:14:51 more
  • es~通過ElasticsearchTemplate進行聚合~嵌套聚合

    之前寫過《es~通過ElasticsearchTemplate進行聚合操作》的文章,這一次主要寫一個嵌套的聚合,例如先對sex集合,再對desc聚合,最后再對age求和,共三層嵌套。 Aggregations的部分特性類似于SQL語言中的group by,avg,sum等函式,Aggregation ......

    uj5u.com 2020-09-10 06:14:59 more
  • 爬蟲日志監控 -- Elastc Stack(ELK)部署

    傻瓜式部署,只需替換IP與用戶 導讀: 現ELK四大組件分別為:Elasticsearch(核心)、logstash(處理)、filebeat(采集)、kibana(可視化) 下載均在https://www.elastic.co/cn/downloads/下tar包,各組件版本最好一致,配合fdm會 ......

    uj5u.com 2020-09-10 06:15:05 more
最新发布
  • [MySQL--SQL優化]

    # [MySQL--SQL優化] # 1、insert優化(插入資料優化) - ## 建議使用批量插入 ```MYSQL # 批量插入避免頻繁連接斷開資料庫(一次連接插入多條資料) insert into 表名 values(資料1),(資料2),(資料3)...... ``` - ## 建議手動提 ......

    uj5u.com 2023-06-01 16:28:49 more
  • 海量資料運維要給力,GaussDB(for Cassandra)來助力

    摘要:應用運維管理平臺(AOM)和Cassandra是兩個不可分割的組成部分,它們共同構成了一個高效的解決方案,可以幫助企業在應用運維業務上取得巨大的優勢。在這篇文章中,我們將介紹AOM和Cassandra的優勢和特點,揭曉它們如何為企業保持市場競爭力的秘密。 本文分享自華為云社區《海量資料運維要給 ......

    uj5u.com 2023-06-01 16:15:15 more
  • 1萬9千多單詞大沖關含真人讀音ACCESS資料庫

    英語類的資料其實已經有很多很多人,但是不同的需求適合的也會是各種的不同,甚至可能需要將多個相關的資料整合起來應用,而今天這份資料庫對于整合來說是非常方便的,因為它是以單詞為關鍵詞進行各種關聯的,也就是說只要是英語類的資料都可以與這份資料關聯起來。 這個資料的好處在于有17830個英語的真人讀音MP3 ......

    uj5u.com 2023-06-01 15:59:53 more
  • ChunJun FTP Connector 功能擴展解讀

    本文將從 [FTP Connector ](https://www.dtstack.com/resources/1044?src=https://www.cnblogs.com/DTinsight/archive/2023/06/01/szsm)的功能詳解,[自定義檔案切割](https://www.dtstack.com/resources/1044?src=szsm)及[自定義 FileFormat ......

    uj5u.com 2023-06-01 15:35:15 more
  • 分而治之 -- 淺談分庫分表及實踐之路

    今天想聊一下分庫分表,因為對于快速增長的業務來說,這個是無法回避的一環。之前我在做商城相關的SAAS系統,商品池是一個存盤瓶頸,商品池數量會基于租戶增長和運營變得指數級增長,短短幾個月就能漲到幾千萬的資料,而運營半年后就可能過億。而對于訂單這種資料,也會跟著業務的成長,也會變得愈發巨大。 ......

    uj5u.com 2023-06-01 15:34:45 more
  • 海量資料運維要給力,GaussDB(for Cassandra)來助力

    摘要:應用運維管理平臺(AOM)和Cassandra是兩個不可分割的組成部分,它們共同構成了一個高效的解決方案,可以幫助企業在應用運維業務上取得巨大的優勢。在這篇文章中,我們將介紹AOM和Cassandra的優勢和特點,揭曉它們如何為企業保持市場競爭力的秘密。 本文分享自華為云社區《海量資料運維要給 ......

    uj5u.com 2023-06-01 15:18:57 more
  • [MySQL--SQL優化]

    # [MySQL--SQL優化] # 1、insert優化(插入資料優化) - ## 建議使用批量插入 ```MYSQL # 批量插入避免頻繁連接斷開資料庫(一次連接插入多條資料) insert into 表名 values(資料1),(資料2),(資料3)...... ``` - ## 建議手動提 ......

    uj5u.com 2023-06-01 15:18:04 more
  • 1萬9千多單詞大沖關含真人讀音ACCESS資料庫

    英語類的資料其實已經有很多很多人,但是不同的需求適合的也會是各種的不同,甚至可能需要將多個相關的資料整合起來應用,而今天這份資料庫對于整合來說是非常方便的,因為它是以單詞為關鍵詞進行各種關聯的,也就是說只要是英語類的資料都可以與這份資料關聯起來。 這個資料的好處在于有17830個英語的真人讀音MP3 ......

    uj5u.com 2023-06-01 15:14:11 more
  • ChunJun FTP Connector 功能擴展解讀

    本文將從 [FTP Connector ](https://www.dtstack.com/resources/1044?src=https://www.cnblogs.com/DTinsight/p/szsm)的功能詳解,[自定義檔案切割](https://www.dtstack.com/resources/1044?src=szsm)及[自定義 FileFormat ......

    uj5u.com 2023-06-01 15:00:29 more
  • Doris(六) -- 查詢語法和內置函式

    # 查詢語法和內置函式 ## 查詢語法整體結構 ```sql SELECT [ALL | DISTINCT | DISTINCTROW ] -- 對查詢欄位的結果是否需要去重,還是全部保留等引數 select_expr [, select_expr ...] -- select的查詢欄位 [FROM ......

    uj5u.com 2023-06-01 10:16:26 more