主頁 > 後端開發 > 為什么 SQL 陳述句不要過多的 join？

為什么 SQL 陳述句不要過多的 join？

2020-09-30 23:08:19 後端開發

作者：柯三
juejin.im/post/5e0443ae6fb9a0162277a2c3

送分題

面試官：有操作過Linux嗎?

我：有的呀

面試官：我想查看記憶體的使用情況該用什么命令

我：free 或者 top

面試官：那你說一下用free命令都可以看到啥資訊

我：那，如下圖所示 可以看到記憶體以及快取的使用情況

  • total 總記憶體

  • used 已用記憶體

  • free 空閑記憶體

  • buff/cache 已使用的快取

  • avaiable 可用記憶體

面試官：那你知道怎么清理已使用的快取嗎(buff/cache)

我：em... 不知道

面試官：sync; echo 3 > /proc/sys/vm/drop_caches就可以清理buff/cache了，你說說我在線上執行這條命令做好不好?

我：(送分題,內心大喜)好處大大的有，清理出快取我們就有更多可用的記憶體空間, 就跟pc上面xx衛士的小火箭一樣，點一下，就釋放出好多的記憶體

面試官：em...., 回去等通知吧

再談SQL Join

面試官：換個話題，談談你對join的理解

我：好的（再答錯就徹底完了,把握住機會)

回顧

SQL中的join可以根據某些條件把指定的表給結合起來并將資料回傳給客戶端

join的方式有：5 種 Join 連接及實戰案例！

  • inner join 內連接

  • left join 左連接

  • right join 右連接

  • full join 全連接

以上圖片源：https://www.cnblogs.com/reaptomorrow-flydream/p/8145610.html

面試官：在專案開發中如果需要使用join陳述句，如何優化提升性能?

我：分為兩種情況，資料規模小的，資料規模大的，

面試官: 然后?

我：對于

  • 資料規模較小 全部干進記憶體就完事了嗷

  • 資料規模較大

可以通過增加索引來優化join陳述句的執行速度 可以通過冗余資訊來減少join的次數 盡量減少表連接的次數，一個SQL陳述句表連接的次數不要超過5次

面試官：可以總結為join陳述句是相對比較耗費性能，對嗎？

我：是的

面試官: 為什么?

緩沖區

我: 在執行join陳述句的時候必然要有一個比較的程序

面試官: 是的

我：逐條比較兩個表的陳述句是比較慢的，因此我們可以把兩個表中資料依次讀進一個記憶體塊中, 以MySQL的InnoDB引擎為例，使用以下陳述句我們必然可以查到相關的記憶體區域show variables like '%buffer%'

如下圖所示join_buffer_size的大小將會影響我們join陳述句的執行性能

面試官: 除此之外呢?

一個大前提

我：任何專案終究要上線，不可避免的要產生資料，資料的規模又不可能太小

面試官: 是這樣的

我：大部分資料庫中的資料最終要保存到硬碟上,并且以檔案的形式進行存盤，

以MySQL的InnoDB引擎為例

  • InnoDB以頁(page)為基本的IO單位，每個頁的大小為16KB

  • InnoDB會為每個表創建用于存盤資料的.ibd檔案

驗證

我：這意味著我們有多少表要連接就需要讀多少個檔案，雖然可以利用索引，但還是免不了頻繁的移動硬碟的磁頭

面試官：也就是說頻繁的移動磁頭會影響性能對吧

我：是的，現在的開源框架不都喜歡說自己通過順序讀寫大大的提升了性能嗎，比如hbase、kafka

面試官：說的沒錯，那你認為Linux有對此做出優化嗎?提示，你可以再執行一次free命令看一下

我：奇怪快取怎么占用了1.2G多

圖片來源：https://www.linuxatemyram.com/

面試官: 你有沒有想過

  • buff/cache 里面存的是什么,？

  • 為什么buff/cache 占了那么多記憶體，可用記憶體即availlable還有1.1G？

  • 為什么你可以通過兩條命令來清理buff/cache占用的記憶體，而想要釋放used只能通過結束行程來實作?

品，你細品

思考了幾分鐘后

我：這么隨便就釋放了buff/cache所占用的記憶體，說明它就不重要, 清除它不會對系統的運行造成影響

面試官: 不完全對

我：難道是？想起來《CSAPP》（深入理解計算機系統）里面說過一句話

存盤器層次結構的本質是，每一層存盤設備都是較低一層設備的快取

翻譯成人話，就是說Linux會把記憶體當作是硬碟的高速快取

相關資料：http://tldp.org/LDP/sag/html/buffer-cache.html

面試官：現在知道那道送分題應該怎么回答了吧

我：我....

Join演算法

面試官：再給你個機會，如果讓你來實作Join演算法你會怎么做?

我：無索引的話,嵌套回圈就完事了嗷，有索引的話，則可以利用索引來提升性能.

面試官：說回join_buffer 你認為join_buffer里面存盤的是什么?

我：在掃描程序中，資料庫會選擇一個表把他要回傳以及需要進行和其他表進行比較的資料放進join_buffer

面試官：有索引的情況下是怎么處理的？

我：這個就比較簡單了，直接讀取兩個表的索引樹進行比較就完事了嗷，我這邊介紹一下無索引的處理方式

Nested Loop Join

嵌套回圈，每次只讀取表中的一行資料，也就是說如果outerTable有10萬行資料, innerTable有100行資料，需要讀取10000000次(假設這兩個表的檔案沒有被作業系統給快取到記憶體, 我們稱之為冷資料表)

當然現在沒啥資料庫引擎使用這種演算法（太慢了)

Block nested loop

Block 塊，也就是說每次都會取一塊資料到記憶體以減少I/O的開銷

當沒有索引可以使用的時候，MySQL InnoDB 就會使用這種演算法

考慮以下兩個表 t_a 和t_b

當無法使用索引執行join操作的時候，InnoDB會自動使用Block nested loop 演算法

總結

上學時，資料庫老師最喜歡考資料庫范式，直到上班才學會一切以性能為準，能冗余就冗余，實在冗余不了的就join如果join真的影響到性能，試著調大你的join_buffer_size, 或者換固態硬碟，

參考資料

  • 《深入理解計算機系統》- 第6章 存盤器層次結構
  • https://www.linuxatemyram.com/play.html 作者通過幾個例子來說明硬碟快取對程式執行性能的影響
  • https://www.linuxatemyram.com/ Free引數的解釋
  • https://www.thegeekdiary.com/how-to-clear-the-buffer-pagecache-disk-cache-under-linux/ 文章開頭送分題命令的解釋
  • https://juejin.im/book/5bffcbc9f265da614b11b731/section/5c061a4de51d451df113c10d MySQL 是怎樣運行的：從根兒上理解 MySQL
  • https://mariadb.com/kb/en/block-based-join-algorithms/ 來自MariaDB官方檔案解釋了Block-Nested-Loop演算法的實作

關注公眾號Java技術堆疊回復"面試"獲取我整理的2020最全面試題及答案，

推薦去我的博客閱讀更多：

1.Java JVM、集合、多執行緒、新特性系列教程

2.Spring MVC、Spring Boot、Spring Cloud 系列教程

3.Maven、Git、Eclipse、Intellij IDEA 系列工具教程

4.Java、后端、架構、阿里巴巴等大廠最新面試題

覺得不錯，別忘了點贊+轉發哦！

轉載請註明出處，本文鏈接：https://www.uj5u.com/houduan/143459.html

標籤：Java

上一篇：小知識

下一篇：如何用c++讀取EXCEL單元格里的檔案名后做檔案夾里的相應檔案做交集運算

標籤雲
其他(157675) Python(38076) JavaScript(25376) Java(17977) C(15215) 區塊鏈(8255) C＃(7972) AI(7469) 爪哇(7425) MySQL(7132) html(6777) 基礎類(6313) sql(6102) 熊猫(6058) PHP(5869) 数组(5741) R(5409) Linux(5327) 反应(5209) 腳本語言(PerlPython)(5129) 非技術區(4971) Android(4554) 数据框(4311) css(4259) 节点.js(4032) C語言(3288) json(3245) 列表(3129) 扑(3119) C++語言(3117) 安卓(2998) 打字稿(2995) VBA(2789) Java相關(2746) 疑難問題(2699) 细绳(2522) 單片機工控(2479) iOS(2429) ASP.NET(2402) MongoDB(2323) 麻木的(2285) 正则表达式(2254) 字典(2211) 循环(2198) 迅速(2185) 擅长(2169) 镖(2155) 功能(1967) .NET技术(1958) Web開發(1951) python-3.x(1918) HtmlCss(1915) 弹簧靴(1913) C++(1909) xml(1889) PostgreSQL(1872) .NETCore(1853) 谷歌表格(1846) Unity3D(1843) for循环(1842)

熱門瀏覽
  • 【C++】Microsoft C++、C 和匯編程式檔案

    ......

    uj5u.com 2020-09-10 00:57:23 more
  • 例外宣告

    相比于斷言適用于排除邏輯上不可能存在的狀態，例外通常是用于邏輯上可能發生的錯誤。 例外宣告 Item 1：當函式不可能拋出例外或不能接受拋出例外時，使用noexcept 理由 如果不打算拋出例外的話，程式就會認為無法處理這種錯誤，并且應當盡早終止，如此可以有效地阻止例外的傳播與擴散。 示例 //不可 ......

    uj5u.com 2020-09-10 00:57:27 more
  • Codeforces 1400E Clear the Multiset(貪心 + 分治)

    鏈接：https://codeforces.com/problemset/problem/1400/E 來源：Codeforces 思路：給你一個陣列，現在你可以進行兩種操作，操作1：將一段沒有 0 的區間進行減一的操作，操作2：將 i 位置上的元素歸零。最終問：將這個陣列的全部元素歸零后操作的最少 ......

    uj5u.com 2020-09-10 00:57:30 more
  • UVA11610 【Reverse Prime】

    本人看到此題沒有翻譯，就附帶了一個自己的翻譯版本 思考 這一題，它的第一個要求是找出所有 $7$ 位反向質數及其質因數的個數。 我們應該需要質數篩篩選1~$10^{7}$的所有數，這里就不慢慢介紹了。但是，重讀題，我們突然發現反向質數都是 $7$ 位，而將它反過來后的數字卻是 $6$ 位數，這就說明 ......

    uj5u.com 2020-09-10 00:57:36 more
  • 統計區間素數數量

    1 #pragma GCC optimize(2) 2 #include <bits/stdc++.h> 3 using namespace std; 4 bool isprime[1000000010]; 5 vector<int> prime; 6 inline int getlist(int ......

    uj5u.com 2020-09-10 00:57:47 more
  • C/C++編程筆記：C++中的 const 變數詳解，教你正確認識const用法

    1、C中的const 1、區域const變數存放在堆疊區中，會分配記憶體（也就是說可以通過地址間接修改變數的值）。測驗代碼如下： 運行結果： 2、全域const變數存放在只讀資料段（不能通過地址修改，會發生寫入錯誤）， 默認為外部聯編，可以給其他源檔案使用（需要用extern關鍵字修飾） 運行結果： ......

    uj5u.com 2020-09-10 00:58:04 more
  • 【C++犯錯記錄】VS2019 MFC添加資源不懂如何修改資源宏ID

    1. 首先在資源視圖中，添加資源 2. 點擊新添加的資源，復制自動生成的ID 3. 在解決方案資源管理器中找到Resource.h檔案，編輯，使用整個專案搜索和替換的方式快速替換 宏宣告 4. Ctrl+Shift+F 全域搜索，點擊查找全部，然后逐個替換 5. 為什么使用搜索替換而不使用屬性視窗直 ......

    uj5u.com 2020-09-10 00:59:11 more
  • 【C++犯錯記錄】VS2019 MFC不懂的批量添加資源

    1. 打開資源頭檔案Resource.h，在其中預先定義好宏 ID（不清楚其實ID值應該設定多少，可以先新建一個相同的資源項，再在這個資源的ID值的基礎上遞增即可） 2. 在資源視圖中選中專案資源，按F7編輯資源檔案，按 ID 型別 相對路徑的形式添加 資源。（別忘了先把檔案拷貝到專案中的res檔案 ......

    uj5u.com 2020-09-10 01:00:19 more
  • C/C++編程筆記：關于C++的參考型別，專供新手入門使用

    今天要講的是C++中我最喜歡的一個用法——參考，也叫別名。 參考就是給一個變數名取一個變數名，方便我們間接地使用這個變數。我們可以給一個變數創建N個參考，這N + 1個變數共享了同一塊記憶體區域。(參考型別的變數會占用記憶體空間，占用的記憶體空間的大小和指標型別的大小是相同的。雖然參考是一個物件的別名，但 ......

    uj5u.com 2020-09-10 01:00:22 more
  • 【C/C++編程筆記】從頭開始學習C ++：初學者完整指南

    眾所周知，C ++的學習曲線陡峭，但是花時間學習這種語言將為您的職業帶來奇跡，并使您與其他開發人員區分開。您會更輕松地學習新語言，形成真正的解決問題的技能，并在編程的基礎上打下堅實的基礎。 C ++將幫助您養成良好的編程習慣（即清晰一致的編碼風格，在撰寫代碼時注釋代碼，并限制類內部的可見性），并且由 ......

    uj5u.com 2020-09-10 01:00:41 more
最新发布
  • Rust中的智能指標:Box<T> Rc<T> Arc<T> Cell<T> RefCell<T> Weak

    Rust中的智能指標是什么 智能指標（smart pointers）是一類資料結構，是擁有資料所有權和額外功能的指標。是指標的進一步發展 指標（pointer）是一個包含記憶體地址的變數的通用概念。這個地址參考，或 ” 指向”（points at）一些其 他資料 。參考以 & 符號為標志并借用了他們所 ......

    uj5u.com 2023-04-20 07:24:10 more
  • Java的值傳遞和參考傳遞

    值傳遞不會改變本身，參考傳遞（如果傳遞的值需要實體化到堆里）如果發生修改了會改變本身。 1.基本資料型別都是值傳遞 package com.example.basic; public class Test { public static void main(String[] args) { int ......

    uj5u.com 2023-04-20 07:24:04 more
  • [2]SpinalHDL教程——Scala簡單入門

    第一個 Scala 程式 shell里面輸入 $ scala scala> 1 + 1 res0: Int = 2 scala> println("Hello World!") Hello World! 檔案形式 object HelloWorld { /* 這是我的第一個 Scala 程式 * 以 ......

    uj5u.com 2023-04-20 07:23:58 more
  • 理解函式指標和回呼函式

    理解 函式指標 指向函式的指標。比如： 理解函式指標的偽代碼 void (*p)(int type, char *data); // 定義一個函式指標p void func(int type, char *data); // 宣告一個函式func p = func; // 將指標p指向函式func ......

    uj5u.com 2023-04-20 07:23:52 more
  • Django筆記二十五之資料庫函式之日期函式

    本文首發于公眾號：Hunter后端 原文鏈接：Django筆記二十五之資料庫函式之日期函式 日期函式主要介紹兩個大類，Extract() 和 Trunc() Extract() 函式作用是提取日期，比如我們可以提取一個日期欄位的年份，月份，日等資料 Trunc() 的作用則是截取，比如 2022-0 ......

    uj5u.com 2023-04-20 07:23:45 more
  • 一天吃透JVM面試八股文

    什么是JVM？ JVM，全稱Java Virtual Machine（Java虛擬機），是通過在實際的計算機上仿真模擬各種計算機功能來實作的。由一套位元組碼指令集、一組暫存器、一個堆疊、一個垃圾回收堆和一個存盤方法域等組成。JVM屏蔽了與作業系統平臺相關的資訊，使得Java程式只需要生成在Java虛擬機 ......

    uj5u.com 2023-04-20 07:23:31 more
  • 使用Java接入小程式訂閱訊息！

    更新完微信服務號的模板訊息之后，我又趕緊把微信小程式的訂閱訊息給實作了！之前我一直以為微信小程式也是要企業才能申請，沒想到小程式個人就能申請。 訊息推送平臺🔥推送下發【郵件】【短信】【微信服務號】【微信小程式】【企業微信】【釘釘】等訊息型別。 https://gitee.com/zhongfuch ......

    uj5u.com 2023-04-20 07:22:59 more
  • java -- 緩沖流、轉換流、序列化流

    緩沖流 緩沖流, 也叫高效流, 按照資料型別分類： 位元組緩沖流：BufferedInputStream，BufferedOutputStream 字符緩沖流：BufferedReader，BufferedWriter 緩沖流的基本原理，是在創建流物件時，會創建一個內置的默認大小的緩沖區陣列，通過緩沖 ......

    uj5u.com 2023-04-20 07:22:49 more
  • Java-SpringBoot-Range請求頭設定實作視頻分段傳輸

    老實說，人太懶了，現在基本都不喜歡寫筆記了，但是網上有關Range請求頭的文章都太水了 下面是抄的一段StackOverflow的代碼...自己大修改過的，寫的注釋挺全的，應該直接看得懂，就不解釋了 寫的不好...只是希望能給視頻網站開發的新手一點點幫助吧. 業務場景：視頻分段傳輸、視頻多段傳輸（理 ......

    uj5u.com 2023-04-20 07:22:42 more
  • Windows 10開發教程_編程入門自學教程_菜鳥教程-免費教程分享

    教程簡介 Windows 10開發入門教程 - 從簡單的步驟了解Windows 10開發，從基本到高級概念，包括簡介，UWP，第一個應用程式，商店，XAML控制元件，資料系結，XAML性能，自適應設計，自適應UI，自適應代碼，檔案管理，SQLite資料庫，應用程式到應用程式通信，應用程式本地化，應用程式 ......

    uj5u.com 2023-04-20 07:22:35 more

Copyright © 2010-2020 有解無憂