簡介:以上文章講述的是【2020總結與2021展望,挑戰阿里面試】接下來我總結一下【接私活用到的資料庫進階版知識與面試知識】,覺得我還可以的可以加群一起督促學習探討技術,QQ群:1076570504 個人學習資料庫http://www.aolanghs.com/ 微信公眾號搜索【歡少的成長之路】
前言
簡介
本文經驗都是我看書學習的總結的一些經驗,面試常問的知識點,所以請關注后再繼續觀看學習!下面已經給出了書的目錄!今后將按目錄的順序繼續更新學習心得!
文章最后我會寫一些面試的技術思路,我知道關于面試一直都是熱門話題,有非常多的人寫甚至抄襲,不過我保證我都是原創,我相信聰明的小伙伴應該都發現了文章有一些詞的表述都用到了江蘇連云港的方言,今后我將持續努力,鉆研技術的同時將自己的識訓通過寫博客文章分享給你們,
個人介紹
我在實習的公司主要負責是做Net C# 語言的,作業應用場景主要是工業控制,平時的私活主要是用Java開發的Web網站,C#開發的PC桌面應用軟體,微信小程式,Anroid移動端開發,IOS(團隊內有專人負責)!
目標
希望通過這些MySQL的內部原理的知識可以幫助大家培養發現新問題的洞察力,能學習和實踐的結合設計出維護基于MySQL的系統,
目錄
第一章:資料庫基礎知識(正在更新)
第二章:基準測驗
第三章:服務器性能刨析
第四章:Schema與資料庫型別優化
第五章:創建高性能的索引
第六章:查詢性能優化
第七章:MySQL高級特性
第八章:優化服務器設定
第九章:作業系統和硬體優化
第十章:復制底層實作
第十一章:可擴展的MySQL
第十二章:高可用性
第十三章:云端的MySQL
第十四章:應用層優化
第十五章:備份與恢復
第十六章:MySQL用戶工具
正文
MySQL簡單的運行流程
特性
MySQL最與眾不同的就是他的特性【存盤引擎架構】,這種架構的設計將查詢處理,其他系統任務和資料的存盤/提取相分離,這樣做的好處是可以在使用時根據性能,特性以及其他需求選擇相應的資料存盤方式,
連接的實作分析
每個客戶端連接都會在服務器行程中擁有一個執行緒,這個連接的查詢只會在這個執行緒中單獨執行,該執行緒只能輪流在某個CPU核心或者CPU中執行,服務器會負責快取快取執行緒,因此不需要為每一個新建的連接創建或者銷毀執行緒,
當客戶端發送連接之后,服務器會對其進行認證,基于用戶名,主機資訊,密碼,如果使用了SSL方式連接還可以使用X.509證書認證,認證成功之后服務器會驗證你的查詢權限等,
SQL陳述句分析
舉一個Select陳述句的例子:在決議查詢之前
- 服務器會先檢查查詢快取
- 如果能夠在其中找到對應的查詢,服務器就不必再執行查詢決議,優化和執行的整個程序
- 而是直接回傳查詢快取中的結果集
控制MySQL并發讀寫
問題:email郵箱!一個郵箱的郵件都是串行在一起的彼此首位相連,這種格式對于讀取和分析郵件資訊非常友好,同時投遞也很容易,只要在末端添加郵件就可以了,正題來了假如兩個行程在同一時刻對同一個郵箱進行投遞郵件時會發生什么?
答案:資料會被破環,兩封郵件內容會交叉的附加在郵箱檔案的末尾!
方案:通過lock鎖防止資料損壞,如果客戶端試圖投遞郵件,而郵箱已經被其他客戶鎖住,那就必須等待,直到釋放才能進行投遞,
通過這種方案的確可以做到資料不被破壞,但是如果只能等待的話并發效率太低了!讀寫鎖的展開
讀寫鎖:
- 讀鎖是共享的或者說是相互不阻塞的,多個客戶在同一時刻可以同時讀取同一個資源互不干擾,
- 寫鎖是排他鎖也就是會阻塞其他的寫鎖和讀鎖,這也是出于安全考慮,只有這樣才能確保在一定的時間內一個用戶能夠執行寫入并防止其他用戶讀取正在寫入的同一資源,
通過這種方式解決了資料破壞問題,效率也有所提高,真正大型專案還是不夠!鎖粒度與鎖策略的展開
解決目標:提高資源的并發的方法可以只鎖定需要修改的部分資料,而不是所有資源,更理性的方式是只對會修改的資料片進行精確鎖定,任何時候在給定的資源中,鎖定的資料量越少則系統開發程度越高,只要不沖突就可以了,
鎖策略與鎖粒度:在鎖的開銷與安全性尋求一個平衡,這種平衡也會影響性能,大多數資料庫會直接用行級鎖,MySQL提供了多種選擇,每一個存盤引擎都可以實作自己的鎖粒度和鎖策略,比如將鎖粒度固定在某個級別,可以為某些場景提供更好的性能,如果性能需求提高直接提高鎖粒度就可以了,下面展開兩個重要的鎖策略表鎖和行級鎖,
表鎖與行級鎖:
區別:
- 表鎖是最基本的鎖策略,也是開銷最小的策略,表鎖是直接鎖定整張表,一個用戶對表進行寫入操作時需要獲得寫鎖才可以,獲取寫鎖之后會阻塞其他用戶對他的讀寫操作,只有沒有寫鎖的時候其他讀取的用戶才能獲得讀鎖進行讀取,讀鎖之間是不阻塞的
- 行級鎖可以心最大程度上支持并發處理,同樣的道理,也是開銷最大的策略,行級鎖只有在存盤引擎層實作,MySQL服務器層不參與實作,
事務:
什么是事務呢?事務就是銀行的需求一樣,如果在執行程序中斷電或者不符合條件的情況被停止執行,則已經執行的sql陳述句全部回滾,也就是說 事務操作程序要不全部成功,要不全部失敗!事務ACID的特性可以確保銀行不會弄丟你的錢
事務的ACID:
- 原子性:要不全部成功,要不全部失敗,不可能只執行其中一部分操作,這就是事務的原子性
- 一致性:一致性主要體現在資料一致性,事務最終沒有提交,事務所修改的資料不會保存在資料庫中
- 隔離性:當前事務執行的修改在最終提交之前,對其他事務是不可見的,
- 持久性:一旦事務提交,將修改的資料持久化到資料庫中就算資料庫斷電崩潰也不會丟失,
應用開發中的選型:
實作的ACID資料庫跟沒有實作ACID資料庫,通常會需要更長的CPU處理能力以及更大的記憶體和磁盤空間,所以一定要根據當前特定的需求業務選擇相應的資料庫存盤引擎,如果不需要事務,選擇非事務存盤引擎可以獲得更高的性能,
事務的四種隔離級別:
- read uncommitted(未提交讀):事務中的修改即使沒有提交對其他事務都是可見的,也可以稱為臟讀,這個級別會導致很多問題,從性能上來說不會比其他隔離級別好太多,但缺乏其他隔離級別的很多好處,除非真的有特定的需求,一般很少用
- reda committed(提交讀):大多數資料庫默認的都是read committed,但是MySQL默認的不是這個!一個事務從執行到提交前,其他事務都是不可見的,有時候也可以叫不可重復讀,因為兩次執行同樣的查詢可能會得到不一樣的查詢結果,
- repeatable read(可重復讀):repeatable read解決了read committed臟讀的問題,這個隔離級別也是MySQL默認的隔離級別,該級別保證了同一個事務多次執行可以讀取同樣的資料,但是有個缺陷就是存在幻讀!幻讀就是當事務在某個范圍內讀取資料時,這時另一個事務在這個范圍插入了資料,當讀取的事務再次讀取該范圍時會產生幻行,通過多版本并發控制(MVCC)解決了幻讀的問題,
- serializable(可串行化):這是最高的隔離級別,它通過強制事務在從串行上執行,避免了前面說的幻讀問題,簡單來說就在在讀取資料時加一個鎖,這就暴露了另一個問題,大量的加鎖會導致出現爭鎖超時的問題,只有特定的需求情況下或者可以接收沒有并發的情況下才考慮這種隔離級別,
MySQL中的事務
MySQL默認采用自動提交的模式,也就是說如果不是專門寫一個事務執行,則每個查詢都可以看成是一個事務,
第一圖可以查看當前的事務提交模式,第二張圖可以修改事務提交模式 1或者NO表示啟動,0或者OFF表示禁用
- 當autocommit=0時,所有的查詢都是在一個事務,直到專門直接commit或者rollback回滾,該事務結束同時又開始了新的事務,修改autocommit對非事務型的表不會有任何影響,對于這類表來說沒有commit或者rollback的概念,也可以說相當于一直處于啟用的狀態
- MySQL可以通過執行以下代碼設定隔離級別,
set transaction isolationlevel //設定隔離級別,設定隔離級別會在下一個事務開始的時候生效


死鎖:
很多時候會看到博客文章標題出現死鎖資料,那么死鎖到底是什么?什么導致了死鎖?
死鎖是指兩個或多個事務對同一資源的相互占用,當前執行寫操作時,另一方需要獲得一個寫鎖,而另一個事務也是需要獲得一個寫鎖,兩個事務都等待著對方釋放鎖,同時又持有對方的鎖,從而導致惡性回圈的現象,除非有外部因素介入才可能接觸死鎖,死活會影響查詢資料的效率,以下兩個情況會死鎖
- 當多個事務試圖以不同的順序鎖定資源時,就可能發生了死鎖
- 多個事務同時訪問同一個資源時,也會產生死鎖
事務1:
start transaction
update StockPrice set close=45 where stockid=4 and date=‘2021-01-31’
update StockPrice set close=40 where stockid=3 and date=‘2021-01-31’
事務2:
start transaction
update StockPrice set close=35 where stockid=3 and date=‘2021-01-31’
update StockPrice set close=30 where stockid=4 and date=‘2021-01-31’
以上代碼舉個例子幫助不懂的更好的理解,如果兩個事務都執行的update的第一條陳述句,根據鎖的程序會鎖定當前的那一條資料(鎖定id等于3和4的資料)也就是給他上鎖,當兩個事務執行第二條sql陳述句執行的時候(操作id等于3和4)就存在了死鎖的情況因為兩個都上鎖也都等待著對方釋放鎖,
為了解決這一問題,資料庫系統實作了死鎖超時機制和各種死鎖檢測,InnoDB存盤引擎檢測到死鎖的回圈依賴,會立即回傳一個錯誤,這種方式很有效,還有一種方式是當查詢的時間達到鎖等待超時的設定后放棄鎖請求,這種不太友好,
目前InnoDB的處理方式是將持有最少行級鎖的事務進行回滾(這是相對比較簡單的死鎖回滾演算法)
死鎖產生有雙重原因
- 資料存在沖突
- 存盤引擎的實作方式
如何處理死鎖呢?
- 死鎖發生后,只有部分或者完全回滾其中一個事務,才能打破死鎖這是無法避免的,
- 大多數情況下只需要重新執行因死鎖導致的事務即可,
先給貓洗個澡等會回來繼續寫

事務日志
存在優勢:事務日志可以提高事務的效率,
實作方式:存盤引擎在修改表資料的時候只需要修改其記憶體拷貝,再把修改的資料持久化到事務日志中,而不用每一次都把資料持久化到磁盤,事務日志采用追加的方式,所以寫日志的操作是磁盤上一小塊區域的順序IO,而不像隨機ID需要在磁盤的多個地方移動磁頭,所以采用事務日志的方式會快很多,事務日志持久之后,記憶體中被修改的資料就可以在后臺慢慢的刷回磁盤中,從而不會影響用戶體驗也提升了性能,修改資料需要寫兩次磁盤
多版本并發控制(MVCC)
概念:MySQL大多數事務型存盤引擎實作的都不是簡單的行級鎖,基于提高行級鎖的性能,一般同時都實作了多版本并發控制(mvcc),不僅MySQL,包括oracle,postgresql等其他資料庫系統都實作了mvcc,因為mvcc沒有統一的實作標準,所以各自的實作機制也都不一樣,
實作方式:通過保存資料在某一個時間點的快照來實作的,也就是說不管需要執行多長時間,每次事務執行的資料都是一致的,相反! 根據事務開始時間的不同選擇的快照也是不同的,所以每個事務對同一張表,同一個時刻看到的資料有可能是不一樣的,(如果沒有這一方面的概念聽起來可能有點迷惑)
多版本并發控制實作的不同,典型的實作有樂觀鎖并發控制與悲觀鎖并發控制,
如何作業的?
MVCC通過每行記錄后面保存兩個隱藏的列來實作的,一個是保存行的創建時間,一個是保存行的過期時間,存盤的不是時間值,而是系統的版本號,每開始一個新的事務,系統版本號會自動增加,事務開始時刻的系統版本號也就是事務的版本號,用來查詢到每行記錄的版本號進行對比,
- select:innodb會根據以下兩個條件檢查每行記錄,只有符合以下條件才能回傳作為查詢的結果
a=> InnoDB只查找版本早于當前事務版本的資料行(也就是行的系統版本號小于或等于事務的系統版本號),這樣可以確保事務讀取的行,要么是在事務開始前已經存在的,要么就是事務自身插入或者修改過的,
b=> 行的洗掉版本要么未定義,要么大于當前事務版本號,這可以確保事務讀取到的行,在事務開始之前未被洗掉, - insert:innodb為新插入的每一行保存當前系統版本號作為行版本號
- delete:innodb為洗掉的每一行保存當前的系統版本號作為行洗掉標識
- update:innodb為插入每一行新記錄,保存當前系統版本號作為行版本號,同時保存當前系統系統版本號到原來的行作為行洗掉標識,
優點:保存這兩個額外的系統版本號的好處就是 操作資料的時候不需要單獨上鎖,這樣設計使得資料操作很簡單,性能也很好,并且也能保證只會讀取到符合標準的行,
缺點:每行記錄都需要額外的存盤空間,需要做更多的檢查行的操作,以及額外的維護作業
MVCC只在repertable read(可重復讀)和read committed(提交讀)兩種隔離級別下作業,其他兩種隔離級別都和mvcc不兼容!
Tip:read uncommitted總是讀取最新的資料行,而不符合當前事務版本的資料行,serializable則會對所有讀取的行都加鎖
面試技巧流程
自我介紹什么的我就不說了,只說一下技術,拿Socket舉例,
常見的小白場景就是
面試官:簡單的介紹一下Socket
應聘人:你好面試官,不好意思我沒用過,好像是通信用的,
常見的初級場景就是,
面試官:簡單的介紹一下Socket
應聘人:你好面試官,Socket是一個安全套接字,用于通信,一個發送點一個接收點,有多種通信協議比如UDP/TCP,TCP是三次握手,UDP是不用握手的,UDP比TCP更高效,如果需要互動判斷的選擇TCP,如果不需要互動判斷的選擇UDP,
以上沒有加分項,或許你可以這樣,中級場景
面試官:簡單的介紹一下Socket
應聘人:你好面試官,Socket我了解的是:
A=>安全套接字,要想聊Socket就要深入計算機底層我們可以從OSI7層模型說起,描述每一層的作用,
B=>TCP是什么,告訴面試官為什么是面向連接的可靠的傳輸協議,TCP三次握手都做了哪些事情比如Syn包,Ack包,Syn+Ack包,
C=> 通過互動流程可以展開ddos簡單介紹一下表明你懂的比較多,你是個有干貨的人,你是個對技術敏感的人,樂于學習的人
告訴面試官Socket在每一層都做了什么以及Socket通信的時候是如何和外界聯系的【加分項】
更多面試思路干貨,請前往微信搜【歡少的成長之路】 或者下面掃碼關注 回復【面試思路】獲取 感謝各位支持


結尾
目前更新出來的是我學習到的經驗知識與心得,剩下的部分將過幾天持續更新!
知道的越多,不知道的就越多,找準方向,堅持自己的定位!加油向前不斷前行,侄訓有柳暗花明的一天!
創作不易,你們的支持就是對我最大認可!
文章將持續更新,我們下期見!下期將持續更新【詳解二】 QQ群:1076570504 微信公眾號搜索【歡少的成長之路】請多多支持!
轉載請註明出處,本文鏈接:https://www.uj5u.com/qita/255293.html
標籤:其他
下一篇:01 MQTT小例子-連接
