主頁 > 資料庫 > 看完這篇還不懂 MySQL 主從復制,可以回家躺平了~

看完這篇還不懂 MySQL 主從復制,可以回家躺平了~

2021-06-09 19:41:53 資料庫

大家好,我是小羽,

我們在平時作業中,使用最多的資料庫就是 MySQL 了,隨著業務的增加,如果單單靠一臺服務器的話,負載過重,就容易造成宕機

這樣我們保存在 MySQL 資料庫的資料就會丟失,那么該怎么解決呢?

其實在 MySQL 本身就自帶有一個主從復制的功能,可以幫助我們實作負載均衡和讀寫分離

對于主服務器(Master)來說,主要負責寫,從服務器(Slave)主要負責讀,這樣的話,就會大大減輕壓力,從而提高效率,

接下來,跟著小羽一起來看看它都有哪些核心知識點呢:

簡介

隨著業務的增長,一臺資料服務器已經滿足不了需求了,負載過重,這個時候就需要減壓了,實作負載均衡讀寫分離,一主一叢或一主多從,

主服務器只負責寫,而從服務器只負責讀,從而提高了效率減輕壓力,

主從復制可以分為:

  • 主從同步:當用戶寫資料主服務器必須和從服務器同步了才告訴用戶寫入成功,等待時間比較長,

  • 主從異步:只要用戶訪問寫資料主服務器,立即回傳給用戶,

  • 主從半同步:當用戶訪問寫資料主服務器寫入并同步其中一個從服務器就回傳給用戶成功,

形式

一主一從

圖片

一主一從

一主多從

圖片

一主多從

一主一從和一主多從是我們現在見的最多的主從架構,使用起來簡單有效,不僅可以實作 HA,而且還能讀寫分離,進而提升集群的并發能力

多主一從

圖片

多主一從

多主一從可以將多個 MySQL 資料庫備份到一臺存盤性能比較好的服務器上,

雙主復制

圖片

雙主復制

雙主復制,也就是可以互做主從復制,每個 master 既是 master,又是另外一臺服務器的 salve,這樣任何一方所做的變更,都會通過復制應用到另外一方的資料庫中,

級聯復制

圖片

級聯復制

級聯復制模式下,部分 slave 的資料同步不連接主節點,而是連接從節點

因為如果主節點有太多的從節點,就會損耗一部分性能用于 replication ,那么我們可以讓 3~5 個從節點連接主節點,其它從節點作為二級或者三級與從節點連接,這樣不僅可以緩解主節點的壓力,并且對資料一致性沒有負面影響,

原理

MySQL 主從復制是基于主服務器在二進制日志跟蹤所有對資料庫的更改,因此,要進行復制,必須在主服務器上啟用二進制日志,

每個從服務器從主服務器接收已經記錄到日志的資料,當一個從服務器連接到主服務器時,它通知主服務器從服務器日志中讀取最后一個更新成功的位置,

從服務器接收從那時發生起的任何更新,并在主機上執行相同的更新,然后封鎖等待主服務器通知的更新,

從服務器執行備份不會干擾主服務器,在備份程序中主服務器可以繼續處理更新,

程序

作業程序

MySQL 的主從復制作業程序大致如下:

  1. 從庫生成兩個執行緒,一個 I/O 執行緒,一個 SQL 執行緒;

  2. I/O 執行緒去請求主庫的 binlog,并將得到的 binlog 日志寫到 relay log(中繼日志) 檔案中;

  3. 主庫會生成一個 log dump 執行緒,用來給從庫 I/O 執行緒傳 binlog;

  4. SQL 執行緒會讀取 relay log 檔案中的日志,并決議成具體操作,來實作主從的操作一致,而最終資料一致;

圖片

作業程序

請求流程

MySQL 建立請求的主從的詳細流程如下:

  1. 當從服務器連接主服務器時,主服務器會創建一個 log dump 執行緒,用于發送 binlog 的內容,在讀取 binlog 的內容的操作中,會物件主節點上的 binlog 加鎖,當讀取完成并發送給從服務器后解鎖,

  2. 當從節點上執行 start slave 命令之后,從節點會創建一個 IO 執行緒用來連接主節點,請求主庫中更新 binlog,IO 執行緒接收主節點 binlog dump 行程發來的更新之后,保存到 relay-log 中,

  3. 從節點 SQL 執行緒負責讀取 realy-log 中的內容,決議成具體的操作執行,最終保證主從資料的一致性,

型別

異步復制

一個主庫,一個或多個從庫,資料異步同步到從庫,

圖片

異步復制

這種模式下,主節點不會主動推送資料到從節點,主庫在執行完客戶端提交的事務后會立即將結果返給給客戶端,并不關心從庫是否已經接收并處理,

這樣就會有一個問題,主節點如果崩潰掉了,此時主節點上已經提交的事務可能并沒有傳到從節點上,如果此時,強行將從提升為主,可能導致新主節點上的資料不完整,

同步復制

在 MySQL cluster 中特有的復制方式,

當主庫執行完一個事務,然后所有的從庫都復制了該事務并成功執行完才回傳成功資訊給客戶端,

因為需要等待所有從庫執行完該事務才能回傳成功資訊,所以全同步復制的性能必然會收到嚴重的影響,

半同步復制

在異步復制的基礎上,確保任何一個主庫上的事物在提交之前至少有一個從庫已經收到該事物并日志記錄下來,

圖片

半同步復制

介于異步復制和全同步復制之間,主庫在執行完客戶端提交的事務后不是立刻回傳給客戶端,而是等待至少一個從庫接收到并寫到 relay log 中才回傳成功資訊給客戶端(只能保證主庫的 Binlog 至少傳輸到了一個從節點上),否則需要等待直到超時時間然后切換成異步模式再提交,

相對于異步復制,半同步復制提高了資料的安全性,一定程度的保證了資料能成功備份到從庫,同時它也造成了一定程度的延遲,但是比全同步模式延遲要低,這個延遲最少是一個 TCP/IP 往返的時間,所以,半同步復制最好在低延時的網路中使用,

半同步模式不是 MySQL 內置的,從 MySQL 5.5 開始集成,需要 master 和 slave 安裝插件開啟半同步模式,

延遲復制

在異步復制的基礎上,人為設定主庫和從庫的資料同步延遲時間,即保證資料延遲至少是這個引數,

方式

MySQL 主從復制支持兩種不同的日志格式,這兩種日志格式也對應了各自的復制方式,當然也有二者相結合的混合型別復制,

陳述句復制

基于陳述句的復制相當于邏輯復制,即二進制日志中記錄了操作的陳述句,通過這些陳述句在從資料庫中重放來實作復制,

這種方式簡單,二進制檔案小,傳輸帶寬占用小,但是基于陳述句更新依賴于其它因素,比如插入資料時利用了時間戳,

因此在開發當中,我們應該盡量將業務邏輯邏輯放在代碼層,而不應該放在 MySQL 中,不易拓展,

特點

  • 傳輸效率高,減少延遲,

  • 在從庫更新不存在的記錄時,陳述句賦值不會失敗,而行復制會導致失敗,從而更早發現主從之間的不一致,

  • 設表里有一百萬條資料,一條sql更新了所有表,基于陳述句的復制僅需要發送一條sql,而基于行的復制需要發送一百萬條更新記錄

行資料復制

基于行的復制相當于物理復制,即二進制日志中記錄的實際更新資料的每一行,

這樣導致復制的壓力比較大,日志占用的空間大,傳輸帶寬占用大,但是這種方式比基于陳述句的復制要更加精確

特點

  • 不需要執行查詢計劃,

  • 不知道執行的到底是什么陳述句,

  • 例如一條更新用戶總積分的陳述句,需要統計用戶的所有積分再寫入用戶表,如果是基于陳述句復制的話,從庫需要再一次統計用戶的積分,而基于行復制就直接更新記錄,無需再統計用戶積分,

混合型別的復制

一般情況下,默認采用基于陳述句的復制,一旦發現基于陳述句無法精確復制時,就會采用基于行的復制,

配置

配置主要要點如下:

# 如果在雙主復制結構中沒有設定ID的話就會導致回圈同步問題
server_id=1

# 即日志中記錄的是陳述句還是行更新或者是混合
binlog_format=mixed

# 在進行n次事務提交以后,Mysql將執行一次fsync的磁盤同步指令,將緩沖區資料重繪到磁盤,
# 為0的話由Mysql自己控制頻率,
sync_binlog=n

# 為0的話,log buffer將每秒一次地寫入log file中并且重繪到磁盤,
# mysqld行程崩潰會丟失一秒內的所有事務,
# 為1的話,每次事務log buffer會寫入log file并重繪到磁盤,(較為安全)
# 在崩潰的時候,僅會丟失一個事務,
# 為2的話,每次事務log buffer會寫入log file,但一秒一次重繪到磁盤
innodb_flush_logs_at_trx_commit=0

# 阻止從庫崩潰后自動啟動復制,給一些時間來修復可能的問題,
# 崩潰后再自動復制可能會導致更多的問題,并且本身就是不一致的
skip_slave_start=1 

# 是否將從庫同步的事件也記錄到從庫自身的bin-log中
# 允許備庫將重放的事件也記錄到自身的二進制日志中去,可以將備庫當做另外一臺主庫的從庫
log_slave_update 

# 日志過期洗掉時間,延遲嚴重的話會導致日志檔案占用磁盤
expire_logs_days=7

問題

延遲

當主庫的 TPS 并發較高的時候,由于主庫上面是多執行緒寫入的,而從庫的SQL執行緒是單執行緒的,導致從庫SQL可能會跟不上主庫的處理速度

解決方法

  • 網路方面:盡量保證主庫和從庫之間的網路穩定,延遲較小;

  • 硬體方面:從庫配置更好的硬體,提升隨機寫的性能;

  • 配置方面:盡量使 MySQL 的操作在記憶體中完成,減少磁盤操作,或升級 MySQL5.7 版本使用并行復制;

  • 建構方面:在事務中盡量對主庫讀寫,其它非事務的讀在從庫,消除一部分延遲帶來的資料庫不一致,增加快取降低一些從庫的負載,

資料丟失

當主庫宕機后,資料可能丟失,

解決方法

使用半同步復制,可以解決資料丟失的問題,

注意事項

MySQL 需要注意以下事項:

  • MySQL 主從復制是 MySQL 高可用性,高性能(負載均衡)的基礎;

  • 簡單,靈活,部署方式多樣,可以根據不同業務場景部署不同復制結構;

  • 復制程序中應該時刻監控復制狀態,復制出錯或延時可能給系統造成影響;

  • MySQL 主從復制目前也存在一些問題,可以根據需要部署復制增強功能,

作用

主從復制帶來了很多好處,當我們的主服務器出現問題,可以切換到從服務器;可以進行資料庫層面的讀寫分離;可以在從資料庫上進行日常備份,還可以保證:

  1. 資料更安全:做了資料冗余,不會因為單臺服務器的宕機而丟失資料;

  2. 性能大大提升:一主多從,不同用戶從不同資料庫讀取,性能提升

  3. 擴展性更優:流量增大時,可以方便的增加從服務器,不影響系統使用;

  4. 負載均衡:一主多從相當于分擔了主機任務,做了負載均衡

應用場景

MySQL 主從復制集群功能使得 MySQL 資料庫支持大規模高并發讀寫成為可能,同時有效地保護了物理服務器宕機場景的資料備份

橫向擴展

將作業負載分發到各 Slave 節點上,從而提高系統性能,

在這個場景下,所有的寫(write)和更新(update)操作都在 Master 節點上完成;所有的讀( read)操作都在 Slave 節點上完成,通過增加更多的 Slave 節點,便能提高系統的讀取速度,

資料安全

資料從 Master 節點復制到 Slave 節點上,在 Slave 節點上可以暫停復制行程,可以在 Slave 節點上備份與 Master 節點對應的資料,而不用影響 Master 節點的運行,

資料分析

實時資料可以在 Master 節點上創建,而分析這些資料可以在 Slave 節點上進行,并且不會對 Master 節點的性能產生影響,

遠距離資料分布

可以利用復制在遠程主機上創建一份本地資料的副本,而不用持久的與Master節點連接,

拆分訪問

可以把幾個不同的從服務器,根據公司的業務進行拆分,通過拆分可以幫助減輕主服務器的壓力,還可以使資料庫對外部用戶瀏覽、內部用戶業務處理及 DBA 人員的備份等互不影響

轉載請註明出處,本文鏈接:https://www.uj5u.com/shujuku/286049.html

標籤:MySQL

上一篇:3、環境搭建-Linux上hadoop的全分布配置

下一篇:MYSQL性能優化-CPU/記憶體/磁盤

標籤雲
其他(157675) Python(38076) JavaScript(25376) Java(17977) C(15215) 區塊鏈(8255) C#(7972) AI(7469) 爪哇(7425) MySQL(7132) html(6777) 基礎類(6313) sql(6102) 熊猫(6058) PHP(5869) 数组(5741) R(5409) Linux(5327) 反应(5209) 腳本語言(PerlPython)(5129) 非技術區(4971) Android(4554) 数据框(4311) css(4259) 节点.js(4032) C語言(3288) json(3245) 列表(3129) 扑(3119) C++語言(3117) 安卓(2998) 打字稿(2995) VBA(2789) Java相關(2746) 疑難問題(2699) 细绳(2522) 單片機工控(2479) iOS(2429) ASP.NET(2402) MongoDB(2323) 麻木的(2285) 正则表达式(2254) 字典(2211) 循环(2198) 迅速(2185) 擅长(2169) 镖(2155) 功能(1967) .NET技术(1958) Web開發(1951) python-3.x(1918) HtmlCss(1915) 弹簧靴(1913) C++(1909) xml(1889) PostgreSQL(1872) .NETCore(1853) 谷歌表格(1846) Unity3D(1843) for循环(1842)

熱門瀏覽
  • GPU虛擬機創建時間深度優化

    **?桔妹導讀:**GPU虛擬機實體創建速度慢是公有云面臨的普遍問題,由于通常情況下創建虛擬機屬于低頻操作而未引起業界的重視,實際生產中還是存在對GPU實體創建時間有苛刻要求的業務場景。本文將介紹滴滴云在解決該問題時的思路、方法、并展示最終的優化成果。 從公有云服務商那里購買過虛擬主機的資深用戶,一 ......

    uj5u.com 2020-09-10 06:09:13 more
  • 可編程網卡芯片在滴滴云網路的應用實踐

    **?桔妹導讀:**隨著云規模不斷擴大以及業務層面對延遲、帶寬的要求越來越高,采用DPDK 加速網路報文處理的方式在橫向縱向擴展都出現了局限性。可編程芯片成為業界熱點。本文主要講述了可編程網卡芯片在滴滴云網路中的應用實踐,遇到的問題、帶來的收益以及開源社區貢獻。 #1. 資料中心面臨的問題 隨著滴滴 ......

    uj5u.com 2020-09-10 06:10:21 more
  • 滴滴資料通道服務演進之路

    **?桔妹導讀:**滴滴資料通道引擎承載著全公司的資料同步,為下游實時和離線場景提供了必不可少的源資料。隨著任務量的不斷增加,資料通道的整體架構也隨之發生改變。本文介紹了滴滴資料通道的發展歷程,遇到的問題以及今后的規劃。 #1. 背景 資料,對于任何一家互聯網公司來說都是非常重要的資產,公司的大資料 ......

    uj5u.com 2020-09-10 06:11:05 more
  • 滴滴AI Labs斬獲國際機器翻譯大賽中譯英方向世界第三

    **桔妹導讀:**深耕人工智能領域,致力于探索AI讓出行更美好的滴滴AI Labs再次斬獲國際大獎,這次獲獎的專案是什么呢?一起來看看詳細報道吧! 近日,由國際計算語言學協會ACL(The Association for Computational Linguistics)舉辦的世界最具影響力的機器 ......

    uj5u.com 2020-09-10 06:11:29 more
  • MPP (Massively Parallel Processing)大規模并行處理

    1、什么是mpp? MPP (Massively Parallel Processing),即大規模并行處理,在資料庫非共享集群中,每個節點都有獨立的磁盤存盤系統和記憶體系統,業務資料根據資料庫模型和應用特點劃分到各個節點上,每臺資料節點通過專用網路或者商業通用網路互相連接,彼此協同計算,作為整體提供 ......

    uj5u.com 2020-09-10 06:11:41 more
  • 滴滴資料倉庫指標體系建設實踐

    **桔妹導讀:**指標體系是什么?如何使用OSM模型和AARRR模型搭建指標體系?如何統一流程、規范化、工具化管理指標體系?本文會對建設的方法論結合滴滴資料指標體系建設實踐進行解答分析。 #1. 什么是指標體系 ##1.1 指標體系定義 指標體系是將零散單點的具有相互聯系的指標,系統化的組織起來,通 ......

    uj5u.com 2020-09-10 06:12:52 more
  • 單表千萬行資料庫 LIKE 搜索優化手記

    我們經常在資料庫中使用 LIKE 運算子來完成對資料的模糊搜索,LIKE 運算子用于在 WHERE 子句中搜索列中的指定模式。 如果需要查找客戶表中所有姓氏是“張”的資料,可以使用下面的 SQL 陳述句: SELECT * FROM Customer WHERE Name LIKE '張%' 如果需要 ......

    uj5u.com 2020-09-10 06:13:25 more
  • 滴滴Ceph分布式存盤系統優化之鎖優化

    **桔妹導讀:**Ceph是國際知名的開源分布式存盤系統,在工業界和學術界都有著重要的影響。Ceph的架構和演算法設計發表在國際系統領域頂級會議OSDI、SOSP、SC等上。Ceph社區得到Red Hat、SUSE、Intel等大公司的大力支持。Ceph是國際云計算領域應用最廣泛的開源分布式存盤系統, ......

    uj5u.com 2020-09-10 06:14:51 more
  • es~通過ElasticsearchTemplate進行聚合~嵌套聚合

    之前寫過《es~通過ElasticsearchTemplate進行聚合操作》的文章,這一次主要寫一個嵌套的聚合,例如先對sex集合,再對desc聚合,最后再對age求和,共三層嵌套。 Aggregations的部分特性類似于SQL語言中的group by,avg,sum等函式,Aggregation ......

    uj5u.com 2020-09-10 06:14:59 more
  • 爬蟲日志監控 -- Elastc Stack(ELK)部署

    傻瓜式部署,只需替換IP與用戶 導讀: 現ELK四大組件分別為:Elasticsearch(核心)、logstash(處理)、filebeat(采集)、kibana(可視化) 下載均在https://www.elastic.co/cn/downloads/下tar包,各組件版本最好一致,配合fdm會 ......

    uj5u.com 2020-09-10 06:15:05 more
最新发布
  • day02-2-商鋪查詢快取

    功能02-商鋪查詢快取 3.商鋪詳情快取查詢 3.1什么是快取? 快取就是資料交換的緩沖區(稱作Cache),是存盤資料的臨時地方,一般讀寫性能較高。 快取的作用: 降低后端負載 提高讀寫效率,降低回應時間 快取的成本: 資料一致性成本 代碼維護成本 運維成本 3.2需求說明 如下,當我們點擊商店詳 ......

    uj5u.com 2023-04-20 08:33:24 more
  • MySQL中binlog備份腳本分享

    關于MySQL的二進制日志(binlog),我們都知道二進制日志(binlog)非常重要,尤其當你需要point to point災難恢復的時侯,所以我們要對其進行備份。關于二進制日志(binlog)的備份,可以基于flush logs方式先切換binlog,然后拷貝&壓縮到到遠程服務器或本地服務器 ......

    uj5u.com 2023-04-20 08:28:06 more
  • day02-短信登錄

    功能實作02 2.功能01-短信登錄 2.1基于Session實作登錄 2.1.1思路分析 2.1.2代碼實作 2.1.2.1發送短信驗證碼 發送短信驗證碼: 發送驗證碼的介面為:http://127.0.0.1:8080/api/user/code?phone=xxxxx<手機號> 請求方式:PO ......

    uj5u.com 2023-04-20 08:27:27 more
  • 快取與資料庫雙寫一致性幾種策略分析

    本文將對幾種快取與資料庫保證資料一致性的使用方式進行分析。為保證高并發性能,以下分析場景不考慮執行的原子性及加鎖等強一致性要求的場景,僅追求最終一致性。 ......

    uj5u.com 2023-04-20 08:26:48 more
  • sql陳述句優化

    問題查找及措施 問題查找 需要找到具體的代碼,對其進行一對一優化,而非一直把關注點放在服務器和sql平臺 降低簡化每個事務中處理的問題,盡量不要讓一個事務拖太長的時間 例如檔案上傳時,應將檔案上傳這一步放在事務外面 微軟建議 4.啟動sql定時執行計劃 怎么啟動sqlserver代理服務-百度經驗 ......

    uj5u.com 2023-04-20 08:26:35 more
  • 云時代,MySQL到ClickHouse資料同步產品對比推薦

    ClickHouse 在執行分析查詢時的速度優勢很好的彌補了MySQL的不足,但是對于很多開發者和DBA來說,如何將MySQL穩定、高效、簡單的同步到 ClickHouse 卻很困難。本文對比了 NineData、MaterializeMySQL(ClickHouse自帶)、Bifrost 三款產品... ......

    uj5u.com 2023-04-20 08:26:29 more
  • sql陳述句優化

    問題查找及措施 問題查找 需要找到具體的代碼,對其進行一對一優化,而非一直把關注點放在服務器和sql平臺 降低簡化每個事務中處理的問題,盡量不要讓一個事務拖太長的時間 例如檔案上傳時,應將檔案上傳這一步放在事務外面 微軟建議 4.啟動sql定時執行計劃 怎么啟動sqlserver代理服務-百度經驗 ......

    uj5u.com 2023-04-20 08:25:13 more
  • Redis 報”OutOfDirectMemoryError“(堆外記憶體溢位)

    Redis 報錯“OutOfDirectMemoryError(堆外記憶體溢位) ”問題如下: 一、報錯資訊: 使用 Redis 的業務介面 ,產生 OutOfDirectMemoryError(堆外記憶體溢位),如圖: 格式化后的報錯資訊: { "timestamp": "2023-04-17 22: ......

    uj5u.com 2023-04-20 08:24:54 more
  • day02-2-商鋪查詢快取

    功能02-商鋪查詢快取 3.商鋪詳情快取查詢 3.1什么是快取? 快取就是資料交換的緩沖區(稱作Cache),是存盤資料的臨時地方,一般讀寫性能較高。 快取的作用: 降低后端負載 提高讀寫效率,降低回應時間 快取的成本: 資料一致性成本 代碼維護成本 運維成本 3.2需求說明 如下,當我們點擊商店詳 ......

    uj5u.com 2023-04-20 08:24:03 more
  • day02-短信登錄

    功能實作02 2.功能01-短信登錄 2.1基于Session實作登錄 2.1.1思路分析 2.1.2代碼實作 2.1.2.1發送短信驗證碼 發送短信驗證碼: 發送驗證碼的介面為:http://127.0.0.1:8080/api/user/code?phone=xxxxx<手機號> 請求方式:PO ......

    uj5u.com 2023-04-20 08:23:11 more