主頁 > 資料庫 > MySQL中如何選擇合適的備份策略和備份工具

MySQL中如何選擇合適的備份策略和備份工具

2021-10-17 06:27:37 資料庫

?資料庫備份的重要性毋庸置疑,可以說,它是資料安全的最后一道防線,鑒于此,對于備份,我們通常會做以下要求:

  • 多地部署

    對于核心資料庫,我們通常有兩地三中心的部署要求,對于備份來說,也是如此,

    一個備份應該有多個副本,每個副本存盤在不同區域,

  • 多介質部署

    一個備份的多個副本應存盤在不同介質上,如磁盤和磁帶,防止單一介質失效,

  • 定期檢查備份的有效性

    備份只是在做正確的事情,有沒有把事情做對,還得依靠備份的有效性檢查,

前兩項,在條件允許的情況下,建議做,第三項必須做,

接下來,我們聊聊備份的相關話題,主要包括以下五方面的內容:

  1. 備份的常見分類,
  2. MySQL中的備份工具,
  3. mysqlbackup與mysqldump的備份恢復速度對比,
  4. 如何檢測備份的有效性,
  5. RTO和RPO ,

備份的常見分類

物理備份 VS 邏輯備份

物理備份,顧名思義,就是備份物理檔案,其優缺點如下:

優點:

  • 備份、恢復速度快,

    尤其是恢復速度,直接關系著資料庫服務的RTO,

  • 無需實體在線,

    在實體關閉的情況下,可直接拷貝檔案,不用擔心備份的一致性,

    關閉實體進行備份,也稱之為 “冷備” ,

缺點:

  • 備份檔案大,

  • 恢復時,對平臺、作業系統、MySQL版本有要求,必須一致或兼容,

  • 只能在本地發起備份,

  • 因為是拷貝物理檔案,即使檔案中存在很多“空洞”(大量DELETE導致),也無法通過恢復來收縮 ,

  • 對表的存盤引擎有要求,無法備份MEMORY表,

邏輯備份,備份表的邏輯記錄,其優缺點如下:

優點:

  • 可移植性強,恢復時,對平臺、作業系統、MySQL版本無要求,

  • 靈活,尤其是在恢復時,可只恢復一個庫或一張表,

  • 對表的存盤引擎沒有要求,任何型別的表都可備份,

  • 備份檔案較小,

  • 可遠程發起備份,

  • 恢復后,能有效收縮空間,

缺點:

  • 備份、恢復速度慢,

    實際上,單論備份速度,多執行緒備份其實也不慢,但恢復速度呢,即使是多執行緒恢復,也很慢,

  • 備份會"污染"Buffer Pool,

    業務熱點資料會被備份資料驅逐出Buffer Pool ,

離線備份 VS 在線備份

離線備份,又可稱之為 "冷備",即實體關閉的情況下進行的備份,此時,只能進行物理備份,即全量拷貝物理檔案,

在線備份,又可稱之為 "熱備",即實體運行程序中進行的備份,此時,既可進行物理備份,又可進行邏輯備份,

因對業務侵入較小,線上一般使用在線備份,

全量備份 VS 增量備份

全量備份,即備份整個實體的全量資料,

增量備份,即只備份上次備份以來,那些發生了"變化"的資料,

通常來說,基于物理備份來實作增量備份較為簡單,以MySQL為例,只需判斷資料頁的LSN是否發生了變化,

而對于邏輯備份,就很難實作,如常見的基于某個時間欄位來進行增量備份,但其實,很難保證某個時間段之前的資料不被修改或洗掉,

MySQL中的備份工具

物理備份

物理備份相關的工具有:

  • XtraBackup

    Percona公司開源的備份工具,適用于MySQL、MariaDB、Percona Server,

    https://www.percona.com/software/mysql-database/percona-xtrabackup

    XtraBackup目前維護的大版本有兩個:

    1. XtraBackup 2.4,適用于MySQL 5.6和5.7,

    2. XtraBackup 8.0,適用于 MySQL 8.0,

    之所以要維護兩個版本,是因為MySQL 8.0中的redo log和資料字典的格式發生了變化,

  • mysqlbackup

    MySQL企業級備份工具( MySQL Enterprise Backup ),適用于MySQL企業版,

    https://dev.mysql.com/doc/mysql-enterprise-backup/4.1/en/mysqlbackup.html

  • Clone Plugin

    MySQL 8.0.17引入的克隆插件,初衷是為了方便Group Replication添加新的節點,有了Clone Plugin,我們也能很方便的搭建一個從庫,無需借助其它備份工具,

三者的實作原理基本相同,都是在備份的程序中,拷貝物理檔案和redo log ,最后,再利用InnoDB Crash Recovery,將物理檔案恢復到備份結束時的一致性狀態,

邏輯備份

邏輯備份相關的工具有:

  • mysqldump

    MySQL安裝包自帶的備份工具,單執行緒備份,

  • mydumper

    由Facebook、SkySQL、Oracle和Percona開發人員維護的一個多執行緒備份工具,可實作行級別的并行備份,

  • https://github.com/maxbube/mydumper

  • mysqlpump

    MySQL 5.7引入的備份工具,可實作表級別的并行備份,

  • MySQL Shell

    MySQL Shell 8.0.21引入了一個工具-util.dumpInstance(),可實作行級別的并行備份,

    這個工具對備份實體和恢復實體的版本有要求:備份實體 >= 5.6,恢復實體 >= 5.7,

  • SELECT ... INTO OUTFILE

    SQL命令,可將表記錄直接匯出到檔案中,

下面說說這幾個工具的異同點:

  1. 從實作原理來看,mysqldump、 mydumper、mysqlpump、 MySQL Shell可歸為一類,本質上都是通過SELECT * FROM TABLE的方式備份資料,只不過在此基礎上,通過全域讀鎖 + REPEATABLE READ事務隔離級別,實作了資料庫的一致性備份,

  2. SELECT ... INTO OUTFILE 充其量只是一個命令,算不上工具,更不用說資料庫的一致性備份,

  3. 從匯出的內容來看,mysqldump、mydumper、mysqlpump 會以INSERT陳述句的形式保存備份結果,如,

    INSERT INTO `t1` VALUES (1,'aaa'),(2,'bbb'),(3,'ccc');

    而 MySQL Shell和SELECT ... INTO OUTFILE 是以CSV格式的形式保存備份結果,如,

    1       aaa
    2       bbb
    3       ccc
  4. 在恢復,各個工具對應的恢復工具也不一樣,具體來說,

    mysqldump、mysqlpump對應的恢復工具是mysql客戶端,所以是單執行緒恢復,

    mydumper對應的恢復工具是myloader,支持多執行緒恢復,

    util.dumpInstance()對應的恢復工具是util.loadDump(),該工具實際呼叫的是LOAD DATA LOCAL INFILE命令,支持多執行緒恢復,

    SELECT ... INTO OUTFILE對應的恢復命令是LOAD DATA,

mysqlbackup VS mysqldump

下面是MySQL官方提供的一組資料,對比了mysqlbackup和mysqldump備份恢復時間,

 

 

  

第一張圖比較的是備份時間,mysqldump是mysqlbackup的49倍,

第二張圖比較的是恢復時間,mysqldump是mysqlbackup的80倍,

借此,我們也能看到邏輯備份工具相對于物理備份工具在備份、還原速度上的差距,

不過可惜的是,這里沒有測驗mydumper,

畢竟,針對資料量較大的實體,如果一定要使用邏輯備份,大家一般傾向于使用mydumper,而不是mysqldump,

如何檢測備份的有效性

為什么要檢測備份的有效性,原因主要有兩個:

  1. 驗證整個備份環節的可靠性,

    包括備份引數是否完備,備份集是否有效,備份介質是否損壞等,

  2. 通過檢查備份的有效性,搭建一套完整的自動化恢復體系,

    很多時候,影響資料庫恢復時間的并不是備份集太老,而是手動恢復程序中,因為命令、環境、流程的不熟悉,所帶來的額外耗時,

如何檢測備份的有效性,常用的方法有三個:

  1. 基于備份恢復實體,看實體能否起來,并在此基礎上,進行隨機查詢,

    這種檢測方法最簡單,

    一般來說,實體能起來,且隨機查詢也沒問題,就意味著這個備份集是可用的,

    但備份集可用,并不意味著這個備份集能滿足我們的需求,譬如常見的,搭建從庫,

    而且一些常見的問題,如備份中斷、引數沒指定準確,也無法通過這種方式檢測出來,

  2. 在1的基礎上,建立復制,

    如果從庫在追主庫的程序中,沒有報錯,大概率意味著主從資料是一致的,當然,也只是大概率,并不是100%,

  3. 在2的基礎上,利用pt-table-checksum檢查主從資料的一致性,

    如果檢查結果沒問題,則意味著主從資料是一致的,也就間接證明了備份的有效性,

    但因為pt-table-checksum在運行的程序中,會在chunk級別對表加S鎖,對更新頻繁的業務,還是有一定的影響,

一般來說,線上使用方法2足矣,

方法3,因為要檢查主從資料的一致性,耗時相對較久,如果要檢測的備份集很多,反而會影響檢測的效率,

RTO 和 RPO

衡量一個資料中心的容災能力時,有兩個常用的指標:

  • RTO:Recovery Time Objective,恢復時間目標,

    指的是災難發生后,必須在這個時間內恢復資料,

    在恢復資料的這段時間內,服務是不可用的,所以RTO也是服務可允許的最大不可用時間,如果我們要求服務的最大不可用時間是30分鐘,那么RTO就是30分鐘,

    RTO 越小,代表容災系統的恢復能力越強,

  • RPO:Recovery Point Objective,資料恢復點目標,

    指的是災難發生后,資料可以恢復到的時間點,

    譬如,我有一個系統,每天0點進行一次全備,當系統出現故障后,會基于上一次的備份來恢復,如果系統在凌晨3點出現故障,我們會丟失3個小時的資料,極端情況下,系統在23:59出現故障,我們會丟失24個小時的資料,這里的24小時就是這個系統的RPO ,

    RPO越小,代表系統越能保證資料的完整性,

RTO、RPO與災難在時間軸上的關系如下圖所示:

 

  

可以看到,RPO針對的是資料丟失,RTO針對的是服務宕機時間,兩者之間沒有必然的聯系,

最理想的情況是RTO和RPO都為0,這就意味著當災難發生時,系統會立即恢復,而且資料不會丟失,當然,RTO、RPO越小,需要投入的成本也越高,

具體到MySQL中,為了降低RTO和RPO,我們可以從以下幾個方面著手:

RTO

  1. 增加備份頻率,縮短備份周期,

  2. 選擇物理備份,而不是邏輯備份,

  3. 添加延遲從庫,

  4. 恢復流程的自動化,

RPO

  1. 增加備份頻率,縮短備份周期,

  2. 搭建Binlog Server備份Binlog,當出現故障時,我們可以基于備份和Binlog做基于時間點的恢復,

  3. 添加延遲從庫,

總結

從RTO的角度出發,應盡量選擇物理備份,而不是邏輯備份,如果要使用邏輯備份,應盡量選擇多執行緒備份工具和多執行緒恢復工具,

從RPO的角度出發,應盡量增加備份頻率,縮短備份周期,

但 every coin has two sides,使用物理備份或者增加備份頻率,無疑會增加存盤成本,

所以,在確定備份策略和選擇備份工具時,應從業務的RTO和RPO出發,結合存盤成本綜合考慮,

大多數公司會采取一個統一的備份策略,如一天一個全備,雖然災難情況很少出現,開發和DBA童鞋也應充分理解到這里面的風險,并制定相應的預案及業務兜底方案,

另外,對于線上核心業務,如果只有備份,還是很難有效降低資料庫服務的RTO和RPO,建議部署延遲從庫,

參考

[1] 關于RTO,你理解對了嗎?

[2] 恢復時間目標 (RTO) 和恢復點目標 (RPO) 

[3] MySQL Enterprise Backup https://www.mysql.com/cn/products/enterprise/backup.html

轉載請註明出處,本文鏈接:https://www.uj5u.com/shujuku/319610.html

標籤:MySQL

上一篇:干貨 | 如何為已有的 ambari 集群修改主機名

下一篇:MySQL中如何選擇合適的備份策略和備份工具

標籤雲
其他(157675) Python(38076) JavaScript(25376) Java(17977) C(15215) 區塊鏈(8255) C#(7972) AI(7469) 爪哇(7425) MySQL(7132) html(6777) 基礎類(6313) sql(6102) 熊猫(6058) PHP(5869) 数组(5741) R(5409) Linux(5327) 反应(5209) 腳本語言(PerlPython)(5129) 非技術區(4971) Android(4554) 数据框(4311) css(4259) 节点.js(4032) C語言(3288) json(3245) 列表(3129) 扑(3119) C++語言(3117) 安卓(2998) 打字稿(2995) VBA(2789) Java相關(2746) 疑難問題(2699) 细绳(2522) 單片機工控(2479) iOS(2429) ASP.NET(2402) MongoDB(2323) 麻木的(2285) 正则表达式(2254) 字典(2211) 循环(2198) 迅速(2185) 擅长(2169) 镖(2155) 功能(1967) .NET技术(1958) Web開發(1951) python-3.x(1918) HtmlCss(1915) 弹簧靴(1913) C++(1909) xml(1889) PostgreSQL(1872) .NETCore(1853) 谷歌表格(1846) Unity3D(1843) for循环(1842)

熱門瀏覽
  • GPU虛擬機創建時間深度優化

    **?桔妹導讀:**GPU虛擬機實體創建速度慢是公有云面臨的普遍問題,由于通常情況下創建虛擬機屬于低頻操作而未引起業界的重視,實際生產中還是存在對GPU實體創建時間有苛刻要求的業務場景。本文將介紹滴滴云在解決該問題時的思路、方法、并展示最終的優化成果。 從公有云服務商那里購買過虛擬主機的資深用戶,一 ......

    uj5u.com 2020-09-10 06:09:13 more
  • 可編程網卡芯片在滴滴云網路的應用實踐

    **?桔妹導讀:**隨著云規模不斷擴大以及業務層面對延遲、帶寬的要求越來越高,采用DPDK 加速網路報文處理的方式在橫向縱向擴展都出現了局限性。可編程芯片成為業界熱點。本文主要講述了可編程網卡芯片在滴滴云網路中的應用實踐,遇到的問題、帶來的收益以及開源社區貢獻。 #1. 資料中心面臨的問題 隨著滴滴 ......

    uj5u.com 2020-09-10 06:10:21 more
  • 滴滴資料通道服務演進之路

    **?桔妹導讀:**滴滴資料通道引擎承載著全公司的資料同步,為下游實時和離線場景提供了必不可少的源資料。隨著任務量的不斷增加,資料通道的整體架構也隨之發生改變。本文介紹了滴滴資料通道的發展歷程,遇到的問題以及今后的規劃。 #1. 背景 資料,對于任何一家互聯網公司來說都是非常重要的資產,公司的大資料 ......

    uj5u.com 2020-09-10 06:11:05 more
  • 滴滴AI Labs斬獲國際機器翻譯大賽中譯英方向世界第三

    **桔妹導讀:**深耕人工智能領域,致力于探索AI讓出行更美好的滴滴AI Labs再次斬獲國際大獎,這次獲獎的專案是什么呢?一起來看看詳細報道吧! 近日,由國際計算語言學協會ACL(The Association for Computational Linguistics)舉辦的世界最具影響力的機器 ......

    uj5u.com 2020-09-10 06:11:29 more
  • MPP (Massively Parallel Processing)大規模并行處理

    1、什么是mpp? MPP (Massively Parallel Processing),即大規模并行處理,在資料庫非共享集群中,每個節點都有獨立的磁盤存盤系統和記憶體系統,業務資料根據資料庫模型和應用特點劃分到各個節點上,每臺資料節點通過專用網路或者商業通用網路互相連接,彼此協同計算,作為整體提供 ......

    uj5u.com 2020-09-10 06:11:41 more
  • 滴滴資料倉庫指標體系建設實踐

    **桔妹導讀:**指標體系是什么?如何使用OSM模型和AARRR模型搭建指標體系?如何統一流程、規范化、工具化管理指標體系?本文會對建設的方法論結合滴滴資料指標體系建設實踐進行解答分析。 #1. 什么是指標體系 ##1.1 指標體系定義 指標體系是將零散單點的具有相互聯系的指標,系統化的組織起來,通 ......

    uj5u.com 2020-09-10 06:12:52 more
  • 單表千萬行資料庫 LIKE 搜索優化手記

    我們經常在資料庫中使用 LIKE 運算子來完成對資料的模糊搜索,LIKE 運算子用于在 WHERE 子句中搜索列中的指定模式。 如果需要查找客戶表中所有姓氏是“張”的資料,可以使用下面的 SQL 陳述句: SELECT * FROM Customer WHERE Name LIKE '張%' 如果需要 ......

    uj5u.com 2020-09-10 06:13:25 more
  • 滴滴Ceph分布式存盤系統優化之鎖優化

    **桔妹導讀:**Ceph是國際知名的開源分布式存盤系統,在工業界和學術界都有著重要的影響。Ceph的架構和演算法設計發表在國際系統領域頂級會議OSDI、SOSP、SC等上。Ceph社區得到Red Hat、SUSE、Intel等大公司的大力支持。Ceph是國際云計算領域應用最廣泛的開源分布式存盤系統, ......

    uj5u.com 2020-09-10 06:14:51 more
  • es~通過ElasticsearchTemplate進行聚合~嵌套聚合

    之前寫過《es~通過ElasticsearchTemplate進行聚合操作》的文章,這一次主要寫一個嵌套的聚合,例如先對sex集合,再對desc聚合,最后再對age求和,共三層嵌套。 Aggregations的部分特性類似于SQL語言中的group by,avg,sum等函式,Aggregation ......

    uj5u.com 2020-09-10 06:14:59 more
  • 爬蟲日志監控 -- Elastc Stack(ELK)部署

    傻瓜式部署,只需替換IP與用戶 導讀: 現ELK四大組件分別為:Elasticsearch(核心)、logstash(處理)、filebeat(采集)、kibana(可視化) 下載均在https://www.elastic.co/cn/downloads/下tar包,各組件版本最好一致,配合fdm會 ......

    uj5u.com 2020-09-10 06:15:05 more
最新发布
  • day02-2-商鋪查詢快取

    功能02-商鋪查詢快取 3.商鋪詳情快取查詢 3.1什么是快取? 快取就是資料交換的緩沖區(稱作Cache),是存盤資料的臨時地方,一般讀寫性能較高。 快取的作用: 降低后端負載 提高讀寫效率,降低回應時間 快取的成本: 資料一致性成本 代碼維護成本 運維成本 3.2需求說明 如下,當我們點擊商店詳 ......

    uj5u.com 2023-04-20 08:33:24 more
  • MySQL中binlog備份腳本分享

    關于MySQL的二進制日志(binlog),我們都知道二進制日志(binlog)非常重要,尤其當你需要point to point災難恢復的時侯,所以我們要對其進行備份。關于二進制日志(binlog)的備份,可以基于flush logs方式先切換binlog,然后拷貝&壓縮到到遠程服務器或本地服務器 ......

    uj5u.com 2023-04-20 08:28:06 more
  • day02-短信登錄

    功能實作02 2.功能01-短信登錄 2.1基于Session實作登錄 2.1.1思路分析 2.1.2代碼實作 2.1.2.1發送短信驗證碼 發送短信驗證碼: 發送驗證碼的介面為:http://127.0.0.1:8080/api/user/code?phone=xxxxx<手機號> 請求方式:PO ......

    uj5u.com 2023-04-20 08:27:27 more
  • 快取與資料庫雙寫一致性幾種策略分析

    本文將對幾種快取與資料庫保證資料一致性的使用方式進行分析。為保證高并發性能,以下分析場景不考慮執行的原子性及加鎖等強一致性要求的場景,僅追求最終一致性。 ......

    uj5u.com 2023-04-20 08:26:48 more
  • sql陳述句優化

    問題查找及措施 問題查找 需要找到具體的代碼,對其進行一對一優化,而非一直把關注點放在服務器和sql平臺 降低簡化每個事務中處理的問題,盡量不要讓一個事務拖太長的時間 例如檔案上傳時,應將檔案上傳這一步放在事務外面 微軟建議 4.啟動sql定時執行計劃 怎么啟動sqlserver代理服務-百度經驗 ......

    uj5u.com 2023-04-20 08:26:35 more
  • 云時代,MySQL到ClickHouse資料同步產品對比推薦

    ClickHouse 在執行分析查詢時的速度優勢很好的彌補了MySQL的不足,但是對于很多開發者和DBA來說,如何將MySQL穩定、高效、簡單的同步到 ClickHouse 卻很困難。本文對比了 NineData、MaterializeMySQL(ClickHouse自帶)、Bifrost 三款產品... ......

    uj5u.com 2023-04-20 08:26:29 more
  • sql陳述句優化

    問題查找及措施 問題查找 需要找到具體的代碼,對其進行一對一優化,而非一直把關注點放在服務器和sql平臺 降低簡化每個事務中處理的問題,盡量不要讓一個事務拖太長的時間 例如檔案上傳時,應將檔案上傳這一步放在事務外面 微軟建議 4.啟動sql定時執行計劃 怎么啟動sqlserver代理服務-百度經驗 ......

    uj5u.com 2023-04-20 08:25:13 more
  • Redis 報”OutOfDirectMemoryError“(堆外記憶體溢位)

    Redis 報錯“OutOfDirectMemoryError(堆外記憶體溢位) ”問題如下: 一、報錯資訊: 使用 Redis 的業務介面 ,產生 OutOfDirectMemoryError(堆外記憶體溢位),如圖: 格式化后的報錯資訊: { "timestamp": "2023-04-17 22: ......

    uj5u.com 2023-04-20 08:24:54 more
  • day02-2-商鋪查詢快取

    功能02-商鋪查詢快取 3.商鋪詳情快取查詢 3.1什么是快取? 快取就是資料交換的緩沖區(稱作Cache),是存盤資料的臨時地方,一般讀寫性能較高。 快取的作用: 降低后端負載 提高讀寫效率,降低回應時間 快取的成本: 資料一致性成本 代碼維護成本 運維成本 3.2需求說明 如下,當我們點擊商店詳 ......

    uj5u.com 2023-04-20 08:24:03 more
  • day02-短信登錄

    功能實作02 2.功能01-短信登錄 2.1基于Session實作登錄 2.1.1思路分析 2.1.2代碼實作 2.1.2.1發送短信驗證碼 發送短信驗證碼: 發送驗證碼的介面為:http://127.0.0.1:8080/api/user/code?phone=xxxxx<手機號> 請求方式:PO ......

    uj5u.com 2023-04-20 08:23:11 more