主頁 > 資料庫 > 技術干貨 從DBA視角看資料庫運維管理平臺

技術干貨 從DBA視角看資料庫運維管理平臺

2023-03-23 10:04:45 資料庫

  • GreatSQL社區原創內容未經授權不得隨意使用,轉載請聯系小編并注明來源,
  • GreatSQL是MySQL的國產分支版本,使用上與MySQL一致,
  • 作者: z
  • 文章來源:GreatSQL社區原創

DBA崗位會被云服務平臺取代嗎?

前段時間看到網上的一篇文章《你怎么還在招聘DBA?》,引發網友熱議,文章大致內容是講DBA的作業價值與云廠商資料庫運維管理平臺服務價值兩者之間的PK,作者原文對DBA崗位的看法總結如下, DBA無論高中低級,就是干這幾個事情:

  1. 安裝和部署DB, 讓它跑起來(up and running);
  2. 保證DB別掛了(Availability);
  3. 保證DB資料別丟了(Durability);
  4. 防止壞人訪問DB(Security);
  5. 別讓Dev搞砸資料庫(DB Modelling and Performance tuning);
  6. 領導交辦的打雜事項,

云服務把DBA的作業都做了,那么一個程式員, 用云廠商的資料庫服務平臺, 能不能完成上述任務呢?

從以上6點總結,一切話題聚焦在DBA的作業價值,轉而推崇“開發者+云服務比DBA高效十倍”,“DBA帶來的損害已經高于其價值”,言論相對激進,

不過不可否認,資料庫運維管理或服務平臺提供的價值,確實已經取代了一部分DBA低價值的作業,其實不是不需要DBA,而是把一些高度專業性、依賴高級DBA經驗、比較復雜的的問題集成到管理平臺產品中,提供流程化的解決辦法,釋放DBA重復和冗余的操作,避免專案上線、定位等全靠高技術人員支撐,人員不足的瓶頸問題,

INGASDAW1584165

圖片

DBA們及客戶期待的資料庫運維管理平臺是什么樣的?

云技術的應用和發展對資料庫運維管理提出了更多、更高的要求,特別是在資料庫國產化替換上,應該將DBA的更多基礎類作業轉移到管理平臺上,解放一部分生產力,客戶更關注的是資料庫管理的TCO(Total Cost of Ownership)總體擁有成本投入,那么,資料庫運維管理平臺應該提供或具備以下能力:

1、保障核心業務系統做到全方位、精準化的運維管理,

核心方法以通過監控、告警、巡檢、運維知識庫集成等手段確保資料庫的高效穩定運行,避免靠人力監督的方式做運維,用戶角度是希望硬體資源利用率達到最大化,避免計算資源的浪費和長期空載,降本增效,

2、保障在資料庫架構管理識別上,實作一定的靈活性,

無論是并行大規模的集中交付,還是將已有業務接入運維管理平臺,都需要平臺根據用戶業務做靈活的適配和可定制化的統一管理,如MySQL資料庫生態中,無論是集中式的一主多從還是雙主復制、或中間件、MGR等,都能在監控大屏中全域總覽,并獨立訪問各架構的負載和拓撲狀態,即1中所提的全方位和精準把控,

3、在IaaS層資源支持上,提供快速標準化兼容和適配,

如國產芯片、作業系統、存盤型別、平臺等,運維管理平臺能降低對硬體、作業系統版本、廠商的差異敏感度,提供流程化、標準化、規范化的統一檢查和配置,如硬體平臺識別、os依賴預檢和部署調度等,這樣一來,DBA們在國產化POC中就不用時刻攜帶U盤,考慮裝哪些檢測腳本、依賴包,怎么做查驗和調參改配了,也是在用戶私有化交付環境中,管理平臺提高效率解決問題的一種具體體現,

4、云管平臺不能包打天下,適合所有用戶,

云廠商資料庫管理平臺的服務價值不可否認,給私有云環境提供了很多思路,但云管平臺不見得能包打天下,適合所有用戶,如:云資料庫的性能問題,以及為解決性能問題而提供的付費優化服務,將業務SQL發現、分析、改造托管到平臺上,依靠平臺的性能分析服務來優化、解決性能問題,顯然不太樂觀,此外,僅是獨立功能付費選項就足以把人勸退,性價比不高,且云平臺無法滿足個性化定制需求,因云平臺定位是面向云環境,云資料庫等,基本二次開發或定制的可能性不太大,且并非所有用戶業務都適合遷移上云,

因此,一款適用于私有云或物理硬體環境的平臺,同時支持用戶業務定制,兼顧降本增效使命的資料庫管理平臺必不可少,比如GreatADM資料庫管理平臺,也許是一個不錯的選擇,

GreatADM是什么,具備哪些能力?

GreatADM(GreatDB Administrator Platform,以下簡稱 GreatADM)是萬里資料庫自主研發的一款資料庫運維管理平臺,GreatADM提供穩定、高效、易用的管理平臺,支持萬里安全資料庫分布式和集中式的運維管理需求,以及MySQL生態產品,

GreatADM提供從安裝部署、運行管理,到資源擴縮,問題定位和性能分析等全鏈路的管理支持,極大地降低了標準化交付和運維管理的難度,有效支撐企業業務持續穩定運行,為企業發展真正做到增效、節能、降本,

圖片(GreatADM 架構圖)

GreatADM平臺能力

1、敏捷交付模式

在專案快速交付的需求場景下,從管理員角度出發,針對不同OS、不同架構的資料庫高可用方案,GreatADM可實作快速并行交付,它支持萬里安全資料庫分布式和集中式、金融三節點、 MGR、雙機高可用、傳統主從、雙主雙從和單實體的標準化批量部署,目前,GreatADM已兼容國內多家作業系統,如拓林思、麒麟、龍蜥、歐拉、BClinux等系統,

2、集中納管模式

作為敏捷交付模式的補充,GreatADM從用戶角度出發,針對用戶原始分散業務提供集中化的平臺管理服務,支持用戶接入萬里安全資料庫分布式和集中式資料庫,以及用戶自建環境的MySQL,包括用戶傳統一主多從、雙主+keepalived、MGR等資料庫架構都能快速接入平臺,并提供軟體包分類管理、實體申請與銷毀、系統監控與告警、備份與恢復、性能優化等能力,

![圖片](data:image/svg+xml,%3C%3Fxml version='1.0' encoding='UTF-8'%3F%3E%3Csvg width='1px' height='1px' viewBox='0 0 1 1' version='1.1' xmlns='http://www.w3.org/2000/svg' xmlns:xlink='http://www.w3.org/1999/xlink'%3E%3Ctitle%3E%3C/title%3E%3Cg stroke='none' stroke-width='1' fill='none' fill-rule='evenodd' fill-opacity='0'%3E%3Cg transform='translate(-249.000000, -126.000000)' fill='%23FFFFFF'%3E%3Crect x='249' y='126' width='1' height='1'%3E%3C/rect%3E%3C/g%3E%3C/g%3E%3C/svg%3E)

3、統一運維管理模式

GreatADM可為用戶提供包括資料庫的實體管理、節點擴縮容、實體運行分析、監控告警、安全審計、SQL開發、備份恢復和運行趨勢預判等服務,旨在降低DBA一對多的資料庫運維管理作業量,有效覆寫絕大多數運維需求場景,釋放DBA日常運維作業壓力,解決運維程序中重復性操作、定位故障難度大、診斷嚴重依賴人力和經驗判斷等問題,提升運維效率,

GreatADM 支持的拓撲結構預覽:

![圖片](data:image/svg+xml,%3C%3Fxml version='1.0' encoding='UTF-8'%3F%3E%3Csvg width='1px' height='1px' viewBox='0 0 1 1' version='1.1' xmlns='http://www.w3.org/2000/svg' xmlns:xlink='http://www.w3.org/1999/xlink'%3E%3Ctitle%3E%3C/title%3E%3Cg stroke='none' stroke-width='1' fill='none' fill-rule='evenodd' fill-opacity='0'%3E%3Cg transform='translate(-249.000000, -126.000000)' fill='%23FFFFFF'%3E%3Crect x='249' y='126' width='1' height='1'%3E%3C/rect%3E%3C/g%3E%3C/g%3E%3C/svg%3E)(GreatDBRouter高可用方案拓撲架構)

![圖片](data:image/svg+xml,%3C%3Fxml version='1.0' encoding='UTF-8'%3F%3E%3Csvg width='1px' height='1px' viewBox='0 0 1 1' version='1.1' xmlns='http://www.w3.org/2000/svg' xmlns:xlink='http://www.w3.org/1999/xlink'%3E%3Ctitle%3E%3C/title%3E%3Cg stroke='none' stroke-width='1' fill='none' fill-rule='evenodd' fill-opacity='0'%3E%3Cg transform='translate(-249.000000, -126.000000)' fill='%23FFFFFF'%3E%3Crect x='249' y='126' width='1' height='1'%3E%3C/rect%3E%3C/g%3E%3C/g%3E%3C/svg%3E)(GreatADM 管理MGR組復制拓撲)

![圖片](data:image/svg+xml,%3C%3Fxml version='1.0' encoding='UTF-8'%3F%3E%3Csvg width='1px' height='1px' viewBox='0 0 1 1' version='1.1' xmlns='http://www.w3.org/2000/svg' xmlns:xlink='http://www.w3.org/1999/xlink'%3E%3Ctitle%3E%3C/title%3E%3Cg stroke='none' stroke-width='1' fill='none' fill-rule='evenodd' fill-opacity='0'%3E%3Cg transform='translate(-249.000000, -126.000000)' fill='%23FFFFFF'%3E%3Crect x='249' y='126' width='1' height='1'%3E%3C/rect%3E%3C/g%3E%3C/g%3E%3C/svg%3E)(MySQL傳統主從復制拓撲)

![圖片](data:image/svg+xml,%3C%3Fxml version='1.0' encoding='UTF-8'%3F%3E%3Csvg width='1px' height='1px' viewBox='0 0 1 1' version='1.1' xmlns='http://www.w3.org/2000/svg' xmlns:xlink='http://www.w3.org/1999/xlink'%3E%3Ctitle%3E%3C/title%3E%3Cg stroke='none' stroke-width='1' fill='none' fill-rule='evenodd' fill-opacity='0'%3E%3Cg transform='translate(-249.000000, -126.000000)' fill='%23FFFFFF'%3E%3Crect x='249' y='126' width='1' height='1'%3E%3C/rect%3E%3C/g%3E%3C/g%3E%3C/svg%3E)(GreatADM 用戶定制拓撲)

從自身需求出發,做一款簡單、易用、功能強大的資料庫運維管理平臺,降低資料庫管理門檻,釋放DBA壓力,

  • GreatADM 一鍵安裝
  • GreatADM一鍵升級
  • GreatADM一鍵高可用部署
  • GreatADM一鍵調整資源用量

僅僅需要

安裝:./adm_install.sh   install  
卸載:./adm_install.sh  uninstall
升級更新:./adm_install.sh  upgrade

GreatADM產品優勢

1、GreatADM可做到對底層IaaS層的軟硬體、作業系統、云廠商環境、芯片存盤等最小差異化或無差異的識別部署,降低基礎環境的敏感度和國產化專案交付中兼容適配的難題,減輕DBA運維壓力;

2、GreatADM自身簡單、易用、容器化的部署,輕量且無外部依賴,支持萬里安全資料庫分布式、集中式等多種資料庫方案的同時,還兼顧用戶MySQL現有業務的統管,解決專案新舊更替業務遺留實體無法管理的情況;

3、GreatADM支持高可用容災部署和平臺橫向性能擴展,實際管理的資料庫節點能力在數百到數千節點量級,且支持物理主機的復用部署及主機資源池化分配,在最大程度上發揮主機性能,降低客戶硬體成本,


受限于篇幅原因,后續我們將分享GreatADM資料庫管理平臺產品的系列文章,詳細闡述GreatADM的產品能力,也為計劃在今年發布的GreatADM社區開源版預熱,

如果您還在猶豫該選擇哪款資料庫管理平臺,不妨試試GreatADM,預先申請試用登記,請完成下方問卷提交試用申請以及填寫需求反饋和建議等,屆時我們將優先邀請部分用戶參與測驗體驗,
https://www.greatdb.com/Home/mfsy/mfsy.html

下期我們將具體介紹GreatADM資料庫管理平臺的安裝部署,以及如何快速部署MySQL MGR,謝謝!

Enjoy GreatSQL ??


Enjoy GreatSQL ??

關于 GreatSQL

GreatSQL是由萬里資料庫維護的MySQL分支,專注于提升MGR可靠性及性能,支持InnoDB并行查詢特性,是適用于金融級應用的MySQL分支版本,

相關鏈接: GreatSQL社區 Gitee GitHub Bilibili

GreatSQL社區:

社區博客有獎征稿詳情:https://greatsql.cn/thread-100-1-1.html

image-20230105161905827

技術交流群:

微信:掃碼添加GreatSQL社區助手微信好友,發送驗證資訊加群

image-20221030163217640

轉載請註明出處,本文鏈接:https://www.uj5u.com/shujuku/547849.html

標籤:MySQL

上一篇:MySQL基礎:多表查詢

下一篇:交易系統之資料庫弱依賴解決方案

標籤雲
其他(157675) Python(38076) JavaScript(25376) Java(17977) C(15215) 區塊鏈(8255) C#(7972) AI(7469) 爪哇(7425) MySQL(7132) html(6777) 基礎類(6313) sql(6102) 熊猫(6058) PHP(5869) 数组(5741) R(5409) Linux(5327) 反应(5209) 腳本語言(PerlPython)(5129) 非技術區(4971) Android(4554) 数据框(4311) css(4259) 节点.js(4032) C語言(3288) json(3245) 列表(3129) 扑(3119) C++語言(3117) 安卓(2998) 打字稿(2995) VBA(2789) Java相關(2746) 疑難問題(2699) 细绳(2522) 單片機工控(2479) iOS(2429) ASP.NET(2402) MongoDB(2323) 麻木的(2285) 正则表达式(2254) 字典(2211) 循环(2198) 迅速(2185) 擅长(2169) 镖(2155) 功能(1967) .NET技术(1958) Web開發(1951) python-3.x(1918) HtmlCss(1915) 弹簧靴(1913) C++(1909) xml(1889) PostgreSQL(1872) .NETCore(1853) 谷歌表格(1846) Unity3D(1843) for循环(1842)

熱門瀏覽
  • GPU虛擬機創建時間深度優化

    **?桔妹導讀:**GPU虛擬機實體創建速度慢是公有云面臨的普遍問題,由于通常情況下創建虛擬機屬于低頻操作而未引起業界的重視,實際生產中還是存在對GPU實體創建時間有苛刻要求的業務場景。本文將介紹滴滴云在解決該問題時的思路、方法、并展示最終的優化成果。 從公有云服務商那里購買過虛擬主機的資深用戶,一 ......

    uj5u.com 2020-09-10 06:09:13 more
  • 可編程網卡芯片在滴滴云網路的應用實踐

    **?桔妹導讀:**隨著云規模不斷擴大以及業務層面對延遲、帶寬的要求越來越高,采用DPDK 加速網路報文處理的方式在橫向縱向擴展都出現了局限性。可編程芯片成為業界熱點。本文主要講述了可編程網卡芯片在滴滴云網路中的應用實踐,遇到的問題、帶來的收益以及開源社區貢獻。 #1. 資料中心面臨的問題 隨著滴滴 ......

    uj5u.com 2020-09-10 06:10:21 more
  • 滴滴資料通道服務演進之路

    **?桔妹導讀:**滴滴資料通道引擎承載著全公司的資料同步,為下游實時和離線場景提供了必不可少的源資料。隨著任務量的不斷增加,資料通道的整體架構也隨之發生改變。本文介紹了滴滴資料通道的發展歷程,遇到的問題以及今后的規劃。 #1. 背景 資料,對于任何一家互聯網公司來說都是非常重要的資產,公司的大資料 ......

    uj5u.com 2020-09-10 06:11:05 more
  • 滴滴AI Labs斬獲國際機器翻譯大賽中譯英方向世界第三

    **桔妹導讀:**深耕人工智能領域,致力于探索AI讓出行更美好的滴滴AI Labs再次斬獲國際大獎,這次獲獎的專案是什么呢?一起來看看詳細報道吧! 近日,由國際計算語言學協會ACL(The Association for Computational Linguistics)舉辦的世界最具影響力的機器 ......

    uj5u.com 2020-09-10 06:11:29 more
  • MPP (Massively Parallel Processing)大規模并行處理

    1、什么是mpp? MPP (Massively Parallel Processing),即大規模并行處理,在資料庫非共享集群中,每個節點都有獨立的磁盤存盤系統和記憶體系統,業務資料根據資料庫模型和應用特點劃分到各個節點上,每臺資料節點通過專用網路或者商業通用網路互相連接,彼此協同計算,作為整體提供 ......

    uj5u.com 2020-09-10 06:11:41 more
  • 滴滴資料倉庫指標體系建設實踐

    **桔妹導讀:**指標體系是什么?如何使用OSM模型和AARRR模型搭建指標體系?如何統一流程、規范化、工具化管理指標體系?本文會對建設的方法論結合滴滴資料指標體系建設實踐進行解答分析。 #1. 什么是指標體系 ##1.1 指標體系定義 指標體系是將零散單點的具有相互聯系的指標,系統化的組織起來,通 ......

    uj5u.com 2020-09-10 06:12:52 more
  • 單表千萬行資料庫 LIKE 搜索優化手記

    我們經常在資料庫中使用 LIKE 運算子來完成對資料的模糊搜索,LIKE 運算子用于在 WHERE 子句中搜索列中的指定模式。 如果需要查找客戶表中所有姓氏是“張”的資料,可以使用下面的 SQL 陳述句: SELECT * FROM Customer WHERE Name LIKE '張%' 如果需要 ......

    uj5u.com 2020-09-10 06:13:25 more
  • 滴滴Ceph分布式存盤系統優化之鎖優化

    **桔妹導讀:**Ceph是國際知名的開源分布式存盤系統,在工業界和學術界都有著重要的影響。Ceph的架構和演算法設計發表在國際系統領域頂級會議OSDI、SOSP、SC等上。Ceph社區得到Red Hat、SUSE、Intel等大公司的大力支持。Ceph是國際云計算領域應用最廣泛的開源分布式存盤系統, ......

    uj5u.com 2020-09-10 06:14:51 more
  • es~通過ElasticsearchTemplate進行聚合~嵌套聚合

    之前寫過《es~通過ElasticsearchTemplate進行聚合操作》的文章,這一次主要寫一個嵌套的聚合,例如先對sex集合,再對desc聚合,最后再對age求和,共三層嵌套。 Aggregations的部分特性類似于SQL語言中的group by,avg,sum等函式,Aggregation ......

    uj5u.com 2020-09-10 06:14:59 more
  • 爬蟲日志監控 -- Elastc Stack(ELK)部署

    傻瓜式部署,只需替換IP與用戶 導讀: 現ELK四大組件分別為:Elasticsearch(核心)、logstash(處理)、filebeat(采集)、kibana(可視化) 下載均在https://www.elastic.co/cn/downloads/下tar包,各組件版本最好一致,配合fdm會 ......

    uj5u.com 2020-09-10 06:15:05 more
最新发布
  • day02-2-商鋪查詢快取

    功能02-商鋪查詢快取 3.商鋪詳情快取查詢 3.1什么是快取? 快取就是資料交換的緩沖區(稱作Cache),是存盤資料的臨時地方,一般讀寫性能較高。 快取的作用: 降低后端負載 提高讀寫效率,降低回應時間 快取的成本: 資料一致性成本 代碼維護成本 運維成本 3.2需求說明 如下,當我們點擊商店詳 ......

    uj5u.com 2023-04-20 08:33:24 more
  • MySQL中binlog備份腳本分享

    關于MySQL的二進制日志(binlog),我們都知道二進制日志(binlog)非常重要,尤其當你需要point to point災難恢復的時侯,所以我們要對其進行備份。關于二進制日志(binlog)的備份,可以基于flush logs方式先切換binlog,然后拷貝&壓縮到到遠程服務器或本地服務器 ......

    uj5u.com 2023-04-20 08:28:06 more
  • day02-短信登錄

    功能實作02 2.功能01-短信登錄 2.1基于Session實作登錄 2.1.1思路分析 2.1.2代碼實作 2.1.2.1發送短信驗證碼 發送短信驗證碼: 發送驗證碼的介面為:http://127.0.0.1:8080/api/user/code?phone=xxxxx<手機號> 請求方式:PO ......

    uj5u.com 2023-04-20 08:27:27 more
  • 快取與資料庫雙寫一致性幾種策略分析

    本文將對幾種快取與資料庫保證資料一致性的使用方式進行分析。為保證高并發性能,以下分析場景不考慮執行的原子性及加鎖等強一致性要求的場景,僅追求最終一致性。 ......

    uj5u.com 2023-04-20 08:26:48 more
  • sql陳述句優化

    問題查找及措施 問題查找 需要找到具體的代碼,對其進行一對一優化,而非一直把關注點放在服務器和sql平臺 降低簡化每個事務中處理的問題,盡量不要讓一個事務拖太長的時間 例如檔案上傳時,應將檔案上傳這一步放在事務外面 微軟建議 4.啟動sql定時執行計劃 怎么啟動sqlserver代理服務-百度經驗 ......

    uj5u.com 2023-04-20 08:26:35 more
  • 云時代,MySQL到ClickHouse資料同步產品對比推薦

    ClickHouse 在執行分析查詢時的速度優勢很好的彌補了MySQL的不足,但是對于很多開發者和DBA來說,如何將MySQL穩定、高效、簡單的同步到 ClickHouse 卻很困難。本文對比了 NineData、MaterializeMySQL(ClickHouse自帶)、Bifrost 三款產品... ......

    uj5u.com 2023-04-20 08:26:29 more
  • sql陳述句優化

    問題查找及措施 問題查找 需要找到具體的代碼,對其進行一對一優化,而非一直把關注點放在服務器和sql平臺 降低簡化每個事務中處理的問題,盡量不要讓一個事務拖太長的時間 例如檔案上傳時,應將檔案上傳這一步放在事務外面 微軟建議 4.啟動sql定時執行計劃 怎么啟動sqlserver代理服務-百度經驗 ......

    uj5u.com 2023-04-20 08:25:13 more
  • Redis 報”OutOfDirectMemoryError“(堆外記憶體溢位)

    Redis 報錯“OutOfDirectMemoryError(堆外記憶體溢位) ”問題如下: 一、報錯資訊: 使用 Redis 的業務介面 ,產生 OutOfDirectMemoryError(堆外記憶體溢位),如圖: 格式化后的報錯資訊: { "timestamp": "2023-04-17 22: ......

    uj5u.com 2023-04-20 08:24:54 more
  • day02-2-商鋪查詢快取

    功能02-商鋪查詢快取 3.商鋪詳情快取查詢 3.1什么是快取? 快取就是資料交換的緩沖區(稱作Cache),是存盤資料的臨時地方,一般讀寫性能較高。 快取的作用: 降低后端負載 提高讀寫效率,降低回應時間 快取的成本: 資料一致性成本 代碼維護成本 運維成本 3.2需求說明 如下,當我們點擊商店詳 ......

    uj5u.com 2023-04-20 08:24:03 more
  • day02-短信登錄

    功能實作02 2.功能01-短信登錄 2.1基于Session實作登錄 2.1.1思路分析 2.1.2代碼實作 2.1.2.1發送短信驗證碼 發送短信驗證碼: 發送驗證碼的介面為:http://127.0.0.1:8080/api/user/code?phone=xxxxx<手機號> 請求方式:PO ......

    uj5u.com 2023-04-20 08:23:11 more