主頁 > 資料庫 > 企業資料庫選型規則

企業資料庫選型規則

2022-10-19 10:41:02 資料庫

背景

企業資料庫選型規則,

一、資料庫部署形式

隨著硬體發展,指標上會有變化,

部署形式決定了容量上限,計算能力上限,讀寫帶寬上限,RPO,RTO指標,適應場景,

1、分布式部署(例如pg+citus插件)

容量上限:100節點以上,PB級,

計算能力上限:100節點以上,6400核以上,

讀寫帶寬上限:100節點以上,200GB/s以上,

RPO:如果每個計算節點都采用多副本存盤,RPO=0,

RTO:如果每個計算節點都采用HA,RTO可以做到1分鐘內,

使用限制:有一些SQL限制,

適應場景:應用代碼可控程度高的情況下,適合TP和AP業務,

2、單節點本地存盤

容量上限:10TB級,

計算能力上限:64核級,

讀寫帶寬上限:2GB/s級,

RPO:RPO無保障,

RTO:RTO無保障,

使用限制:SQL無限制,

適應場景:測驗環境,非生產環境,對資料庫RPO,RTO都沒有要求的環境,

3、單節點多副本存盤

容量上限:32TB級,

計算能力上限:64核級,

讀寫帶寬上限:2GB/s級,

RPO:單機房RPO=0,(如果存盤支持跨機房多副本,可以做到多機房RPO=0),

RTO:10分鐘級,

使用限制:SQL無限制,

適應場景:非核心場景生產、測驗,

4、雙節點共享存盤

容量上限:32TB級,

計算能力上限:64核級,

讀寫帶寬上限:2GB/s級,

RPO:單機房RPO=0,(如果存盤支持跨機房多副本,可以做到多機房RPO=0),

RTO:1分鐘級,

使用限制:SQL無限制,

適應場景:核心、非核心場景生產,

5、雙節點主備異步復制

容量上限:32TB級(使用遠程存盤),10TB級(使用本機存盤)

計算能力上限:64核級,

讀寫帶寬上限:2GB/s級,

RPO:10GB網路,REDO延遲毫秒級、1MB以內,(支持跨機房部署),心跳機制可確保RPO < 60秒

RTO:1分鐘級,

使用限制:SQL無限制,

適應場景:非核心場景生產,

6、雙節點主備半同步復制

容量上限:32TB級(使用遠程存盤),10TB級(使用本機存盤)

計算能力上限:64核級,

讀寫帶寬上限:2GB/s級,

RPO:

無節點或單一節點例外時,可保證RPO=0,

兩個節點都例外時,RPO取決于備份延遲,采用基于PG流復制的持續REDO備份,可以做到RPO毫秒級,

RTO:1分鐘級,

使用限制:SQL無限制,

適應場景:核心、非核心場景生產,

7、三節點及以上多副本全同步復制

容量上限:32TB級(使用遠程存盤),10TB級(使用本機存盤)

計算能力上限:64核級,

讀寫帶寬上限:2GB/s級,

RPO:

小于半數節點例外時,可保證RPO=0,

半數以上節點例外時,RPO取決于 1、10GB網路,REDO延遲毫秒級、1MB以內,2、備份延遲,采用基于PG流復制的持續REDO備份,可以做到RPO毫秒級,

RTO:1分鐘級,

使用限制:SQL無限制,

適應場景:核心場景生產,

8、計算存盤分離(存盤多副本)(比如阿里云POLARDB PG)

容量上限:100TB級,

計算能力上限:16節點,1024核級,

讀寫帶寬上限:32GB/s級,

RPO:單機房RPO=0,(如果存盤支持跨機房多副本,可以做到多機房RPO=0),

RTO:15秒級,

使用限制:SQL無限制,

適應場景:核心、非核心場景生產,

9、計算存盤分離(存盤多副本)+ 雙機房半同步

容量上限:100TB級,

計算能力上限:16節點,1024核級,

讀寫帶寬上限:32GB/s級,

RPO:

無節點或單一節點例外時,可保證RPO=0,

兩個節點都例外時,RPO取決于備份延遲,采用基于PG流復制的持續REDO備份,可以做到RPO毫秒級,

RTO:15秒級,

使用限制:SQL無限制,

適應場景:核心、非核心場景生產,

10、計算存盤分離(存盤多副本)+ 多機房多副本全同步

容量上限:100TB級,

計算能力上限:16節點,1024核級,

讀寫帶寬上限:32GB/s級,

RPO:

小于半數節點例外時,可保證RPO=0,

半數以上節點例外時,RPO取決于 1、10GB網路,REDO延遲毫秒級、1MB以內,2、備份延遲,采用基于PG流復制的持續REDO備份,可以做到RPO毫秒級,

RTO:15秒級,

使用限制:SQL無限制,

適應場景:核心場景生產,

11、只讀節點

使用限制:SQL無限制,

適應場景:擴展讀能力,

12、非核心功能

12.1、業務透明的讀寫分離

使用限制:SQL無限制,

適應場景:擴展讀能力,

12.2、跨庫互動

使用限制:SQL無限制,

適應場景:跨庫DBLINK,跨庫外部表,跨庫物化視圖,

12.3、單元化

使用限制:SQL無限制,

適應場景:多實體共享少量資料,多寫,

二、云產品形態

1、基礎版(單機多副本存盤)PG 10

當前容量上限:2 TB

未來可達32TB級,

2、雙機版(異步復制)PG 9.4, 10、PPAS 9.3, 10

當前容量上限:6 TB

3、雙機版(半同步復制)PG 11

當前容量上限:32 TB

4、只讀實體

擴展讀能力,

5、計算存盤分離版 PG 11、PPAS 11

16個計算節點,讀寫分離,

當前容量上限:100 TB

PG、PPAS、POLARDB PG區別

除以上區別以外,還有如下區別(pg ppas polarddb選擇評判標準:資料量,可用性,可靠性,是否有去O需求,成本):

1、pg社區版,

2、PPAS兼容PG、同時高度兼容ORACLE,

相比社區版PG,新增AWR報告、SQL防火墻、資料庫用戶級資源隔離、索引推薦等高級功能,

3、POLARDB PG,

兼容PG、同時高度兼容ORACLE,

相比PPAS、PG,容量達到100TB,計算存盤分離,計算可擴展到16節點,支持超低延遲讀寫分離,

擴容速度快,(擴容不需要遷移資料,非常之快)

可用性高,恢復速度快,(恢復不需要REPLAY WAL,秒級恢復)

備份、恢復速度快,(存盤快照,秒級備份)

由于一份存盤支持讀寫分離(PG PPAS使用流復制方式,每個只讀節點一份存盤),POLARDB成本更低廉,

存盤采用按實際使用量付費,不需要規劃存盤大小,彈性更好,

自研主打產品,未來產品黑科技會集中增加到POLARDB,

三、行業合規要求

一些行業對資料庫系統的合規要求:

1、SQL審計

2、擴展性

3、可用性

4、可靠性

5、備份保留時間

6、備份可恢復時間點

7、閃回

8、回收站

9、存盤加密

10、資料檔案加密

11、型別加密

12、資料訪問鏈路加密

13、連接認證加密

14、加密KEY管理形式

四、資料庫版本推薦

除非業務有特殊要求,選新不選舊(新版本建議發行2個小版本后使用),

例如當前PG最新版本為11,已發布兩個小版本,推薦使用11最新小版本,

五、資料庫選型推薦

1 老業務遷移

原來使用什么DB? (PG, EDB PPAS, oracle, sybase, db2, ms sql)

1、pg -> pg

2、edb ppas -> ppas

3、oracle -> pg (用戶積極配合改動,并有傾向使用開源版)

平安案例

郵儲案例

中國人壽案例

4、oracle -> ppas (用戶期望少改動)

中航信案例

大量ZF,傳統行業案例

使用ADAM,大量成功去O案例,

https://promotion.aliyun.com/ntms/act/ppasadam.html

5、sybase, db2 -> pg

sybase (鐵老大案例)

db2 (蘇寧案例)

6、ms sql -> pg

(康恩貝案例)

2 新業務

1、如果Oracle可以免費使用,用戶選擇Oracle的概率是多少?如果超過50%的概率選擇Oracle,推薦到PG、POLARDB PG,

2、當前用戶技術堆疊

2.1、Oracle -> PPAS、POLARDB PG

使用ADAM,大量成功去O案例,

https://promotion.aliyun.com/ntms/act/ppasadam.html

2.2、sybase, db2 -> pg

2.3、ms sql -> pg

2.4、pg -> pg

2.5、edb ppas -> ppas

3、業務復雜度

3.1、復雜業務(有較復雜SQL,較復雜業務邏輯) -> PG

例如: 企業crm, erp, oa, 財務, 銷售, 經營分析系統,GIS地理資訊業務,等, (此類場景典型PG客戶:用友,sap,odoo)

3.2、簡單業務 -> PG (同樣完全可以勝任)

4、業務分類

4.1、純AP

100TB 以內資料,純AP(T+1):POLARDB PG,

32TB 以內資料,純AP(T+1):PG 11,

4.2、實時分析:WHERE條件過濾后資料量億級, POLARDB PG, PG 11,

4.3、TP

PG, PPAS, POLARDB PG

4.4、混合場景(有TP,有AP)

100TB以內資料量:

POLARDB PG

32TB 以內資料量:

PG 11

6TB 以內資料量:

PG 10, PPAS 10

產品AP能力主要包括:并行計算、GPU加速、JIT、向量計算、流計算、物化視圖、豐富的分析函式、豐富的視窗查詢函式、HASH JOIN、MERGE JOIN、豐富的內置函式、豐富的PLSQL語法,

產品TP能力:單節點 百萬級QPS

4.5、海量資料,大量為冷資料,不能洗掉,極少查詢,

pg, ppas, polardb pg,均支持OSS_FDW外部表,冷存盤,查詢對業務透明,

5、業務有SHARDING需求,但是不想改SQL適配sharding(sharding 帶來的SQL使用限制,包括跨庫事務,跨庫查詢,復雜SQL,維度表過大等問題)

100TB以內資料量:

POLARDB PG

32TB 以內資料量:

PG 11

6TB 以內資料量:

PG 10, PPAS 10

6、業務有多模需求,并且要求資料一致性,實時性

如果不要求實時性,一致性,可以再考慮將資料同步到其他產品

6.1、全文檢索、模糊查詢(tsvector, tsquery, pg_trgm技術)

6.2、任意欄位多維度組合實時查詢(smlar, rum, gin, bitmap scan, varbitx, roaring bitmap等技術)

例如:實時畫像系統、營銷系統,

6.3、文本相似查詢(pg_trgm技術)

6.4、向量相似查詢(cube技術)

例如:相似推薦系統

6.5、影像相似查詢(imgsmlr技術)

6.6、GIS地理資訊業務(postgis, brin, gist技術)

例如:天文、氣象、地震、國土、測繪、車聯網、物聯網

6.7、時空軌跡、混合場景業務(ganos, postgis, brin, gist技術)

例如:餓了么,點我達,打車,車聯網,

6.8、時序類(timescaledb 技術)

6.9、流計算(pipelinedb 技術)

6.10、圖式搜索(CTE 技術)

例如:風控、族譜、社交、內容推薦、用戶推薦等 業務,

多模類業務,性能功能指標參考HTAP測驗

《HTAP 用例測驗,性能指標》

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

參考

《PostgreSQL 規格評估 - 微觀、宏觀、精準 多視角估算資料庫性能(選型、做預算不求人)》

《資料庫選型之 - 大象十八摸 - 致 架構師、開發者》

《資料庫選型思考(PostgreSQL,MySQL,Oracle)》

《HTAP 用例測驗,性能指標》

RDS PG PPAS 性能白皮書

https://help.aliyun.com/document_detail/101470.html

https://help.aliyun.com/document_detail/101100.html

 

 

 作者丨digoal

本文來自博客園,作者:古道輕風,轉載請注明原文鏈接:https://www.cnblogs.com/88223100/p/Enterprise-database-selection-rules.html

轉載請註明出處,本文鏈接:https://www.uj5u.com/shujuku/517692.html

標籤:PostgreSQL

上一篇:JDK1.7下測驗ConnectorJ連接MySQL8.0

下一篇:在移動設定中增加字體大小會使recyclerview專案重疊

標籤雲
其他(157675) Python(38076) JavaScript(25376) Java(17977) C(15215) 區塊鏈(8255) C#(7972) AI(7469) 爪哇(7425) MySQL(7132) html(6777) 基礎類(6313) sql(6102) 熊猫(6058) PHP(5869) 数组(5741) R(5409) Linux(5327) 反应(5209) 腳本語言(PerlPython)(5129) 非技術區(4971) Android(4554) 数据框(4311) css(4259) 节点.js(4032) C語言(3288) json(3245) 列表(3129) 扑(3119) C++語言(3117) 安卓(2998) 打字稿(2995) VBA(2789) Java相關(2746) 疑難問題(2699) 细绳(2522) 單片機工控(2479) iOS(2429) ASP.NET(2402) MongoDB(2323) 麻木的(2285) 正则表达式(2254) 字典(2211) 循环(2198) 迅速(2185) 擅长(2169) 镖(2155) 功能(1967) .NET技术(1958) Web開發(1951) python-3.x(1918) HtmlCss(1915) 弹簧靴(1913) C++(1909) xml(1889) PostgreSQL(1872) .NETCore(1853) 谷歌表格(1846) Unity3D(1843) for循环(1842)

熱門瀏覽
  • GPU虛擬機創建時間深度優化

    **?桔妹導讀:**GPU虛擬機實體創建速度慢是公有云面臨的普遍問題,由于通常情況下創建虛擬機屬于低頻操作而未引起業界的重視,實際生產中還是存在對GPU實體創建時間有苛刻要求的業務場景。本文將介紹滴滴云在解決該問題時的思路、方法、并展示最終的優化成果。 從公有云服務商那里購買過虛擬主機的資深用戶,一 ......

    uj5u.com 2020-09-10 06:09:13 more
  • 可編程網卡芯片在滴滴云網路的應用實踐

    **?桔妹導讀:**隨著云規模不斷擴大以及業務層面對延遲、帶寬的要求越來越高,采用DPDK 加速網路報文處理的方式在橫向縱向擴展都出現了局限性。可編程芯片成為業界熱點。本文主要講述了可編程網卡芯片在滴滴云網路中的應用實踐,遇到的問題、帶來的收益以及開源社區貢獻。 #1. 資料中心面臨的問題 隨著滴滴 ......

    uj5u.com 2020-09-10 06:10:21 more
  • 滴滴資料通道服務演進之路

    **?桔妹導讀:**滴滴資料通道引擎承載著全公司的資料同步,為下游實時和離線場景提供了必不可少的源資料。隨著任務量的不斷增加,資料通道的整體架構也隨之發生改變。本文介紹了滴滴資料通道的發展歷程,遇到的問題以及今后的規劃。 #1. 背景 資料,對于任何一家互聯網公司來說都是非常重要的資產,公司的大資料 ......

    uj5u.com 2020-09-10 06:11:05 more
  • 滴滴AI Labs斬獲國際機器翻譯大賽中譯英方向世界第三

    **桔妹導讀:**深耕人工智能領域,致力于探索AI讓出行更美好的滴滴AI Labs再次斬獲國際大獎,這次獲獎的專案是什么呢?一起來看看詳細報道吧! 近日,由國際計算語言學協會ACL(The Association for Computational Linguistics)舉辦的世界最具影響力的機器 ......

    uj5u.com 2020-09-10 06:11:29 more
  • MPP (Massively Parallel Processing)大規模并行處理

    1、什么是mpp? MPP (Massively Parallel Processing),即大規模并行處理,在資料庫非共享集群中,每個節點都有獨立的磁盤存盤系統和記憶體系統,業務資料根據資料庫模型和應用特點劃分到各個節點上,每臺資料節點通過專用網路或者商業通用網路互相連接,彼此協同計算,作為整體提供 ......

    uj5u.com 2020-09-10 06:11:41 more
  • 滴滴資料倉庫指標體系建設實踐

    **桔妹導讀:**指標體系是什么?如何使用OSM模型和AARRR模型搭建指標體系?如何統一流程、規范化、工具化管理指標體系?本文會對建設的方法論結合滴滴資料指標體系建設實踐進行解答分析。 #1. 什么是指標體系 ##1.1 指標體系定義 指標體系是將零散單點的具有相互聯系的指標,系統化的組織起來,通 ......

    uj5u.com 2020-09-10 06:12:52 more
  • 單表千萬行資料庫 LIKE 搜索優化手記

    我們經常在資料庫中使用 LIKE 運算子來完成對資料的模糊搜索,LIKE 運算子用于在 WHERE 子句中搜索列中的指定模式。 如果需要查找客戶表中所有姓氏是“張”的資料,可以使用下面的 SQL 陳述句: SELECT * FROM Customer WHERE Name LIKE '張%' 如果需要 ......

    uj5u.com 2020-09-10 06:13:25 more
  • 滴滴Ceph分布式存盤系統優化之鎖優化

    **桔妹導讀:**Ceph是國際知名的開源分布式存盤系統,在工業界和學術界都有著重要的影響。Ceph的架構和演算法設計發表在國際系統領域頂級會議OSDI、SOSP、SC等上。Ceph社區得到Red Hat、SUSE、Intel等大公司的大力支持。Ceph是國際云計算領域應用最廣泛的開源分布式存盤系統, ......

    uj5u.com 2020-09-10 06:14:51 more
  • es~通過ElasticsearchTemplate進行聚合~嵌套聚合

    之前寫過《es~通過ElasticsearchTemplate進行聚合操作》的文章,這一次主要寫一個嵌套的聚合,例如先對sex集合,再對desc聚合,最后再對age求和,共三層嵌套。 Aggregations的部分特性類似于SQL語言中的group by,avg,sum等函式,Aggregation ......

    uj5u.com 2020-09-10 06:14:59 more
  • 爬蟲日志監控 -- Elastc Stack(ELK)部署

    傻瓜式部署,只需替換IP與用戶 導讀: 現ELK四大組件分別為:Elasticsearch(核心)、logstash(處理)、filebeat(采集)、kibana(可視化) 下載均在https://www.elastic.co/cn/downloads/下tar包,各組件版本最好一致,配合fdm會 ......

    uj5u.com 2020-09-10 06:15:05 more
最新发布
  • day02-2-商鋪查詢快取

    功能02-商鋪查詢快取 3.商鋪詳情快取查詢 3.1什么是快取? 快取就是資料交換的緩沖區(稱作Cache),是存盤資料的臨時地方,一般讀寫性能較高。 快取的作用: 降低后端負載 提高讀寫效率,降低回應時間 快取的成本: 資料一致性成本 代碼維護成本 運維成本 3.2需求說明 如下,當我們點擊商店詳 ......

    uj5u.com 2023-04-20 08:33:24 more
  • MySQL中binlog備份腳本分享

    關于MySQL的二進制日志(binlog),我們都知道二進制日志(binlog)非常重要,尤其當你需要point to point災難恢復的時侯,所以我們要對其進行備份。關于二進制日志(binlog)的備份,可以基于flush logs方式先切換binlog,然后拷貝&壓縮到到遠程服務器或本地服務器 ......

    uj5u.com 2023-04-20 08:28:06 more
  • day02-短信登錄

    功能實作02 2.功能01-短信登錄 2.1基于Session實作登錄 2.1.1思路分析 2.1.2代碼實作 2.1.2.1發送短信驗證碼 發送短信驗證碼: 發送驗證碼的介面為:http://127.0.0.1:8080/api/user/code?phone=xxxxx<手機號> 請求方式:PO ......

    uj5u.com 2023-04-20 08:27:27 more
  • 快取與資料庫雙寫一致性幾種策略分析

    本文將對幾種快取與資料庫保證資料一致性的使用方式進行分析。為保證高并發性能,以下分析場景不考慮執行的原子性及加鎖等強一致性要求的場景,僅追求最終一致性。 ......

    uj5u.com 2023-04-20 08:26:48 more
  • sql陳述句優化

    問題查找及措施 問題查找 需要找到具體的代碼,對其進行一對一優化,而非一直把關注點放在服務器和sql平臺 降低簡化每個事務中處理的問題,盡量不要讓一個事務拖太長的時間 例如檔案上傳時,應將檔案上傳這一步放在事務外面 微軟建議 4.啟動sql定時執行計劃 怎么啟動sqlserver代理服務-百度經驗 ......

    uj5u.com 2023-04-20 08:26:35 more
  • 云時代,MySQL到ClickHouse資料同步產品對比推薦

    ClickHouse 在執行分析查詢時的速度優勢很好的彌補了MySQL的不足,但是對于很多開發者和DBA來說,如何將MySQL穩定、高效、簡單的同步到 ClickHouse 卻很困難。本文對比了 NineData、MaterializeMySQL(ClickHouse自帶)、Bifrost 三款產品... ......

    uj5u.com 2023-04-20 08:26:29 more
  • sql陳述句優化

    問題查找及措施 問題查找 需要找到具體的代碼,對其進行一對一優化,而非一直把關注點放在服務器和sql平臺 降低簡化每個事務中處理的問題,盡量不要讓一個事務拖太長的時間 例如檔案上傳時,應將檔案上傳這一步放在事務外面 微軟建議 4.啟動sql定時執行計劃 怎么啟動sqlserver代理服務-百度經驗 ......

    uj5u.com 2023-04-20 08:25:13 more
  • Redis 報”OutOfDirectMemoryError“(堆外記憶體溢位)

    Redis 報錯“OutOfDirectMemoryError(堆外記憶體溢位) ”問題如下: 一、報錯資訊: 使用 Redis 的業務介面 ,產生 OutOfDirectMemoryError(堆外記憶體溢位),如圖: 格式化后的報錯資訊: { "timestamp": "2023-04-17 22: ......

    uj5u.com 2023-04-20 08:24:54 more
  • day02-2-商鋪查詢快取

    功能02-商鋪查詢快取 3.商鋪詳情快取查詢 3.1什么是快取? 快取就是資料交換的緩沖區(稱作Cache),是存盤資料的臨時地方,一般讀寫性能較高。 快取的作用: 降低后端負載 提高讀寫效率,降低回應時間 快取的成本: 資料一致性成本 代碼維護成本 運維成本 3.2需求說明 如下,當我們點擊商店詳 ......

    uj5u.com 2023-04-20 08:24:03 more
  • day02-短信登錄

    功能實作02 2.功能01-短信登錄 2.1基于Session實作登錄 2.1.1思路分析 2.1.2代碼實作 2.1.2.1發送短信驗證碼 發送短信驗證碼: 發送驗證碼的介面為:http://127.0.0.1:8080/api/user/code?phone=xxxxx<手機號> 請求方式:PO ......

    uj5u.com 2023-04-20 08:23:11 more