主頁 > 資料庫 > 華為云云原生資料庫:A Philosophy about “less”

華為云云原生資料庫:A Philosophy about “less”

2023-01-19 07:26:45 資料庫

摘要:斯坦福教授、Tcl語言發明者John Ousterhout的著作《A Philosophy of Software Design》提出了一個經久不衰的觀點——軟體設計的核心在于降低復雜性,

在新技術不斷涌現的云時代,出現了一種“技術過載”現象——本應幫助企業提高效率的技術,反倒讓企業心生焦慮,企業擔心不會用、用不好,這在資料庫領域體現得十分突出,

資料庫是現代企業的核心系統,隨著云計算從根本上改變IT產業的格局,資料庫重構突然變成了“容易”的事,“事出反常必有妖”,為了重構而重構的資料庫,給企業和開發者們帶來了新的挑戰,

他們要面對不同資料庫的復雜理念和運維,這些復雜性不應該被讓渡到使用者的層面,

斯坦福教授、Tcl語言發明者John Ousterhout的著作《A Philosophy of Software Design》提出了一個經久不衰的觀點——軟體設計的核心在于降低復雜性,

資料庫可謂是最復雜的關鍵基礎軟體之一,關于如何降低資料庫復雜性的思考,在當下變得十分應景,書中提到的一些方法,例如分層、抽象和復雜性下沉,正在先行者華為云云原生資料庫GaussDB身上得到新的演繹,也推動著云原生資料庫走向下一階段,

分層和抽象之后

在軟體領域,分層和抽象的邏輯并不陌生,計算機體系結構、TCP/IP網路協議等都是這種理念的體現,在云計算領域,IaaS、PaaS、SaaS是云計算平臺的三層能力,實際上就是云對傳統IT的分層和抽象,

IaaS讓開發者不必考慮計算、存盤和網路等資源調度,PaaS提供中間件和豐富的平臺能力,SaaS提供開箱即用的應用,從IaaS到SaaS,抽象的程度越來越高,使用者關心的技術細節也就越來越少,正如現在幾乎沒有人關注計算機體系機構和TCP/IP網路協議一樣,

資料庫的云原生化,就是一個不斷提高抽象程度的程序,資料庫廠商希望借此降低復雜性,

此前,傳統資料庫或者新誕生的云原生資料庫,都在貼近云技術進行改造和重塑,開發者對后端資源的關注有所降低,但這依然不足以讓云原生資料庫的復雜性降低到令人滿意的水平,

華為云資料庫服務產品部總經理蘇光牛

華為云資料庫服務產品部總經理蘇光牛表示,從云化到云原生化,過去更多是做服務化,今天更多是對資料庫內核進行重構,實作基于云的架構來構建、真正的“生于云、長于云”的資料庫,

譬如從產品方面來講,傳統資料庫基于單機主備架構來構建,要做到云化,需要對產品的整體架構做重構,貼合云的各種技術堆疊來進行,例如:分布式存盤和物件存盤,容器化等基礎技術,

再從商業模式來講,資料庫云化需要改變客戶使用傳統資料庫的模式,重點從按需的使用模式出發,端到端的客戶體驗的優化,比如Serverless模式,這是簡單的資料庫服務化做不到的,從IaaS的資源調度到Serverless,就是抽象程度提高的典型例子,

新的階段,資料庫所面臨的挑戰有四個方面,時效性、可用性、多模融合和性價比,表面看起來似憾訓是那些要求,但是要求資料庫廠商對技術的把握和業務的理解,再上一個臺階,

A Philosophy about “less”

John Ousterhout告訴我們,如果一定要在某個層次處理復雜性,這個層次越低越好,資料庫的復雜性和下層功能相關,下沉之后能夠解決其他層次和整體的復雜性,華為云便是這么做的,

華為云認為,未來的云資料庫需要做三大轉變,第一是從關注資源的規劃部署,轉變為聚焦應用如何更好地使用;第二是從關注資料的物理部署,轉變為如何讓資料全域可用;第三是從關注多個分離模型的資料轉變為多模融合,從關注單一交易或分析業務(TP或者AP)負載,轉為HTAP一體化負載,資料庫根據業務型別和負載自動選擇合適的引擎來處理,

為了實作這些轉變,資料庫領域需要引入新的技術,實作云原生資料庫的Serverless、Regionless、Modeless,也是華為云GaussDB的技術哲學——A Philosophy about “less”,讓復雜的事情簡單化,

蘇光牛提到,Serverless讓應用彈性透明地調度和無損透明切換成為可能,過去的Serverless主要是單機伸縮和無狀態管理,可能會引起業務中斷、受損,云原生Serverless將從通用場景出發,實作失耦狀態的常態管理,

Regionless讓資料全域可用,用戶只需要關注流量從哪里來,用戶從哪里訪問,資料庫將資料分布到不同的Region,應用就近、隨時隨地訪問資料,全球分布統一管理的資料庫管理系統和資料庫的部署能力,將成為資料庫的核心競爭力,

Modeless帶來資料庫極簡體驗,傳統的資料庫只能支持單一負載或者單一模式(KV、檔案、時序、寬表等),而企業的應用在融合,交易和分析任務兼有,還有影像和地理資訊,

GaussDB分別采用HTAP和多模資料庫技術,一個入口處理多樣負載、一個入口處理多種資料型別,有效地避免了傳統解決方案的抽取、轉換和裝載繁瑣的程序,實作一站式處理,業務接入效率可從數月縮短至數天,

可以看出,為了解決資料庫的復雜性問題,華為云下沉到了更深一層,Serverless是更進一步的資源抽象,Regionless是更進一步的空間抽象,Modeless是更進一步的模型抽象,三者都實作了云原生化細顆粒度的解決方式,

“無感知”的資料庫

“Less is more”,抽象的程度越高,使用者就越不必關心具體技術和細節,但這并不意味著資料庫技術難度降低,相反,資料庫廠商把復雜做成簡單,內斂比外化要難得多,

例如華為云無感知的資源調度框架AST,智能判斷用戶負載,實時匹配負載資源將用戶成本降到最低;全域資料分層引擎GTE,將部分不常用資料放到低成本的物件存盤上,GTE引擎還能支持多個實體共享一份資料同時讀取;NDPQ近存盤并行查詢技術,把一些算子下推到存盤上進行計算,計算節點和存盤節點都能夠進行本地處理,減少網路帶寬傳輸,提高業務效率,

資料庫的復雜性下沉,既是技術的下沉,華為云GaussDB將復雜性下沉到離用戶更遠的一層,也是場景應用的下沉,讓資料庫去適配應用開發者的習慣,企業用戶離DaaS(Database as a Service)才能越來越近,

華為從2007年就開始研發記憶體資料庫,起初是因為電信領域對資料的要求極高,市場上找不到能與之較好契合的資料庫,后來隨著華為業務的發展,華為不斷投入資源研發資料庫,打造了一系列資料庫產品,

蘇光牛提到,華為本身對資料庫的要求就是全方位的,包括:華為自身的IT系統、華為成熟的ICT業務以及華為的互聯網業務、終端云等需求,GaussDB既要滿足金融政企對資料庫的嚴苛訴求,也要滿足互聯網行業這樣典型的To C類業務訴求,這是華為云資料庫區別于其他廠商的關鍵,

因此,GaussDB一開始就瞄準全行業不同場景,與云平臺的技術能力深度結合,把云原生資料庫的彈性、極簡體驗做到極致,這也是資料庫的未來,企業無需關注資料庫的型別,即可擁有無感知的體驗,

動圖封面  

例如華為運動健康App,全球范圍內用戶數超4億,月活躍用戶數超過9000萬,它選擇了華為云GaussDB(for Cassandra),存算分離架構可以很好滿足業務海量并發的需求,同時具備快速擴容能力,高峰期承載上千萬QPS,最大能夠支持百億行的表,

互聯網應用重視資料庫的性價比,且對彈性擴展的靈活性要求高,GaussDB(for Cassandra)能夠保證業務高并發運行的同時,實作低時延,很好地滿足了穿戴設備資料寫入的需求,

再如永安保險,保險業務對資料庫的擴展性、性能等要求極高,更要滿足資料安全與災備監管要求,新時代業務敏捷創新與上線,呼喚云化開放架構和分布式技術,永安保險希望找到“一專多能”的云原生資料庫,

華為云GaussDB(for MySQL)和資料復制服務DRS,支持主流商業資料庫生態,全堆疊工具鏈助力切換主流商業資料庫,業務無需改造,資源彈性擴容能力強,且華為云DRS簡單易用、安全可靠,實作了永安保險意外險和健康險業務的高效上云,

保險業務屬于金融場景,是資料庫領域的核心地帶之一,在云原生時代的大背景下,以華為云GaussDB整體為代表的“新”資料庫,正在挑戰Oracle和IBM DB2等為代表的“舊”資料庫,新與舊的博弈,最終由客戶業務場景來評判,云原生資料庫正在攻城略地,

在全方位場景化的驅動下,華為云資料庫凝練出自己的發展方向,讓企業客戶不必糾結于復雜的技術,儼然也成為云原生資料庫行業的風向標,云原生資料庫的成熟態,行且將至,

 

點擊關注,第一時間了解華為云新鮮技術~

轉載請註明出處,本文鏈接:https://www.uj5u.com/shujuku/542245.html

標籤:其他

上一篇:DTSE Tech Talk 第18期丨統計資訊大揭秘,數倉SQL執行優化之密鑰

下一篇:MySQL必知必會第十二章-匯總資料

標籤雲
其他(157675) Python(38076) JavaScript(25376) Java(17977) C(15215) 區塊鏈(8255) C#(7972) AI(7469) 爪哇(7425) MySQL(7132) html(6777) 基礎類(6313) sql(6102) 熊猫(6058) PHP(5869) 数组(5741) R(5409) Linux(5327) 反应(5209) 腳本語言(PerlPython)(5129) 非技術區(4971) Android(4554) 数据框(4311) css(4259) 节点.js(4032) C語言(3288) json(3245) 列表(3129) 扑(3119) C++語言(3117) 安卓(2998) 打字稿(2995) VBA(2789) Java相關(2746) 疑難問題(2699) 细绳(2522) 單片機工控(2479) iOS(2429) ASP.NET(2402) MongoDB(2323) 麻木的(2285) 正则表达式(2254) 字典(2211) 循环(2198) 迅速(2185) 擅长(2169) 镖(2155) 功能(1967) .NET技术(1958) Web開發(1951) python-3.x(1918) HtmlCss(1915) 弹簧靴(1913) C++(1909) xml(1889) PostgreSQL(1872) .NETCore(1853) 谷歌表格(1846) Unity3D(1843) for循环(1842)

熱門瀏覽
  • GPU虛擬機創建時間深度優化

    **?桔妹導讀:**GPU虛擬機實體創建速度慢是公有云面臨的普遍問題,由于通常情況下創建虛擬機屬于低頻操作而未引起業界的重視,實際生產中還是存在對GPU實體創建時間有苛刻要求的業務場景。本文將介紹滴滴云在解決該問題時的思路、方法、并展示最終的優化成果。 從公有云服務商那里購買過虛擬主機的資深用戶,一 ......

    uj5u.com 2020-09-10 06:09:13 more
  • 可編程網卡芯片在滴滴云網路的應用實踐

    **?桔妹導讀:**隨著云規模不斷擴大以及業務層面對延遲、帶寬的要求越來越高,采用DPDK 加速網路報文處理的方式在橫向縱向擴展都出現了局限性。可編程芯片成為業界熱點。本文主要講述了可編程網卡芯片在滴滴云網路中的應用實踐,遇到的問題、帶來的收益以及開源社區貢獻。 #1. 資料中心面臨的問題 隨著滴滴 ......

    uj5u.com 2020-09-10 06:10:21 more
  • 滴滴資料通道服務演進之路

    **?桔妹導讀:**滴滴資料通道引擎承載著全公司的資料同步,為下游實時和離線場景提供了必不可少的源資料。隨著任務量的不斷增加,資料通道的整體架構也隨之發生改變。本文介紹了滴滴資料通道的發展歷程,遇到的問題以及今后的規劃。 #1. 背景 資料,對于任何一家互聯網公司來說都是非常重要的資產,公司的大資料 ......

    uj5u.com 2020-09-10 06:11:05 more
  • 滴滴AI Labs斬獲國際機器翻譯大賽中譯英方向世界第三

    **桔妹導讀:**深耕人工智能領域,致力于探索AI讓出行更美好的滴滴AI Labs再次斬獲國際大獎,這次獲獎的專案是什么呢?一起來看看詳細報道吧! 近日,由國際計算語言學協會ACL(The Association for Computational Linguistics)舉辦的世界最具影響力的機器 ......

    uj5u.com 2020-09-10 06:11:29 more
  • MPP (Massively Parallel Processing)大規模并行處理

    1、什么是mpp? MPP (Massively Parallel Processing),即大規模并行處理,在資料庫非共享集群中,每個節點都有獨立的磁盤存盤系統和記憶體系統,業務資料根據資料庫模型和應用特點劃分到各個節點上,每臺資料節點通過專用網路或者商業通用網路互相連接,彼此協同計算,作為整體提供 ......

    uj5u.com 2020-09-10 06:11:41 more
  • 滴滴資料倉庫指標體系建設實踐

    **桔妹導讀:**指標體系是什么?如何使用OSM模型和AARRR模型搭建指標體系?如何統一流程、規范化、工具化管理指標體系?本文會對建設的方法論結合滴滴資料指標體系建設實踐進行解答分析。 #1. 什么是指標體系 ##1.1 指標體系定義 指標體系是將零散單點的具有相互聯系的指標,系統化的組織起來,通 ......

    uj5u.com 2020-09-10 06:12:52 more
  • 單表千萬行資料庫 LIKE 搜索優化手記

    我們經常在資料庫中使用 LIKE 運算子來完成對資料的模糊搜索,LIKE 運算子用于在 WHERE 子句中搜索列中的指定模式。 如果需要查找客戶表中所有姓氏是“張”的資料,可以使用下面的 SQL 陳述句: SELECT * FROM Customer WHERE Name LIKE '張%' 如果需要 ......

    uj5u.com 2020-09-10 06:13:25 more
  • 滴滴Ceph分布式存盤系統優化之鎖優化

    **桔妹導讀:**Ceph是國際知名的開源分布式存盤系統,在工業界和學術界都有著重要的影響。Ceph的架構和演算法設計發表在國際系統領域頂級會議OSDI、SOSP、SC等上。Ceph社區得到Red Hat、SUSE、Intel等大公司的大力支持。Ceph是國際云計算領域應用最廣泛的開源分布式存盤系統, ......

    uj5u.com 2020-09-10 06:14:51 more
  • es~通過ElasticsearchTemplate進行聚合~嵌套聚合

    之前寫過《es~通過ElasticsearchTemplate進行聚合操作》的文章,這一次主要寫一個嵌套的聚合,例如先對sex集合,再對desc聚合,最后再對age求和,共三層嵌套。 Aggregations的部分特性類似于SQL語言中的group by,avg,sum等函式,Aggregation ......

    uj5u.com 2020-09-10 06:14:59 more
  • 爬蟲日志監控 -- Elastc Stack(ELK)部署

    傻瓜式部署,只需替換IP與用戶 導讀: 現ELK四大組件分別為:Elasticsearch(核心)、logstash(處理)、filebeat(采集)、kibana(可視化) 下載均在https://www.elastic.co/cn/downloads/下tar包,各組件版本最好一致,配合fdm會 ......

    uj5u.com 2020-09-10 06:15:05 more
最新发布
  • day02-2-商鋪查詢快取

    功能02-商鋪查詢快取 3.商鋪詳情快取查詢 3.1什么是快取? 快取就是資料交換的緩沖區(稱作Cache),是存盤資料的臨時地方,一般讀寫性能較高。 快取的作用: 降低后端負載 提高讀寫效率,降低回應時間 快取的成本: 資料一致性成本 代碼維護成本 運維成本 3.2需求說明 如下,當我們點擊商店詳 ......

    uj5u.com 2023-04-20 08:33:24 more
  • MySQL中binlog備份腳本分享

    關于MySQL的二進制日志(binlog),我們都知道二進制日志(binlog)非常重要,尤其當你需要point to point災難恢復的時侯,所以我們要對其進行備份。關于二進制日志(binlog)的備份,可以基于flush logs方式先切換binlog,然后拷貝&壓縮到到遠程服務器或本地服務器 ......

    uj5u.com 2023-04-20 08:28:06 more
  • day02-短信登錄

    功能實作02 2.功能01-短信登錄 2.1基于Session實作登錄 2.1.1思路分析 2.1.2代碼實作 2.1.2.1發送短信驗證碼 發送短信驗證碼: 發送驗證碼的介面為:http://127.0.0.1:8080/api/user/code?phone=xxxxx<手機號> 請求方式:PO ......

    uj5u.com 2023-04-20 08:27:27 more
  • 快取與資料庫雙寫一致性幾種策略分析

    本文將對幾種快取與資料庫保證資料一致性的使用方式進行分析。為保證高并發性能,以下分析場景不考慮執行的原子性及加鎖等強一致性要求的場景,僅追求最終一致性。 ......

    uj5u.com 2023-04-20 08:26:48 more
  • sql陳述句優化

    問題查找及措施 問題查找 需要找到具體的代碼,對其進行一對一優化,而非一直把關注點放在服務器和sql平臺 降低簡化每個事務中處理的問題,盡量不要讓一個事務拖太長的時間 例如檔案上傳時,應將檔案上傳這一步放在事務外面 微軟建議 4.啟動sql定時執行計劃 怎么啟動sqlserver代理服務-百度經驗 ......

    uj5u.com 2023-04-20 08:26:35 more
  • 云時代,MySQL到ClickHouse資料同步產品對比推薦

    ClickHouse 在執行分析查詢時的速度優勢很好的彌補了MySQL的不足,但是對于很多開發者和DBA來說,如何將MySQL穩定、高效、簡單的同步到 ClickHouse 卻很困難。本文對比了 NineData、MaterializeMySQL(ClickHouse自帶)、Bifrost 三款產品... ......

    uj5u.com 2023-04-20 08:26:29 more
  • sql陳述句優化

    問題查找及措施 問題查找 需要找到具體的代碼,對其進行一對一優化,而非一直把關注點放在服務器和sql平臺 降低簡化每個事務中處理的問題,盡量不要讓一個事務拖太長的時間 例如檔案上傳時,應將檔案上傳這一步放在事務外面 微軟建議 4.啟動sql定時執行計劃 怎么啟動sqlserver代理服務-百度經驗 ......

    uj5u.com 2023-04-20 08:25:13 more
  • Redis 報”OutOfDirectMemoryError“(堆外記憶體溢位)

    Redis 報錯“OutOfDirectMemoryError(堆外記憶體溢位) ”問題如下: 一、報錯資訊: 使用 Redis 的業務介面 ,產生 OutOfDirectMemoryError(堆外記憶體溢位),如圖: 格式化后的報錯資訊: { "timestamp": "2023-04-17 22: ......

    uj5u.com 2023-04-20 08:24:54 more
  • day02-2-商鋪查詢快取

    功能02-商鋪查詢快取 3.商鋪詳情快取查詢 3.1什么是快取? 快取就是資料交換的緩沖區(稱作Cache),是存盤資料的臨時地方,一般讀寫性能較高。 快取的作用: 降低后端負載 提高讀寫效率,降低回應時間 快取的成本: 資料一致性成本 代碼維護成本 運維成本 3.2需求說明 如下,當我們點擊商店詳 ......

    uj5u.com 2023-04-20 08:24:03 more
  • day02-短信登錄

    功能實作02 2.功能01-短信登錄 2.1基于Session實作登錄 2.1.1思路分析 2.1.2代碼實作 2.1.2.1發送短信驗證碼 發送短信驗證碼: 發送驗證碼的介面為:http://127.0.0.1:8080/api/user/code?phone=xxxxx<手機號> 請求方式:PO ......

    uj5u.com 2023-04-20 08:23:11 more