主頁 > 資料庫 > 華為云蘇光牛:堅持產品能力的升級,做金融數字化的堅實資料底座

華為云蘇光牛:堅持產品能力的升級,做金融數字化的堅實資料底座

2023-06-17 08:13:27 資料庫

摘要:華為全球智慧金融峰會2023上,華為云資料庫服務產品部總經理蘇光牛帶來了《華為云分布式資料庫GaussDB,做金融數字化的堅實資料底座》的主題分享,

6月7日,華為全球智慧金融峰會2023在上海順利舉行,華為云資料庫服務產品部總經理蘇光牛帶來了《華為云分布式資料庫GaussDB,做金融數字化的堅實資料底座》的主題分享,為大家介紹了華為云GaussDB的商業進展和技術創新能力,

以下是演講實錄:

尊敬的各位領導、各位來賓,大家下午好!非常感謝大家蒞臨本次峰會,今天,我主要給大家分享下GaussDB的商業進展以及產品能力升級方面的最新情況,

1.華為云GaussDB正在從金融覆寫到更多行業

從2019年開始,我們在華為內部通過持續的錘煉,推出了融合多項技術的自主創新的GaussDB資料庫,而且陸續完成了華為公司內部核心系統的替代,這里面包括三個方面,

第一個是我們在終端云上實作了6PB資料的全面替代和上線,分布式節點有6千個節點的規模,資源利用率提升了30%,

第二個是在ERP的替換中,我們替換了600多套的業務庫,經歷了十倍流量的突發流量考驗,業務效率得到了10倍的提升,實作了零故障、零時延和零調賬,這里簡單給大家普及一下,華為公司的訂單系統的特點,每到一個月的月末,每到一個季度的結束以及每年結束的時候,它的流量是平時流量的5-10倍,所以華為公司在ERP上線的時候,我們是經歷了20倍流量的測驗和壓測才能上線,

第三個就是我們的運營商設備,累計發貨也有30多萬套,

從我們的收入結構也可以發現,GaussDB從最初的金融行業已經覆寫到更多的關基行業,非金融的占比提升了一倍,越來越多的客戶選擇GaussDB作為其數字化轉型的伙伴,

2.在豐富的實踐場景中打磨成熟

我們知道,資料庫是一個全場景的軟體,所以場景實際上是資料庫的磨刀石,下面,我將進一步解讀剛才講的這幾個業務和后面要講的金融業務對資料庫的磨煉是極其重要的,

華為的MetaERP系統,是一個典型的重度的使用傳統商業資料庫的場景,也是制造業里面非常典型的一個應用的代表,在華為公司,ERP是我們的生產系統,它支撐了華為每年數千億訂單,170多個國家的訂單發貨,從華為自身業務連續性的視角看,華為的ERP替換,相當于長征途中的強渡大渡河,作為全球資料庫應用場景最復雜的ERP系統之一,華為的MetaERP面臨幾個挑戰:第一個就是有近7億行的SQL腳本需要改造;第二個我剛也提到了,業務高峰期業務流量可能達到5-10倍,在實際上線前,我們做了20倍流量的壓測;第三個就是大表的改造,有最大160億行大表,超過100億行的表就有十幾個,這些大表的遷移都非常具有挑戰性,那如何解決呢?

第一個,對于SQL腳本的替換,我們的UGO工具實作了近100%的自動化結構遷移,今天,我們去替換資料庫,如果還投入幾十個人去改造一個應用實作替換的話,是不可以維系的,第二個,就是資料遷移,我們是在35個小時內,實作了3200億行資料的遷移,也就是說,今天大家已經不用擔心資料遷移的一致性和完備性問題了,

另外,我們通過智能代價估計、高效索引并發控制等演算法順利地通過了業務歷史最大峰值20倍流量的壓測,

這里也給大家講一個小故事,在ERP切換成功后,華為成都的一個操作人員,第一次運行資產核算任務,只用了3分鐘,但是之前這個操作人員的歷史經驗都需要2個多小時,所以他認為這次可能是運行失敗了,按照操作的規范立即預警,經過實際確認,結果是準確的,是一個“美麗的誤會”,

而華為終端云服務,這個代表著新興的一類生于云、長于云的云原生企業的典型應用,它的主要挑戰是什么呢?首先是成本問題,如何提升資源利用率,特別是在海量的資料和分布式的情況下,大量的部署節點帶來的成本問題以及傳統的機房轉換到云上的成本挑戰;其次是海量業務帶來的大量的分布式的訴求,需要有非常強的擴展性,和彈性伸縮能力;最后是資料多樣化,因為其中既有關系型資料,也有非關系型資料,

GaussDB原生的分布式架構,使負載更加均衡,已經上線的最大單集群節點數超過了200個,并且支持多種生態,實作了資源利用率和運營效率的大幅度提升,

還有就是對資料庫要求最高的金融核心系統,幾乎所有的金融CIO或CTO都知道遷移并不好做,金融行業大量的應用都重度依賴傳統資料庫的介面,存在大量的不確定性,客戶都希望有一套可量化的、逐步推進執行的方案,

從芯片、服務器、存盤、網路到資料庫、作業系統,GaussDB是當前國內唯一能夠做到軟硬協同、全堆疊自主創新的國產品牌,高度兼容傳統資料庫的語法,有一站式的資料加應用平滑遷移方案,使得遷移變得更簡單,同時基于多數派協議的原生分布式架構,更大幅提升了系統的可用性,

3.面向更深入、更廣泛的場景,我們思考如何更好地滿足客戶訴求

隨著GaussDB的成熟,未來GaussDB將向兩個方向發展,第一是做深做透金融行業,一次性解決金融客戶數字化轉型和可持續發展的雙重訴求;第二是從金融走向政務、能源、交通等更多關鍵資訊基礎設施行業,這也是我們一個新的使命,

在做深做透金融上,我們發現客戶以前只關注介面的適配性,現在開始逐步重視替換后應用的可用性、穩定性,大家都知道,主機的可靠性大部分來自硬體,而沒有了這種專用硬體的加持,如何通過軟硬體協同保障大機整體可用性指標就非常重要了,金融核心業務不同于互聯網追求性能峰值的極限,更需要的是一個確定的不抖動的性能,讓每一筆交易的時延都可控,最后,在客戶從幾個應用替換到幾百個應用替換的落地程序中,如何把遷移做成可量化的實施程序,是擺在每個金融CIO眼前最大的挑戰,

近些年,關基行業的資料規模也越來越大,由于科技力量薄弱,技術人員投入相對較少,就需要資料庫簡單易用,最好能直接復用在金融行業已經實踐成熟的技術來降低總體擁有成本,實作快速推進,

4.GaussDB始終以安全可信、高質量為首要目標

為了滿足更多場景的客戶訴求,今天我們發布了新一代的分布式資料庫GaussDB,具備五高兩易的全面能力,下來我就其中的一些關鍵的新能力跟大家做一下解讀和分享,

在講具體的產品能力升級變化之前,我想先給大家分享下GaussDB沒變的東西,那就是我們對安全可信、高質量的追求,

從產品定義、代碼實作、開源治理到運營運維等各個環節,GaussDB基于華為軟體工程全堆疊可信框架,實作了從結果可信到程序可信,做到了包括開發GaussDB軟體的整個工具鏈在內的真正的自主創新,

同時,我們構建起了一個9層的測驗防護網,通過全鏈路的深度互動測驗平臺減少低概率、復雜互動類的問題,當前已有20萬測驗用例消減了大部分基本問題,今年我們還會繼續增加到80萬,還構建了10多個金融客戶場景化的防護網,消減了金融場景化的問題,實作真正的高質量,

5.聚焦客戶業務痛點,GaussDB產品關鍵能力全新升級

在產品能力升級上,我想大家最關心的還是可用性,我們的GaussDB新版本支持了Paxos一致性協議,更好地提升了RTO,高負載業務下DN故障倒換可以穩定在10秒以內;去年我們跟工商銀行聯創推出了國內首個雙集群強一致的方案,實作了集群級故障完全隔離RPO=0,雙AZ雙活;今年我們又進一步支持了雙集群的邏輯復制,以及全新的應用無損透明切換方案,做到應用大版本升級完全不停機,主備倒換應用微感知,真正實作大機業務7*24小時不間斷,

在性能上,GaussDB存盤引擎可以實作業務長時間頻繁更新下依然保持系統高性能,同時不抖動,這得益于GaussDB和招行的聯創,我們重構了底層的整個存盤引擎,采用的是原地更新的模式,它和常見的基于不斷追加的這種引擎最大的區別是,傳統的模式在底層垃圾的回收和記憶體做資料化的時候會有非常大的抖動,經過實測,我們在大壓力的情況下,性能的抖動依然可以控制在3%,同時存盤空間的利用率提升了17%,

在智能化上,對DBA來說,最頭疼的就是在系統出現亞健康狀態的時候,如何能夠快速感知到問題,及時地進行識別和分析,方便進一步操作,作為國內首個AI-Native資料庫,GaussDB提供從應用開發到運維階段全流程的資料庫智能化體驗,有全新的SQL Audit工具,在開發驗證階段就完成SQL自動審核,減少亞健康出現的情況,一旦出現亞健康狀態,GaussDB可以快速感知到問題,識別出實時慢SQL,并進一步通過慢SQL的耗時點分析,自動診斷出是否處于被阻塞狀態,以便運維人員進行判斷查殺,在一些嚴重過載的情況下,我們還有過載熔斷能力可以自動kill過載會話,避免因個別慢SQL拖住整個系統,還有DBMind的慢SQL根因分析、索引推薦、例外檢測等多種運維功能也讓DBA更加得心應手,

除了上面講的這些硬核技術外,對于客戶關注的性價比、平滑遷移,GaussDB的新版本也做了大量的作業,首先是海量資料帶來的存盤資源壓力,壓縮是一個辦法,但簡單的高壓縮比并不是我們追求的目標,我們更關注的是如何讓業務盡量無感地使用壓縮,并且性能不會有大幅降低,最好控制在5%,甚至更低的性能影響,這才是真正有用的壓縮,我們既能夠降低資源的使用,對應用的侵入性更小,

其次,新版本還將支持內核多租戶的能力,幫助用戶可以快速在不同的租戶資源上進行遷移,讓應用使用更加靈活,資源利用率更高,

最后,GaussDB有一站式的遷移解決方案,讓原本不確定的遷移作業變成一個確定性的事情,第一個就是我們的UGO,可以對現有系統的所有應用進行掃描和評估,告訴我們哪些能夠兼容,哪些不能兼容,以及如何進行改造,現在我們已經做到95%的自動化,第二個就是DRS,可以實作在線零中斷遷移,并且通過資料比對保證資料零丟失,第三個是流量回放,和UGO配合,可以真實地抓取源資料庫上的流量,在新資料庫上進行回放,避免大家現在普遍遇到的覆寫不全的問題,我認為,只有通過上述工程化可落地的方案,才能真正地實作國產資料庫的規模替換,

資料庫的發展,除了產品的創新,更離不開產學研用的通力合作,金融客戶是資料庫的重要出發點和落腳點,為GaussDB的發展起到了關鍵的作用,我們希望更多的金融客戶能夠開放自己更多的典型業務場景,基于分布式架構,來設計自己的多地多中心方案,形成最佳實踐,加速推進行業數字化轉型,

號外

7月7日,華為開發者大會2023 ( Cloud )將拉開帷幕,并將在國內30多個城市、海外10多個國家開設分會場,誠邀您參加這場不容錯過的年度開發者盛會,讓我們一起開啟探索之旅!

我們將攜手開發者、客戶、合作伙伴,為您呈現華為云系列產品服務與豐富的創新實踐,并與您探討AI、大資料、資料庫、PaaS、aPaaS、媒體服務、云原生、安全、物聯網、區塊鏈、開源等技識訓題,展開全面深入的交流,

大會將匯聚全球科學家、行業領袖、技術專家、社區大咖,開設200多場開發者專題活動,為全球開發者提供面對面交流與合作的機會,共同探討技術創新和業務發展,

大會官網:https://developer.huaweicloud.com/HDC.Cloud2023.html

參會購票:https://www.vmall.com/product/10086352254099.html?cid= 211761

點擊參與開發者社區活動,觀賞技術大咖秀、玩轉技術夢工廠,有機會贏取4000元開發者禮包!

歡迎關注“華為云開發者聯盟”公眾號,獲取大會議程、精彩活動和前沿干貨,

 

點擊關注,第一時間了解華為云新鮮技術~

轉載請註明出處,本文鏈接:https://www.uj5u.com/shujuku/555419.html

標籤:其它

上一篇:和必應對話之mysql磁區分表

下一篇:返回列表

標籤雲
其他(161170) Python(38236) JavaScript(25504) Java(18244) C(15237) 區塊鏈(8271) C#(7972) AI(7469) 爪哇(7425) MySQL(7256) html(6777) 基礎類(6313) sql(6102) 熊猫(6058) PHP(5875) 数组(5741) R(5409) Linux(5347) 反应(5209) 腳本語言(PerlPython)(5129) 非技術區(4971) Android(4599) 数据框(4311) css(4259) 节点.js(4032) C語言(3288) json(3245) 列表(3129) 扑(3119) C++語言(3117) 安卓(2998) 打字稿(2995) VBA(2789) Java相關(2746) 疑難問題(2699) 细绳(2522) 單片機工控(2479) iOS(2436) ASP.NET(2404) MongoDB(2323) 麻木的(2285) 正则表达式(2254) 字典(2211) 循环(2198) 迅速(2185) 擅长(2169) 镖(2155) .NET技术(1984) HtmlCss(1968) 功能(1967) Web開發(1951) C++(1941) python-3.x(1918) 弹簧靴(1913) xml(1889) PostgreSQL(1881) .NETCore(1863) 谷歌表格(1846) Unity3D(1843) for循环(1842)

熱門瀏覽
  • GPU虛擬機創建時間深度優化

    **?桔妹導讀:**GPU虛擬機實體創建速度慢是公有云面臨的普遍問題,由于通常情況下創建虛擬機屬于低頻操作而未引起業界的重視,實際生產中還是存在對GPU實體創建時間有苛刻要求的業務場景。本文將介紹滴滴云在解決該問題時的思路、方法、并展示最終的優化成果。 從公有云服務商那里購買過虛擬主機的資深用戶,一 ......

    uj5u.com 2020-09-10 06:09:13 more
  • 可編程網卡芯片在滴滴云網路的應用實踐

    **?桔妹導讀:**隨著云規模不斷擴大以及業務層面對延遲、帶寬的要求越來越高,采用DPDK 加速網路報文處理的方式在橫向縱向擴展都出現了局限性。可編程芯片成為業界熱點。本文主要講述了可編程網卡芯片在滴滴云網路中的應用實踐,遇到的問題、帶來的收益以及開源社區貢獻。 #1. 資料中心面臨的問題 隨著滴滴 ......

    uj5u.com 2020-09-10 06:10:21 more
  • 滴滴資料通道服務演進之路

    **?桔妹導讀:**滴滴資料通道引擎承載著全公司的資料同步,為下游實時和離線場景提供了必不可少的源資料。隨著任務量的不斷增加,資料通道的整體架構也隨之發生改變。本文介紹了滴滴資料通道的發展歷程,遇到的問題以及今后的規劃。 #1. 背景 資料,對于任何一家互聯網公司來說都是非常重要的資產,公司的大資料 ......

    uj5u.com 2020-09-10 06:11:05 more
  • 滴滴AI Labs斬獲國際機器翻譯大賽中譯英方向世界第三

    **桔妹導讀:**深耕人工智能領域,致力于探索AI讓出行更美好的滴滴AI Labs再次斬獲國際大獎,這次獲獎的專案是什么呢?一起來看看詳細報道吧! 近日,由國際計算語言學協會ACL(The Association for Computational Linguistics)舉辦的世界最具影響力的機器 ......

    uj5u.com 2020-09-10 06:11:29 more
  • MPP (Massively Parallel Processing)大規模并行處理

    1、什么是mpp? MPP (Massively Parallel Processing),即大規模并行處理,在資料庫非共享集群中,每個節點都有獨立的磁盤存盤系統和記憶體系統,業務資料根據資料庫模型和應用特點劃分到各個節點上,每臺資料節點通過專用網路或者商業通用網路互相連接,彼此協同計算,作為整體提供 ......

    uj5u.com 2020-09-10 06:11:41 more
  • 滴滴資料倉庫指標體系建設實踐

    **桔妹導讀:**指標體系是什么?如何使用OSM模型和AARRR模型搭建指標體系?如何統一流程、規范化、工具化管理指標體系?本文會對建設的方法論結合滴滴資料指標體系建設實踐進行解答分析。 #1. 什么是指標體系 ##1.1 指標體系定義 指標體系是將零散單點的具有相互聯系的指標,系統化的組織起來,通 ......

    uj5u.com 2020-09-10 06:12:52 more
  • 單表千萬行資料庫 LIKE 搜索優化手記

    我們經常在資料庫中使用 LIKE 運算子來完成對資料的模糊搜索,LIKE 運算子用于在 WHERE 子句中搜索列中的指定模式。 如果需要查找客戶表中所有姓氏是“張”的資料,可以使用下面的 SQL 陳述句: SELECT * FROM Customer WHERE Name LIKE '張%' 如果需要 ......

    uj5u.com 2020-09-10 06:13:25 more
  • 滴滴Ceph分布式存盤系統優化之鎖優化

    **桔妹導讀:**Ceph是國際知名的開源分布式存盤系統,在工業界和學術界都有著重要的影響。Ceph的架構和演算法設計發表在國際系統領域頂級會議OSDI、SOSP、SC等上。Ceph社區得到Red Hat、SUSE、Intel等大公司的大力支持。Ceph是國際云計算領域應用最廣泛的開源分布式存盤系統, ......

    uj5u.com 2020-09-10 06:14:51 more
  • es~通過ElasticsearchTemplate進行聚合~嵌套聚合

    之前寫過《es~通過ElasticsearchTemplate進行聚合操作》的文章,這一次主要寫一個嵌套的聚合,例如先對sex集合,再對desc聚合,最后再對age求和,共三層嵌套。 Aggregations的部分特性類似于SQL語言中的group by,avg,sum等函式,Aggregation ......

    uj5u.com 2020-09-10 06:14:59 more
  • 爬蟲日志監控 -- Elastc Stack(ELK)部署

    傻瓜式部署,只需替換IP與用戶 導讀: 現ELK四大組件分別為:Elasticsearch(核心)、logstash(處理)、filebeat(采集)、kibana(可視化) 下載均在https://www.elastic.co/cn/downloads/下tar包,各組件版本最好一致,配合fdm會 ......

    uj5u.com 2020-09-10 06:15:05 more
最新发布
  • 華為云蘇光牛:堅持產品能力的升級,做金融數字化的堅實資料底座

    摘要:華為全球智慧金融峰會2023上,華為云資料庫服務產品部總經理蘇光牛帶來了《華為云分布式資料庫GaussDB,做金融數字化的堅實資料底座》的主題分享。 6月7日,華為全球智慧金融峰會2023在上海順利舉行,華為云資料庫服務產品部總經理蘇光牛帶來了《華為云分布式資料庫GaussDB,做金融數字化的 ......

    uj5u.com 2023-06-17 08:13:27 more
  • 和必應對話之mysql磁區分表

    > mysql單表資料量太大 導致查詢緩慢問題如何解決 您好,這是Bing。根據網路搜索結果,mysql單表資料量太大導致查詢緩慢的問題有以下幾種可能的解決方案: - 使用索引。索引是一種資料結構,可以幫助資料庫高效地獲取資料。索引可以根據WHERE和JOIN中出現的列創建,以提高查詢效率。索引的種 ......

    uj5u.com 2023-06-17 08:11:43 more
  • Mysql基本命令

    查看資料庫 show databases; 創建資料庫 create database db1; 創建資料庫db1 洗掉資料庫 drop database db1; 洗掉資料庫db1 切換進入資料庫 use user 進入user資料庫 查看資料庫中的表 show tables; 創建表 創建表的方 ......

    uj5u.com 2023-06-17 08:11:32 more
  • 曝光!Apache SeaTunnel Catalog 功能設計為何能大大簡化用戶啟用

    ![file](https://img2023.cnblogs.com/other/3195851/202306/3195851-20230616175541667-1729991882.jpg) Catalog(目錄)提供了關于資料庫、表格和訪問資料所需的資訊的元資料,以及統一的 API 來管理元 ......

    uj5u.com 2023-06-17 08:11:12 more
  • Committer 迎新!這次是來自阿里云的同學

    ![file](https://img2023.cnblogs.com/other/2685289/202306/2685289-20230616173226789-2009691483.jpg) > 截至今天,Apache DolphinScheduler 專案在 GitHub 上的 Star 數 ......

    uj5u.com 2023-06-17 08:11:05 more
  • 資料分析提效5倍,國有集團企業數字化歷程 | 數字化標桿

    從北京到新疆、從中國到南非,從奧運會場館的水泥混凝土到錢塘江畔拔地而起的高樓房產,無不存在著這個集團的身影。 歷經60多年滄桑巨變,某市屬大型國有控股建筑產業集團已發展成為一家中國500強企業、A+H整體上市公司,然而,該集團的實力與決心,遠不限于此。 為讓資料更好支撐業務,該集團與袋鼠云合作,通過 ......

    uj5u.com 2023-06-16 08:28:26 more
  • 云小課|RDS for MySQL引數模板一鍵匯入匯出,引數配置輕松搞定

    摘要:云資料庫RDS for MySQL支持引數模板的匯入和匯出功能。 本文分享自華為云社區《【云小課】【第56課】RDS for MySQL引數模板一鍵匯入匯出,引數配置輕松搞定》,作者:資料庫的小云妹。 云資料庫RDS for MySQL支持引數模板的匯入和匯出功能。 匯入引數模板:匯入后會生成 ......

    uj5u.com 2023-06-16 08:28:13 more
  • 基于Elasticsearch 為電商提供商品資料大資料查詢

    # 基于Elasticsearch 為電商提供商品資料大資料查詢 # 前言 對于現代電商的產品,維度的多員花,與一套強大的搜索引擎,那是非常必要的。今天我們主要是描述我們在從事電商搜索引擎程序中的遇到的一些問題和經驗分享。 # 程序 ### 資料準備 >> 1、我們準備為我們需要做查找的資料做好一張 ......

    uj5u.com 2023-06-16 08:28:02 more
  • 云小課|RDS for MySQL引數模板一鍵匯入匯出,引數配置輕松搞定

    摘要:云資料庫RDS for MySQL支持引數模板的匯入和匯出功能。 本文分享自華為云社區《【云小課】【第56課】RDS for MySQL引數模板一鍵匯入匯出,引數配置輕松搞定》,作者:資料庫的小云妹。 云資料庫RDS for MySQL支持引數模板的匯入和匯出功能。 匯入引數模板:匯入后會生成 ......

    uj5u.com 2023-06-16 08:26:57 more
  • 資料分析提效5倍,國有集團企業數字化歷程 | 數字化標桿

    從北京到新疆、從中國到南非,從奧運會場館的水泥混凝土到錢塘江畔拔地而起的高樓房產,無不存在著這個集團的身影。 歷經60多年滄桑巨變,某市屬大型國有控股建筑產業集團已發展成為一家中國500強企業、A+H整體上市公司,然而,該集團的實力與決心,遠不限于此。 為讓資料更好支撐業務,該集團與袋鼠云合作,通過 ......

    uj5u.com 2023-06-16 08:26:34 more