摘要:你知道數倉是如何應運而生的嗎?你了解數倉未來的發展趨勢嗎?想知道國內數倉專家的看法嗎?
導語
資料倉庫的發展一直是備受關注的議題,隨著近年來技術的不斷演進,數倉也在更新迭代,
你知道數倉是如何應運而生的嗎?你了解數倉未來的發展趨勢嗎?想知道國內數倉專家的看法嗎?
今天我們邀請到了華為云資料倉庫首席架構師,中國計算機學會資料庫專委委員——曾凱,來和我們面對面聊一聊從業者眼中的資料倉庫,
曾凱,本科畢業于浙江大學,博士畢業于加州大學洛杉磯分校,曾在加州大學伯克利分校的AMPLab 做博士后研究,他發表了多篇資料庫領域的CCF A類論文,曾獲得SIGMOD 2012最佳論文獎、SIGMOD 2014最佳演示獎以及SIGMOD 2010最佳演示獎提名,并常年擔任SIGMOD、VLDB、ICDE等資料庫領域會議的PC Member等,
正文
主持人:您覺得數倉是如何應運而生的?
曾博:資料庫的誕生,實際上是伴隨著計算機的誕生,人類資料資訊管理和處理方式的一種升級,但是資料庫誕生之初,還是沒有數倉的,數倉其實是在80年代以后,人們對于資料管理和處理的訴求進一步提升,資料量增加,資料分析的復雜度和維度變得更大了以后,才開始產生面向分析的負載,然后才有資料倉庫的誕生,在我看來,資料倉庫的誕生,它就代表人們不再滿足于對資料做簡單的存盤和操作管理,而是嘗試從資料中去挖掘價值,通過分析資料來支撐商業決策,當然數倉也在不斷發展,從描述型的數倉,演進為探索型的數倉,再到運營型的數倉,發展到今天我認為已經進入到了智慧型的數倉時代,
主持人:可以請您談一下對國內數倉產業的見解嗎?比如國內需要怎么樣的數倉產品,有哪些場景迫切需要數倉的發展與演進,這些場景對數倉提出了哪些能力要求?
曾博:我覺得數倉產品的發展和演進方向可以用一個詞來總結,就是“融合”,這些包括傳統數倉技術與云計算的融合,流與批的融合,湖和倉的融合,資料和AI的融合,TP與AP的融合等等:
一是傳統數倉技術與云計算的融合,也就是云原生serverless化,目前資料倉庫的架構正向云原生演進,其典型技術特征是存算分離,這種新架構可以給用戶帶來極致的彈性,同時降低成本和提高資源利用率,二是流與批的融合,我們也稱實時分析,像實時風控、實時營銷、實時授信等場景越來越需要對當前最新產生資料進行即時的分析,三是湖和倉的融合,也就是湖倉一體,將資料湖和資料倉庫有機結合,充分融合資料倉庫的高性能與資料湖的低成本,實作冷熱資料分級、價值密度分級,同時承載結構化、半結構化及非結構化的海量資料的多樣化處理,四是數智融合,也就是融合資料平臺和AI平臺,實作能力互補,將資料倉庫資料管理能力與ML流程生命周期管理結合,五是TP與AP的融合,運用HTAP,構建一套系統,既支持TP又支持AP能力,同時降低成本、減少系統運維和ETL開銷,
主持人:對于您個人而言,為什么選擇了GaussDB(DWS),GaussDB(DWS)產品什么方面吸引了您?
曾博:首先從個人背景來講,我其實一直都是深耕在資料庫和分布式系統領域,所以我個人對于資料處理技術有著濃厚的興趣,
其次,GaussDB(DWS)的發展,從華為的2012實驗室范訓之初,到如今已經有10多個年頭了,這中間GaussDB(DWS)的團隊不斷在技術上追求卓越,精益求精,到目前為止服務超過1700家客戶,已經在工業界成長為業界第一梯隊的資料倉庫產品,不僅如此,GaussDB(DWS)在學術圈也有一定的影響力,經常在國際資料庫研究領域發表論文以及參加研究交流活動,所以我覺得GaussDB(DWS)不管是作為一個工業產品,還是作為一個資料庫技術研發平臺,都是非常好的載體,這也是GaussDB(DWS)吸引我,讓我選擇在這里作業的原因,
主持人:您覺得GaussDB(DWS)未來的能力增長方向在哪些方面,GaussDB(DWS)在未來能帶來哪些更多的可能性?
曾博:就像我之前提到的,DWS未來會在以存算分離為架構特點的云原生Serverless化、實時分析、HTAP混合負載,還有跟周邊生態系統的融合,包括湖倉一體、數智融合、智能化等等方向持續投入研發理論,不斷推動這些方面的技術能力發展,另外我想著重強調一點,就是我們今年3月底會發布新一代全場景云資料倉庫——GaussDB(DWS)3.0,在保持GaussDB(DWS)傳統的優秀的性能和可靠性,以及優異的實時分析,HTAP混合負載的能力之外,就在這些方向上引入了更多業界領先的能力:
比如說在云原生Serverless化方面,GaussDB(DWS)3.0引入了極致的彈性能力,可以為用戶提供分鐘級的邏輯集群內部彈性,也可以支持用戶分鐘級地去按需創建和銷毀邏輯集群,并且用戶可以按照業務訴求,去靈活使用多個邏輯集群支持不同的業務負載,保證各種業務負載之間嚴格的資源隔離,同時還可以根據業務負載的動態需求變化來彈性伸縮;并隨著業務負載的增長,線性地提升它的承載能力,
同時GaussDB(DWS)3.0也大大增強了湖倉一體和數智融合方面的能力,支持與華為云大資料的產品站無縫融合,這樣用戶就可以在湖和倉的資料上實作無縫的混合復雜查詢,使得用戶對湖上資料的分析仍然能夠體驗資料倉庫的極致查詢性能和非常強大的負載管理能力,同時在數智融合方面,我們提供了非常方便的手段,來打通用戶的資料生產線和AI生產線,使得用戶可以利用數倉強大的計算能力,為AI生產線提供高質量的資料和資料加工的能力,同時也可以把AI訓練和推理的能力無縫地集成到數倉資料分析的程序中來,提供更多的可能性,
云資料倉庫 GaussDB(DWS)一塊錢試用名額,快來加入我們吧,
試用鏈接:https://account.huaweicloud.com/pkgbuy/#/home?prId=P2301030739348161PUN0WH1KGC25E
點擊關注,第一時間了解華為云新鮮技術~
轉載請註明出處,本文鏈接:https://www.uj5u.com/shujuku/544656.html
標籤:其它
