摘要：華為云EI DTSE技術布道師/華為云數倉GaussDB(DWS)首席架構師曾凱，針對資料倉庫的起源、演程序序、未來技術發展趨勢，與開發者和伙伴朋友們展開交流互動，幫助開發者快速了解資料倉庫相關資訊與能力，
本文分享自華為云社區《直播回顧 | 從數倉發展史淺析數倉未來技術趨勢》，作者：胡辣湯，
在本期《從數倉發展史淺析數倉未來技術趨勢》的主題直播中，我們邀請到華為云EI DTSE技術布道師/華為云數倉GaussDB(DWS)首席架構師曾凱，針對資料倉庫的起源、演程序序、未來技術發展趨勢，與開發者和伙伴朋友們展開交流互動，幫助開發者快速了解資料倉庫相關資訊與能力，
資料倉庫由何而來？
上世紀70年代，E.F.Codd提出關系型資料庫模型，把用戶從復雜資料處理的底層邏輯中抽離出來，1970年代，MIT提出單獨構建分析系統的基礎理論，1980年代初，W.H.Inmon開始了“記錄系統”、“本原資料”、“決策支持資料庫”等專題的研究 ，1990年代初，資料倉庫之父--- W.H.Inmon出版了資料倉庫的經典作品《構建資料倉庫》，從90年代開始，資料倉庫進入蓬勃發展時期，涌現了非常多資料倉庫產品，資料倉庫的概念內涵非常豐富，但從抽象來說，借用Inmon的定義，資料倉庫是一個面向主題的、集成的、相對穩定、反映歷史變化（隨時間變化），用來支撐管理人員決策的資料集合，其中4個主要特點為：
- 面向主題：主要是給資料分類，方便理解和管理，
- 集成：在使用資料之前，需要對其進行加工與集成，并且其有統一的資料結構和編碼，
- 非易失的：資料倉庫中包含了大量的歷史資料，其是極少或基本不更新的，
- 隨時間變化：資料隨時間不斷積累，保存較長的時限，資料特征標明了歷史時期，反映時間趨勢的變化，
傳統資料倉庫技術架構
資料倉庫的發展也經歷了底層技術架構的演進，一般來說傳統資料倉庫的技術架構可以概括為三類：Shared Everything, Shared Disk和Shared Nothing，
- Shared Everything針對單機資料庫，完全透明共享單機內的CPU、記憶體、IO資源；
- Shared Storage各個處理節點使用其自己獨有的CPU、記憶體，但是存盤是共享的；
- Shared Nothing是一種分布式計算架構，CPU、記憶體、磁盤等資源都是私有的，整個系統中不存在共享資源，沒有單點的競爭，
Shared-Nothing架構因為其優秀的可擴展性，目前已成為高性能資料倉庫的主流架構，在該體系架構下，資料是按照節點水平劃分，每個節點只負責自己本地的資料，這樣就會使得每個節點有相同的功能并在自己的硬體上運行，其資源不去進行爭用，
資料倉庫邏輯分層架構
對于上層應用來說，業界有很多對資料倉庫的邏輯分層架構，其中比較有代表性的邏輯分層結構有四個層次：分別為資料運營層（ODS，Operational Data Store）、資料明細層（DWD，Data Warehouse Detail）、資料服務層（DWS，Data Warehouse Service）、資料應用層（ADS，Application Data Service），
- 資料運營層(ODS)，該層將原始資料幾乎無處理地存放在資料倉庫系統匯總，結構上與源系統保持一致，其職責是將基礎資料同步、存盤，是后續加工資料的來源；
- 資料明細層(DWD)，該層主要解決的是資料質量和資料完整性問題，在ODS的基礎之上對資料進行加工處理，提供更干凈的資料，并基于維度建模，明細寬表，復用關聯計算，減少資料掃描；
- 資料服務層（DWS），該層主要是將上層來的資料整合匯總成分析某一個主題域的資料服務層，用于提供后續的業務查詢；
- 資料應用層(ADS），是為資料產品和資料分析提供使用的資料，為進一步的資料分析提供個性化資料、寬表集市、趨勢指標等，
未來，資料倉庫將如何發展？
從早期PC時代到互聯網時代、移動互聯網時代，再到智能資料時代，資料特征呈海量化、多樣化發展，業務特征呈實時化、生態化發展，自數字化以來，資料量年增長30%，每三年翻一番，互聯網交易資料是4.5億筆/天，為了充分挖掘資料價值，發掘資料潛力，便于支撐業務決策，使得業務收集保存越來越多的資料，帶來了資料海量化，同時也促進了業務收集各種資料，比如日志、遙感、檔案、圖片的資料，從不同資料里挖掘資訊，帶來了資料多樣化，業務決策要求發現資料中實時的趨勢變化，支持實時的業務決策，例如實時風控、工業OT等，這些都要求資料分析的實時化；此外，資料的分析挖掘需要整合多樣性的資料，從而走向多樣資訊的融合，走向生態化，
資料倉庫發展趨勢：
華為云GaussDB(DWS)發展歷程
華為云GaussDB(DWS)歷經12年技術演進，2011年開始技術預研，2014年首次上市，通過不停地迭代和演進，從2017年開始大規模商用，當前全球已累積1700+大客戶，針對數倉發展趨勢，GaussDB(DWS)也在不斷地演進，2022年推出實時數倉、IoT數倉，應對實時資料的接入，滿足實時計算場景需求，
2023年3月底GaussDB(DWS)即將發布云原生數倉，提供存算管三層分離、極致彈性能力，提供湖倉一體、數智融合和優異性能體驗，
- Serverless的云原生架構：存算管的三層分離，計算存盤資源獨立、靈活、快速伸縮，高性價比滿足用戶變化多樣的負載需求和嚴格的負載隔離要求，
- 極致彈性：多樣的彈性方式邏輯集群擴縮容\啟停，一份資料承載多樣負載，資料實時共享，
- 湖倉一體：支持資料湖與數倉互聯互通，不需要進行資料搬遷，GaussDB(DWS)可以直接訪問資料湖的資料表，進行資料分析，可以體驗到數倉的極致分析性能和精準管控度，
- 數智融合：資料生產線與AI生產線的無縫對接，資料生產線為AI生產線提供強勁的資料處理能力和靈活的供數方式；AI訓練推理能力嵌入資料分析流程，
- 優異性能：一體化性能優化，匹配傳統數倉的性能體驗，
本期直播完整視頻點擊鏈接查看，更多關于GaussDB(DWS)云原生數倉技術能力決議，請關注3月29日（本周三）下午16:30-18:00，華為云GaussDB(DWS)云原生首席SE 王傳廷老師的直播課堂，直播報名鏈接：https://bbs.huaweicloud.com/signup/6f7874a9742e42389ddd6cc8b7af32d6
點擊關注，第一時間了解華為云新鮮技術~
轉載請註明出處，本文鏈接：https://www.uj5u.com/shujuku/548435.html
標籤：其它