🌕寫在前面

---

• 🍊博客主頁：kikoking的江湖背景
• 🎉歡迎關注🔎點贊👍收藏??留言📝
• 🌟本文由 kikokingzz 原創，CSDN首發！
• 📆首發時間：🌹2021年1月19日🌹
• 🆕最新更新時間：🎄2021年1月19日🎄
• ??堅持和努力一定能換來詩與遠方！
• 🙏作者水平很有限，如果發現錯誤，請留言轟炸哦！萬分感謝感謝感謝！

• 🔥熱榜雜談必看文：第一話·他居然只用了一把王者的時間就入門了·大資料？

目錄

🌕寫在前面

🔥0.沃爾瑪紙尿褲和啤酒

🔥1.什么是資料倉庫、資料集市和資料湖？

🍊1.1 資料倉庫

🍊1.2 資料集市

🍊1.3 資料湖

🔥2.湖倉一體化為什么誕生？

🍊2.1 打通資料的存盤與計算

🍊2.2 靈活性與成長性兼得

🔥3.湖倉一體化是什么？

🔥4.湖倉一體化的好處是什么？

🔥5.參考文獻

🔥0.沃爾瑪紙尿褲和啤酒

---

在了解湖倉一體化之前，我們先來看一則有關資料倉庫的有趣故事吧~

沃爾瑪擁有世界上最大的資料倉庫系統，它利用資料挖掘方法對交易資料進行分析后發現"跟尿布一起購買最多的商品竟是啤酒！后來經過大量實際調查和分析，發現在美國，一些年輕的父親下班后經常要到超市去買嬰兒尿布，而他們中有30%～40%的人同時也為自己買一些啤酒，這是因為美國的太太們常叮囑她們的丈夫下班后為小孩買尿布，而丈夫們在買尿布后又隨手帶回了他們喜歡的啤酒，可見大資料其實很早之前就已經伴隨在我們的日常生活之中了，

那么接下來我們就來了解一下湖倉一體化的基本概念吧，

???我是分割線???

🔥1.什么是資料倉庫、資料集市和資料湖？

---

🍊1.1 資料倉庫

早期系統采用資料庫來存放管理資料，但是隨著大資料技術的興起，大家想要通過大資料技術來找到資料之間可能存在的關系，所以大家設計了一套新的資料存盤管理系統，把所有的資料全部存盤到資料倉庫，然后統一對資料處理，這個系統叫做資料倉庫，而資料庫缺少靈活和強大的處理能力，

在計算機領域，資料倉庫（英語：data warehouse，也稱為企業資料倉庫）是用于報告和資料分析的系統，被認為是商業智能的核心組件，資料倉庫是來自一個或多個不同源的集成資料的中央存盤庫，資料倉庫將當前和歷史資料存盤在一起，以利各種分析方法如在線分析處理(OLAP)、資料挖掘(Data Mining)，幫助決策者能快速從大量資料中，分析出有價值的資訊，幫助建構商業智能(BI)，

盡管倉庫非常適合結構化資料，但是許多現代企業必須處理非結構化資料，半結構化資料以及具有高多樣性、高速度和高容量的資料，資料倉庫不適用于許多此類場景，并且成本效益并非最佳，

?

---

🍊1.2 資料集市

每個部門自身也有對業務資料進行處理分析統計的需求，但不涉及到和其他資料，不希望在資料量大的資料倉庫進行操作（因為操作慢，而且可能影響到其他人處理資料），所以建立一個新的存盤系統，把資料倉庫里關聯自己的資料存盤到這個系統，本質上算是資料倉庫的一個子集，這個系統叫做資料集市，

例如公司里的某一個部門想對投資者服務資料進行分析，于是他們建立一個投資者服務資料的資料集市，其中資料從資料倉庫中抽取：

?

---

🍊1.3 資料湖

隨著當前大量資訊化發展和電子設備產品普及，產生大量的照片、視頻、檔案等非結構化資料，人們也想通過大資料技術找到這些資料的關系，所以設計了一個比資料倉庫還要大的系統，可以把非結構化和結構化資料共同存盤和做一些處理，這個系統叫做資料湖，

資料倉庫的成長性很好，而資料湖更靈活，資料倉庫支持的資料結構種類比較單一，資料湖的種類比較豐富，可以包羅萬象，資料倉庫更加適合成熟的資料當中的分析和處理，資料湖更加適合在異構資料上的價值的挖掘，

資料湖雖然適合存盤資料，但缺少一些關鍵功能：它們不支持事務處理，不保證資料質量，并且缺乏一致性/隔離性，從而幾乎無法實作混合追加和讀取資料，以及完成批處理和流式作業， 由于這些原因，資料湖的許多功能尚未實作，并且在很多時候喪失了資料湖的優勢，

?

???我是分割線???

🔥2.湖倉一體化為什么誕生？

---

🍊2.1 打通資料的存盤與計算

很多公司對各類資料應用包括 SQL 分析、實時監控、資料科學和機器學習的靈活性、高性能系統的需求并未減少，AI 的大部分最新進展是基于更好地處理非結構化資料（如 text、images、video、audio ）的模型，完全純資料倉庫的二維關系表已經無法承接半 / 非結構化資料的處理，AI 引擎不可能只跑在純資料倉庫模型上，一種常見的解決方案是結合資料湖和資料倉庫優勢，建立湖倉一體化，進而解決了資料湖的局限性：直接在用于資料湖的低成本存盤上實作與資料倉庫中類似的資料結構和資料管理功能，

之前的微博基于大資料的需求發展了資料倉庫平臺，基于AI的需求，發展了資料湖平臺，這兩套大資料平臺在集群層面完全是割裂的，資料和計算無法在兩個平臺間自由流動，而使用湖倉一體，就能實作資料湖和數倉之間的無縫流轉，打通了資料存盤和計算的不同的層面，

🍊2.2 靈活性與成長性兼得

?

通過上面這張圖，可知靈活性和成長性，對于處于不同時期的企業來說，重要性不同，

1、當企業處于初創階段，資料從產生到消費還需要一個創新探索的階段才能逐漸沉淀下來，那么用于支撐這類業務的大資料系統，靈活性就更加重要，資料湖的架構更適用，

2、當企業逐漸成熟起來，已經沉淀為一系列資料處理流程，問題開始轉化為資料規模不斷增長，處理資料的成本不斷增加，參與資料流程的人員、部門不斷增多，那么用于支撐這類業務的大資料系統，成長性的好壞就決定了業務能夠發展多遠，資料倉庫的架構更適用，?

經過對資料湖和資料倉庫的深入闡述和比較，可以發現：資料湖和資料倉庫一個面向初創用戶友好，一個成長性更佳，對企業來說，資料湖和資料倉庫是否必須是一個二選一的選擇題？是否能有一種方案同時兼顧資料湖的靈活性和云資料倉庫的成長性，將二者有效結合起來為用戶實作更低的總體擁有成本？那么湖倉一體化就是答案！

???我是分割線???

🔥3.湖倉一體化是什么？

---

隨著當前大資料技術應用趨勢，企業對單一的資料湖和數倉架構并不滿意，越來越多的企業開始融合資料湖和資料倉庫的平臺，不僅可以實作資料倉庫的功能，同時還實作了不同型別資料的處理功能、資料科學、用于發現新模型的高級功能，

湖倉一體是一種新型開放式架構，將資料湖和資料倉庫的優勢充分結合，它構建在資料湖低成本的資料存盤架構之上，又繼承了資料倉庫的資料處理和管理功能，打通資料湖和資料倉庫兩套體系，讓資料和計算在湖和倉之間自由流動，作為新一代大資料技術架構，將逐漸取代單一資料湖和資料倉庫架構，

有人把“湖倉一體”做了形象的比喻，就好像湖邊搭建了很多小房子，有的可以負責資料分析，有的來運轉機器學習，有的來檢索音視頻等等，而這些資料源流，都可以從資料湖里輕松取得，

?

???我是分割線???

🔥4.湖倉一體化的好處是什么？

---

湖倉一體能發揮出資料湖的靈活性與生態豐富性，以及資料倉庫的成長性與企業級能力，幫助企業建立資料資產、實作資料業務化、進而推進全線業務智能化，實作資料驅動下的企業資料智能創新，全面支撐企業未來大規模業務智能落地，其主要優勢主要有以下幾個方面：

?資料重復性：如果一個組織同時維護了一個資料湖和多個資料倉庫，這無疑會帶來資料冗余，在最好的情況下，這僅僅只會帶來資料處理的不高效，但是在最差的情況下，它會導致資料不一致的情況出現，湖倉一體的結合，能夠去除資料的重復性，真正做到了唯一，

?高存盤成本：資料倉庫和資料湖都是為了降低資料存盤的成本，資料倉庫往往是通過降低冗余，以及整合異構的資料源來做到降低成本，而資料湖則往往使用大資料檔案系統和Spark在廉價的硬體上存盤計算資料，湖倉一體架構的目標就是結合這些技術來最大力度降低成本，

?報表和分析應用之間的差異：資料科學傾向于與資料湖打交道，使用各種分析技術來處理未經加工的資料，而報表分析師們則傾向于使用整合后的資料，比如資料倉庫或是資料集市，而在一個組織內，往往這兩個團隊之間沒有太多的交集，但實際上他們之間的作業又有一定的重復和矛盾，而當使用湖倉一體架構后，兩個團隊可以在同一資料架構上進行作業，避免不必要的重復，

?資料停滯：在資料湖中，資料停滯是一個最為嚴重的問題，如果資料一直無人治理，那將很快變為資料沼澤，我們往往輕易的將資料丟入湖中，但缺乏有效的治理，長此以往，資料的時效性變得越來越難追溯，湖倉一體的引入，對于海量資料進行治理，能夠更有效地幫助提升分析資料的時效性，

?潛在不兼容性帶來的風險：資料分析仍是一門興起的技術，新的工具和技術每年仍在不停地出現中，一些技術可能只和資料湖兼容，而另一些則又可能只和資料倉庫兼容，湖倉一體的架構意味著為兩方面做準備，

Lakehouse 是一種新的資料管理體系結構，在機器學習覆寫各行各業的時代，它可以從根本上簡化企業資料基礎架構并加速創新，過去，公司產品或決策中涉及的大多數資料都是來自作業系統的結構化資料，而如今，許多產品都以計算機視覺和語音模型，文本挖掘等形式集成了AI， 為什么要使用 Lakehouse 而不是資料湖來進行AI？ Lakehouse 可為您提供資料版本控制、治理、安全性和 ACID 屬性，即使對于非結構化資料也是如此，

???我是分割線???

🔥5.參考文獻

---

湖倉一體（一）：由來 - 知乎

資料湖竟然能和資料倉庫打通？如何評價阿里云推出的湖倉一體解決方案？ - 知乎

大資料云原生時代，為什么說湖倉一體代表了未來？ - 知乎

資料倉庫、資料湖、湖倉一體，究竟有什么區別？ - 知乎

湖倉一體（二）：架構原則 - 知乎

基于資料湖的高校大資料管理體系和處理機制研究

資料湖——現代化的資料存盤方式

虛擬化模型驅動的分布式資料湖構建方法研究

基于資料倉庫的資料挖掘技術

一種資料處理方法、裝置以及資料湖架構

資料挖掘與資料倉庫技術的應用和前景分析