主頁 > 資料庫 > 資料治理三大模式詳解,治理新范式釋放資料潛能

資料治理三大模式詳解,治理新范式釋放資料潛能

2023-05-12 10:37:28 資料庫

隨著世界經濟由工業經濟向數字經濟轉型,資料逐步成為關鍵的生產要素,企業開始將資料作為一種戰略資產進行管理,資料從業務中產生,在IT系統中承載,要對資料進行有效治理,需要業務充分參與,IT系統確保遵從,這是一個非常復雜的系統工程,

資料治理架構

實踐證明,企業只有構筑一套企業級的資料治理綜合體系,明確關鍵資料資產的業務管理責任,依賴規范的制度流程機制,構建有效的管理平臺及工具,資料的價值才能真正發揮出來,資料治理架構如下圖所示,

file

構筑資料治理體系的程序,即以資料應用為核心打造“良性回圈的倍訓資料治理管理體系”的程序,各IT系統獲取業務活動產生的各類資料后,經過系統的資料治理、管理,不斷挖掘、變現資料價值,拓展、深入資料應用場景,指導業務決策,同時在不斷應用資料程序中基于發現的資料問題,通過資料治理、管理的程序不斷修訂,推動業務系統全面升級,真正優化業務流程管理機制及規范,最終構建資料“獲取→管理→變現→發現→應對→修正”的倍訓管理機制,

以資料應用核心,資料治理平臺工具為支撐,在資料治理組織/制度保障下,不斷通過資料治理手段,推動實作資料標準化及業務標準化,實作業務、技術、管理、平臺的有效聯動,

在資料治理綜合體系內,資料治理核心模塊包括資料治理規劃、資料治理職能及資料治理平臺工具,

資料治理規劃是指資料治理體系與規劃、資料治理組織與職責、資料治理制度及流程,是資料治理規范化管理的核心模塊;

資料治理職能包括資料標準管理、資料質量管理、資料架構及模型管理、資料開發、元資料管理、主資料管理、資料生命周期管理、資料安全管理八大職能,實際程序中,企業通常會合并管理;

資料治理平臺工具包括資料開發平臺、資料資產管理平臺、資料質量管理平臺、資料服務平臺,通常資料治理平臺工具基于資料治理的階段功能并不完全一致,實踐中平臺工具通常綜合多方面功能,而不是單平臺功能,

三大模塊互為動力,資料治理規劃指導資料治理職能的全面發揮,資料治理各項職能通過資料治理平臺工具協助管理,資料治理平臺工具支撐資料治理規劃的落地及優化,資料治理規劃各層面逐步固化在資料治理平臺上,資料治理平臺輔助資料治理各項職能的管理,通過資料治理各項職能不斷落實和完善資料治理規劃,實作組織數字化轉型,固化管理機制及流程體系,

未來企業通過構筑資料治理綜合體系,逐步建立資料治理機制,完成組織轉型,資料治理職能將成為企業管理的重要組成部分,良性回圈的管理體系將推動企業實作更廣、更深層次的資料應用,資料決策將成為企業人思考的習慣,企業決策將更加科學、有效,

未來企業資料治理藍圖架構如下圖所示,業務系統、資料治理及資料應用互為動力,共同推動企業數字化轉型的實作,
file

資料治理模式

資料治理模式是指企業基于不同的資料治理目標,根據企業組織、系統、資料應用的現狀,以何種資料治理策略開展資料治理活動,根據袋鼠云8年的實踐證明,通常資料治理模式包括三種基本模式,

模式一:自下而上,以資料架構為重,開展資料治理

這種模式重在資料架構,層層向上治理資料,至資料應用層,這種模式從底層資料切入,基于現有資料基礎,盤點、建設、治理、應用層層展開,對企業整體的資料思維、資料治理水平要求較高,通常適用于資料量重、業務應用輕大型技術型企業,或政府機構,或新建、自研系統較多的企業,

模式二:自上而下,以明確的資料應用為重,開展資料治理

這種模式即單點應用式,通常以現有應用需求為核心開展資料治理,聚焦各個業務領域的資料應用、資料治理需求,在有需求、有資源、有驅動力的前提下,按需組織推進資料治理作業,只有業務部門的深入參與才能做好資料治理,只有針對業務自身需求進行的治理,才能得到業務部門的認可和支持,

模式二通常圍繞資料應用的需求進行資料治理,比如升級架構、更換平臺等涉及資料應用遷移時,或聚焦監管、上報類等明確資料應用時,圍繞資料應用進行資料治理,

模式二通常適用于資料應用較強、業務部門較為強勢、但整體資料認知較弱的企業,這種模式的資料治理切入相對較為簡單,實踐證明,大部分企業數字化轉型初期會這種模式,慢慢探索企業的資料治理道路,這種模式有助于拉齊資料部門、業務部門的認知,提升企業整體資料認知,為未來資料治理的開展提供基石,

模式三:大規劃模式,從資料應用規劃入手,治理現狀,規劃未來,基于資料資產的未來開展資料治理

這種模式需要企業全面梳理業務的現狀痛點及業務未來暢想,盤現狀、規劃未來,基于業務現在及未來的需求規劃分析應用場景,在應用場景藍圖規劃的范圍內,全面的梳理資料的現狀、規劃資料的未來,針對藍圖規劃中的資料需求,制定全方位策略,例如哪些新建系統、新購資料源?哪些需要現有資料系統升級,細化、標準化現有資料?哪些資料需求落地可行性較高?

制定全面的規劃體系,劃分優先級,有節奏、有步驟地實作全面的資料治理,這種模式通常是企業的戰略專案,由高層推進開展,對資料、業務協同性要求較高,整個程序涉及系統改造升級、業務流程優化再造,是企業全面升級的程序,
file

組合模式一:模式一&模式二組合,即全域資料治理+明確應用場景規劃,這種模式兼顧底層資料與上層應用,可對沖底層數倉重建的部分風險,同時可有效地闡述資料價值,整體可行性較高,

組合模式二:模式一&模式三組合,即全域資料治理+全面應用場景規劃,這種模式從現在、未來的角度全面開展資料治理,業務、資料全面覆寫,返工重建風險小,同時有助于推動業務系統、資料全面升級,業務價值較高,但對組織協同要求高,且成本投入高、耗時久,對執行團隊要求高,復合型人才需求大,屬于高風險高收益模式,需要企業高戰略、高執行的推進落地,
file

資料治理模式對比

三大資料治理模式開展方式、適用場景、優劣勢、資源投入各不相同,

模式一,自下而上,切入方便,成本可控,重架構,但脫離應用,對執行團隊架構能力要求較高,成效慢;

模式二,自上而下,目的明確,切入方便,成本可控,重應用,但輕治理,容易造成面子工程,出現重復治理的風險;

模式三,大規劃模式,規劃的眼光,覆寫業務、資料雙層面,重建風險小,聚焦業務,有利于充分挖掘資料價值,但對組織的協同性要求較高,同時需要高質量復合型人才配合團隊執行,整體落地風險較大,成本較大,

資料治理三大模式對比如下表所示:
file

三大資料治理模式各有優劣,而組合模式在某種程度上對沖單一模式的風險,可以更好地滿足企業資料治理的需求和目的,企業應基于面臨的現狀,選擇適合的自己的治理模式,

資料治理模式選擇

不同的資料治理模式,對企業的資料治理水平、組織協同程度要求不同,

自下而上的模式一是基于底層資料治理的,對資料治理水平要求較高,資料治理水平包括資料基礎(資料量、資料質量等)以及資料治理能力,資料治理能力主要體現在資料治理團隊專業度以及資料治理體系(組織、制度及流程)完善度,這種模式對組織協同度要求相對較低,主要靠資料治理團隊推動進行,

自上而下的模式二是基于明確資料應用進行資料治理的,相較于自下而上的模式一,組織的協同性要求會更高,需要業務部門、資料部門配合實作,但整體以需求為主,對資料治理的水平要求一般,

大規劃的模式三既治理現狀,又規劃未來,對組織協同性及資料治理水平均有極高要求,該模式需要動員企業的業務部門、技術部門、資料部門,同時需要企業各階層(高層、中層、基層員工)的人員共同配合,全面盤點業務的痛點及未來規劃,同時梳理資料現狀,規劃資料未來,通常為戰略專案、高層領導共同將企業資料治理水平推向一個新水平,同時完成數字化組織的轉型,

組合模式在組織協同性、資料治理水平上會疊加單一模式的要求,如模式一&模式三的組合模式對組織協同性、資料治理水平要求最高,

各模式對企業的組織協同性、資料治理水平的要求見下圖所示,基于各模式對企業組織協同、資料治理水平的要求不同,企業應充分盤點企業的組織現狀、資料現狀、應用現狀,初步評估企業資料治理水平、組織協同度,結合資料治理的目標,評估可行性,選擇最佳模式,

file

企業資料治理是個復雜而漫長的程序,通常在不同的發展階段,企業選擇資料治理模式并不同,基于面對的組織、資料、應用現狀,企業需要均衡目標與現狀,選擇當下最合適的資料治理模式,

企業資料治理并不是一蹴而就的,它需要企業不斷地進行規劃、治理、監測、優化,通過資料治理不斷完善企業的組織、制度、流程管理體系,同時不斷提升企業資料治理管理水平,包括資料標準、資料質量、資料架構及模型、資料應用等模塊的管理水平提升,

資料治理是一個持續回圈的程序,需通過不斷地改進提升及完善,PDCA回圈不是在同一水平上回圈,而是呈階梯式推動上升,每次回圈將推進企業的資料治理水平及組織協同性向新的、更高的層級進階,最終實作企業數字化轉型,
file

資料治理實施路徑

企業資料治理實施路徑通常包含三個階段,

第一階段:起步階段,業務運營數字化階段,

這個階段主要是梳理企業面臨的現狀,回應痛點,探索業務場景化,企業逐步開始由資訊化向數字化轉型,這個階段企業會重新審視原有的資料治理策略,重構資料治理戰略及實作路徑,逐步開始搭建資料治理框架、資料治理體系框架,升級原有的資料處理、應用模式,搭建大資料平臺,構建大資料采集、匯集、存盤、計算、服務的基礎能力,逐步整合各系統的資料,打破資料孤島,沉淀資料資產,探索業務場景化,

第二階段:深入拓展階段,資料賦能常態化階段,

這個階段資料應用成為重點,企業開始深挖資料價值,提高資料應用覆寫,資料應用的范圍,由核心KPI指標的實作,逐步覆寫全部核心業務,搭建完善的分析框架和洞察體系,不斷地提升業務決策質量,

大資料平臺持續發揮大資料處理的能力,企業納入更多、更廣的資料內容,不斷擴大資料應用的廣度及深度,初步形成企業的資料資產地圖,資料標準體系逐步搭建,資料應用的效率大大提升,初步完成由“經驗主義”向“資料主義”的轉型,資料決策成為企業決策主要決策方式,

這個階段,企業開始全面建立資料管理權限體系,完善資料治理機制,優化資料治理流程及制度體系,由原有的“粗放式”管理升級為“精細化”管理,資料質量不斷提升,企業資料管理能力升級,逐步通過資料質量平臺、資料資產平臺、資料治理平臺工具等實作智能管理,企業資料思維認知全面提升,

第三階段:智能應用階段,運營決策智慧化階段,
這個階段企業實作洞策合一,智慧場景應用成為常態,全面完成數字化轉型,探索數字業務,開啟新篇章,這個階段以智能應用為主,AI賦能成為常態,企業不斷地挖掘資料的價值、激發創新,開始為企業戰略性分析提供準確的資料依賴,在這個階段,有些企業甚至在原有商業模式上,激發新的業務模式,

資料管理層面,由資料治理體系建設逐步向資料治理體系優化進階,完善機制、流程,進一步細化資料管理職責;
資料資產層面,完成全域資料資產建設,構建強壯的資料模型體系,完成企業資料標準建設,不斷完善資料資產體系;
平臺工具層面,大資料平臺能力逐步向演算法能力轉移,智能推薦演算法模型開發成為常態化的需求,資料治理平臺逐步完善功能,協助企業智能化資料質量、資料標準、資料資產及主資料等模塊,企業真正進入運營決策智慧化階段,
file

《數堆疊產品白皮書》:https://www.dtstack.com/resources/1004?src=https://www.cnblogs.com/DTinsight/archive/2023/05/11/szsm

《資料治理行業實踐白皮書》下載地址:https://www.dtstack.com/resources/1001?src=https://www.cnblogs.com/DTinsight/archive/2023/05/11/szsm

想了解或咨詢更多有關袋鼠云大資料產品、行業解決方案、客戶案例的朋友,瀏覽袋鼠云官網:https://www.dtstack.com/?src=https://www.cnblogs.com/DTinsight/archive/2023/05/11/szbky

同時,歡迎對大資料開源專案有興趣的同學加入「袋鼠云開源框架釘釘技術qun」,交流最新開源技術資訊,qun號碼:30537511,專案地址:https://github.com/DTStack

轉載請註明出處,本文鏈接:https://www.uj5u.com/shujuku/552291.html

標籤:其他

上一篇:Apache DolphinScheduler 開源之夏學生專案申請開啟,6 大課題等你來拿萬元獎金!

下一篇:返回列表

標籤雲
其他(158910) Python(38128) JavaScript(25420) Java(18033) C(15226) 區塊鏈(8265) C#(7972) AI(7469) 爪哇(7425) MySQL(7179) html(6777) 基礎類(6313) sql(6102) 熊猫(6058) PHP(5871) 数组(5741) R(5409) Linux(5338) 反应(5209) 腳本語言(PerlPython)(5129) 非技術區(4971) Android(4570) 数据框(4311) css(4259) 节点.js(4032) C語言(3288) json(3245) 列表(3129) 扑(3119) C++語言(3117) 安卓(2998) 打字稿(2995) VBA(2789) Java相關(2746) 疑難問題(2699) 细绳(2522) 單片機工控(2479) iOS(2432) ASP.NET(2402) MongoDB(2323) 麻木的(2285) 正则表达式(2254) 字典(2211) 循环(2198) 迅速(2185) 擅长(2169) 镖(2155) .NET技术(1972) 功能(1967) Web開發(1951) HtmlCss(1936) python-3.x(1918) C++(1915) 弹簧靴(1913) xml(1889) PostgreSQL(1875) .NETCore(1860) 谷歌表格(1846) Unity3D(1843) for循环(1842)

熱門瀏覽
  • GPU虛擬機創建時間深度優化

    **?桔妹導讀:**GPU虛擬機實體創建速度慢是公有云面臨的普遍問題,由于通常情況下創建虛擬機屬于低頻操作而未引起業界的重視,實際生產中還是存在對GPU實體創建時間有苛刻要求的業務場景。本文將介紹滴滴云在解決該問題時的思路、方法、并展示最終的優化成果。 從公有云服務商那里購買過虛擬主機的資深用戶,一 ......

    uj5u.com 2020-09-10 06:09:13 more
  • 可編程網卡芯片在滴滴云網路的應用實踐

    **?桔妹導讀:**隨著云規模不斷擴大以及業務層面對延遲、帶寬的要求越來越高,采用DPDK 加速網路報文處理的方式在橫向縱向擴展都出現了局限性。可編程芯片成為業界熱點。本文主要講述了可編程網卡芯片在滴滴云網路中的應用實踐,遇到的問題、帶來的收益以及開源社區貢獻。 #1. 資料中心面臨的問題 隨著滴滴 ......

    uj5u.com 2020-09-10 06:10:21 more
  • 滴滴資料通道服務演進之路

    **?桔妹導讀:**滴滴資料通道引擎承載著全公司的資料同步,為下游實時和離線場景提供了必不可少的源資料。隨著任務量的不斷增加,資料通道的整體架構也隨之發生改變。本文介紹了滴滴資料通道的發展歷程,遇到的問題以及今后的規劃。 #1. 背景 資料,對于任何一家互聯網公司來說都是非常重要的資產,公司的大資料 ......

    uj5u.com 2020-09-10 06:11:05 more
  • 滴滴AI Labs斬獲國際機器翻譯大賽中譯英方向世界第三

    **桔妹導讀:**深耕人工智能領域,致力于探索AI讓出行更美好的滴滴AI Labs再次斬獲國際大獎,這次獲獎的專案是什么呢?一起來看看詳細報道吧! 近日,由國際計算語言學協會ACL(The Association for Computational Linguistics)舉辦的世界最具影響力的機器 ......

    uj5u.com 2020-09-10 06:11:29 more
  • MPP (Massively Parallel Processing)大規模并行處理

    1、什么是mpp? MPP (Massively Parallel Processing),即大規模并行處理,在資料庫非共享集群中,每個節點都有獨立的磁盤存盤系統和記憶體系統,業務資料根據資料庫模型和應用特點劃分到各個節點上,每臺資料節點通過專用網路或者商業通用網路互相連接,彼此協同計算,作為整體提供 ......

    uj5u.com 2020-09-10 06:11:41 more
  • 滴滴資料倉庫指標體系建設實踐

    **桔妹導讀:**指標體系是什么?如何使用OSM模型和AARRR模型搭建指標體系?如何統一流程、規范化、工具化管理指標體系?本文會對建設的方法論結合滴滴資料指標體系建設實踐進行解答分析。 #1. 什么是指標體系 ##1.1 指標體系定義 指標體系是將零散單點的具有相互聯系的指標,系統化的組織起來,通 ......

    uj5u.com 2020-09-10 06:12:52 more
  • 單表千萬行資料庫 LIKE 搜索優化手記

    我們經常在資料庫中使用 LIKE 運算子來完成對資料的模糊搜索,LIKE 運算子用于在 WHERE 子句中搜索列中的指定模式。 如果需要查找客戶表中所有姓氏是“張”的資料,可以使用下面的 SQL 陳述句: SELECT * FROM Customer WHERE Name LIKE '張%' 如果需要 ......

    uj5u.com 2020-09-10 06:13:25 more
  • 滴滴Ceph分布式存盤系統優化之鎖優化

    **桔妹導讀:**Ceph是國際知名的開源分布式存盤系統,在工業界和學術界都有著重要的影響。Ceph的架構和演算法設計發表在國際系統領域頂級會議OSDI、SOSP、SC等上。Ceph社區得到Red Hat、SUSE、Intel等大公司的大力支持。Ceph是國際云計算領域應用最廣泛的開源分布式存盤系統, ......

    uj5u.com 2020-09-10 06:14:51 more
  • es~通過ElasticsearchTemplate進行聚合~嵌套聚合

    之前寫過《es~通過ElasticsearchTemplate進行聚合操作》的文章,這一次主要寫一個嵌套的聚合,例如先對sex集合,再對desc聚合,最后再對age求和,共三層嵌套。 Aggregations的部分特性類似于SQL語言中的group by,avg,sum等函式,Aggregation ......

    uj5u.com 2020-09-10 06:14:59 more
  • 爬蟲日志監控 -- Elastc Stack(ELK)部署

    傻瓜式部署,只需替換IP與用戶 導讀: 現ELK四大組件分別為:Elasticsearch(核心)、logstash(處理)、filebeat(采集)、kibana(可視化) 下載均在https://www.elastic.co/cn/downloads/下tar包,各組件版本最好一致,配合fdm會 ......

    uj5u.com 2020-09-10 06:15:05 more
最新发布
  • 資料治理三大模式詳解,治理新范式釋放資料潛能

    隨著世界經濟由工業經濟向數字經濟轉型,資料逐步成為關鍵的生產要素,企業開始將資料作為一種戰略資產進行管理。資料從業務中產生,在IT系統中承載,要對資料進行有效治理,需要業務充分參與,IT系統確保遵從,這是一個非常復雜的系統工程。 資料治理架構 實踐證明,企業只有構筑一套企業級的資料治理綜合體系,明確 ......

    uj5u.com 2023-05-12 10:37:28 more
  • Apache DolphinScheduler 開源之夏學生專案申請開啟,6 大課題等你

    開源之夏 2023 學生報名已經正式開啟!Apache DolphinScheduler 今年繼續參與開源之夏的活動,2023 年 4 月 29 日-6 月 3 日 15:00 UTC+8,同學們可以在開源之夏官網 https://summer-ospp.ac.cn/ 找到 Apache Dolph ......

    uj5u.com 2023-05-12 10:37:11 more
  • 共筑數字化未來,金山辦公攜手華為云完成檔案中心和GaussDB適配

    摘要:金山辦公攜手華為云完成金山辦公自主研發的“WPS檔案中心系統”與華為云GaussDB相互兼容性測驗認證,并獲得華為云授予的《技術認證書》。 本文分享自華為云社區《共筑數字化未來 金山辦公攜手華為云完成檔案中心和GaussDB適配》,作者:GaussDB 資料庫。 近日,金山辦公攜手華為云完成金 ......

    uj5u.com 2023-05-12 10:37:00 more
  • 資料剖析更靈活、更快捷,火山引擎 DataLeap 動態探查全面升級

    更多技術交流、求職機會,歡迎關注位元組跳動資料平臺微信公眾號,回復【1】進入官方交流群 近期,火山引擎 DataLeap 上線“動態探查”能力,為用戶提供全域資料視角、完善的抽樣策略,提高資料探查的靈活度以及回應速率。 傳統的資料探查是基于庫表的全量探查,由后端引擎執行,通過自動化檢查資料成分、關系、 ......

    uj5u.com 2023-05-12 10:36:52 more
  • Oracle 定時任務job實際應用

    (Oracle 定時任務job實際應用) 一、Oracle定時任務簡介 Oracle定時任務是在oracle系統中一個非常重要的子系統,運用得當,可以大大提高我們系統運行和維護能力。oracle定時任務的功能,可以在指定的時間點自行執行任務。 那么在實際作業中,什么樣的場景會用到定時任務呢?下面是在 ......

    uj5u.com 2023-05-12 10:36:45 more
  • 通過空間占用和執行計劃了解SQL Server的行存盤索引

    1 索引介紹 索引是一種幫助查詢陳述句能夠快速定位到資料的一種技術。索引的存盤方式有行存盤索引、列存盤索引和記憶體優化三種存盤方式: 行存盤索引,使用B+樹結構,行存盤指的是資料存盤格式為堆、聚集索引和記憶體優化表的表,用于OLTP場景。行存盤索引按順序排列的值串列,每個值都有指向其所在的資料頁面的指標。 ......

    uj5u.com 2023-05-12 10:36:17 more
  • 共筑數字化未來,金山辦公攜手華為云完成檔案中心和GaussDB適配

    摘要:金山辦公攜手華為云完成金山辦公自主研發的“WPS檔案中心系統”與華為云GaussDB相互兼容性測驗認證,并獲得華為云授予的《技術認證書》。 本文分享自華為云社區《共筑數字化未來 金山辦公攜手華為云完成檔案中心和GaussDB適配》,作者:GaussDB 資料庫。 近日,金山辦公攜手華為云完成金 ......

    uj5u.com 2023-05-12 10:35:51 more
  • 資料庫定時備份linux篇

    (資料庫定時備份linux篇) 1 序言 相信大家都還記得這則新聞吧,歐洲云計算巨頭 OVH 位于法國斯特拉斯堡的機房發生嚴重火災,大火徹底摧毀了五層高、占地 500 平方米的 SBG2 資料中心。 當地報紙稱 115 位消防員投入 6 個小時才將其撲滅。經過長達 6 個小時的持續燃燒,SBG2 內 ......

    uj5u.com 2023-05-12 10:29:55 more
  • 資料庫定時備份winserver2012篇

    (資料庫定時備份winserver2012篇) 1 序言 資料是無價的,所以生產環境中定時備份資料庫顯得尤為重要。備份能防止服務器故障、天災人禍和人為誤操作帶來的資料丟失。 上一篇文章我們說了Linux環境下的資料備份。這一篇就把之前留下的坑給填上了。 這一篇我們說一說winserver2012環境 ......

    uj5u.com 2023-05-12 10:18:54 more
  • Oracle 定時任務job實際應用

    (Oracle 定時任務job實際應用) 一、Oracle定時任務簡介 Oracle定時任務是在oracle系統中一個非常重要的子系統,運用得當,可以大大提高我們系統運行和維護能力。oracle定時任務的功能,可以在指定的時間點自行執行任務。 那么在實際作業中,什么樣的場景會用到定時任務呢?下面是在 ......

    uj5u.com 2023-05-12 10:18:42 more