隨著世界經濟由工業經濟向數字經濟轉型,資料逐步成為關鍵的生產要素,企業開始將資料作為一種戰略資產進行管理,資料從業務中產生,在IT系統中承載,要對資料進行有效治理,需要業務充分參與,IT系統確保遵從,這是一個非常復雜的系統工程,
資料治理架構
實踐證明,企業只有構筑一套企業級的資料治理綜合體系,明確關鍵資料資產的業務管理責任,依賴規范的制度流程機制,構建有效的管理平臺及工具,資料的價值才能真正發揮出來,資料治理架構如下圖所示,

構筑資料治理體系的程序,即以資料應用為核心打造“良性回圈的倍訓資料治理管理體系”的程序,各IT系統獲取業務活動產生的各類資料后,經過系統的資料治理、管理,不斷挖掘、變現資料價值,拓展、深入資料應用場景,指導業務決策,同時在不斷應用資料程序中基于發現的資料問題,通過資料治理、管理的程序不斷修訂,推動業務系統全面升級,真正優化業務流程管理機制及規范,最終構建資料“獲取→管理→變現→發現→應對→修正”的倍訓管理機制,
以資料應用核心,資料治理平臺工具為支撐,在資料治理組織/制度保障下,不斷通過資料治理手段,推動實作資料標準化及業務標準化,實作業務、技術、管理、平臺的有效聯動,
在資料治理綜合體系內,資料治理核心模塊包括資料治理規劃、資料治理職能及資料治理平臺工具,
資料治理規劃是指資料治理體系與規劃、資料治理組織與職責、資料治理制度及流程,是資料治理規范化管理的核心模塊;
資料治理職能包括資料標準管理、資料質量管理、資料架構及模型管理、資料開發、元資料管理、主資料管理、資料生命周期管理、資料安全管理八大職能,實際程序中,企業通常會合并管理;
資料治理平臺工具包括資料開發平臺、資料資產管理平臺、資料質量管理平臺、資料服務平臺,通常資料治理平臺工具基于資料治理的階段功能并不完全一致,實踐中平臺工具通常綜合多方面功能,而不是單平臺功能,
三大模塊互為動力,資料治理規劃指導資料治理職能的全面發揮,資料治理各項職能通過資料治理平臺工具協助管理,資料治理平臺工具支撐資料治理規劃的落地及優化,資料治理規劃各層面逐步固化在資料治理平臺上,資料治理平臺輔助資料治理各項職能的管理,通過資料治理各項職能不斷落實和完善資料治理規劃,實作組織數字化轉型,固化管理機制及流程體系,
未來企業通過構筑資料治理綜合體系,逐步建立資料治理機制,完成組織轉型,資料治理職能將成為企業管理的重要組成部分,良性回圈的管理體系將推動企業實作更廣、更深層次的資料應用,資料決策將成為企業人思考的習慣,企業決策將更加科學、有效,
未來企業資料治理藍圖架構如下圖所示,業務系統、資料治理及資料應用互為動力,共同推動企業數字化轉型的實作,

資料治理模式
資料治理模式是指企業基于不同的資料治理目標,根據企業組織、系統、資料應用的現狀,以何種資料治理策略開展資料治理活動,根據袋鼠云8年的實踐證明,通常資料治理模式包括三種基本模式,
模式一:自下而上,以資料架構為重,開展資料治理
這種模式重在資料架構,層層向上治理資料,至資料應用層,這種模式從底層資料切入,基于現有資料基礎,盤點、建設、治理、應用層層展開,對企業整體的資料思維、資料治理水平要求較高,通常適用于資料量重、業務應用輕大型技術型企業,或政府機構,或新建、自研系統較多的企業,
模式二:自上而下,以明確的資料應用為重,開展資料治理
這種模式即單點應用式,通常以現有應用需求為核心開展資料治理,聚焦各個業務領域的資料應用、資料治理需求,在有需求、有資源、有驅動力的前提下,按需組織推進資料治理作業,只有業務部門的深入參與才能做好資料治理,只有針對業務自身需求進行的治理,才能得到業務部門的認可和支持,
模式二通常圍繞資料應用的需求進行資料治理,比如升級架構、更換平臺等涉及資料應用遷移時,或聚焦監管、上報類等明確資料應用時,圍繞資料應用進行資料治理,
模式二通常適用于資料應用較強、業務部門較為強勢、但整體資料認知較弱的企業,這種模式的資料治理切入相對較為簡單,實踐證明,大部分企業數字化轉型初期會這種模式,慢慢探索企業的資料治理道路,這種模式有助于拉齊資料部門、業務部門的認知,提升企業整體資料認知,為未來資料治理的開展提供基石,
模式三:大規劃模式,從資料應用規劃入手,治理現狀,規劃未來,基于資料資產的未來開展資料治理
這種模式需要企業全面梳理業務的現狀痛點及業務未來暢想,盤現狀、規劃未來,基于業務現在及未來的需求規劃分析應用場景,在應用場景藍圖規劃的范圍內,全面的梳理資料的現狀、規劃資料的未來,針對藍圖規劃中的資料需求,制定全方位策略,例如哪些新建系統、新購資料源?哪些需要現有資料系統升級,細化、標準化現有資料?哪些資料需求落地可行性較高?
制定全面的規劃體系,劃分優先級,有節奏、有步驟地實作全面的資料治理,這種模式通常是企業的戰略專案,由高層推進開展,對資料、業務協同性要求較高,整個程序涉及系統改造升級、業務流程優化再造,是企業全面升級的程序,

組合模式一:模式一&模式二組合,即全域資料治理+明確應用場景規劃,這種模式兼顧底層資料與上層應用,可對沖底層數倉重建的部分風險,同時可有效地闡述資料價值,整體可行性較高,
組合模式二:模式一&模式三組合,即全域資料治理+全面應用場景規劃,這種模式從現在、未來的角度全面開展資料治理,業務、資料全面覆寫,返工重建風險小,同時有助于推動業務系統、資料全面升級,業務價值較高,但對組織協同要求高,且成本投入高、耗時久,對執行團隊要求高,復合型人才需求大,屬于高風險高收益模式,需要企業高戰略、高執行的推進落地,

資料治理模式對比
三大資料治理模式開展方式、適用場景、優劣勢、資源投入各不相同,
模式一,自下而上,切入方便,成本可控,重架構,但脫離應用,對執行團隊架構能力要求較高,成效慢;
模式二,自上而下,目的明確,切入方便,成本可控,重應用,但輕治理,容易造成面子工程,出現重復治理的風險;
模式三,大規劃模式,規劃的眼光,覆寫業務、資料雙層面,重建風險小,聚焦業務,有利于充分挖掘資料價值,但對組織的協同性要求較高,同時需要高質量復合型人才配合團隊執行,整體落地風險較大,成本較大,
資料治理三大模式對比如下表所示:

三大資料治理模式各有優劣,而組合模式在某種程度上對沖單一模式的風險,可以更好地滿足企業資料治理的需求和目的,企業應基于面臨的現狀,選擇適合的自己的治理模式,
資料治理模式選擇
不同的資料治理模式,對企業的資料治理水平、組織協同程度要求不同,
自下而上的模式一是基于底層資料治理的,對資料治理水平要求較高,資料治理水平包括資料基礎(資料量、資料質量等)以及資料治理能力,資料治理能力主要體現在資料治理團隊專業度以及資料治理體系(組織、制度及流程)完善度,這種模式對組織協同度要求相對較低,主要靠資料治理團隊推動進行,
自上而下的模式二是基于明確資料應用進行資料治理的,相較于自下而上的模式一,組織的協同性要求會更高,需要業務部門、資料部門配合實作,但整體以需求為主,對資料治理的水平要求一般,
大規劃的模式三既治理現狀,又規劃未來,對組織協同性及資料治理水平均有極高要求,該模式需要動員企業的業務部門、技術部門、資料部門,同時需要企業各階層(高層、中層、基層員工)的人員共同配合,全面盤點業務的痛點及未來規劃,同時梳理資料現狀,規劃資料未來,通常為戰略專案、高層領導共同將企業資料治理水平推向一個新水平,同時完成數字化組織的轉型,
組合模式在組織協同性、資料治理水平上會疊加單一模式的要求,如模式一&模式三的組合模式對組織協同性、資料治理水平要求最高,
各模式對企業的組織協同性、資料治理水平的要求見下圖所示,基于各模式對企業組織協同、資料治理水平的要求不同,企業應充分盤點企業的組織現狀、資料現狀、應用現狀,初步評估企業資料治理水平、組織協同度,結合資料治理的目標,評估可行性,選擇最佳模式,

企業資料治理是個復雜而漫長的程序,通常在不同的發展階段,企業選擇資料治理模式并不同,基于面對的組織、資料、應用現狀,企業需要均衡目標與現狀,選擇當下最合適的資料治理模式,
企業資料治理并不是一蹴而就的,它需要企業不斷地進行規劃、治理、監測、優化,通過資料治理不斷完善企業的組織、制度、流程管理體系,同時不斷提升企業資料治理管理水平,包括資料標準、資料質量、資料架構及模型、資料應用等模塊的管理水平提升,
資料治理是一個持續回圈的程序,需通過不斷地改進提升及完善,PDCA回圈不是在同一水平上回圈,而是呈階梯式推動上升,每次回圈將推進企業的資料治理水平及組織協同性向新的、更高的層級進階,最終實作企業數字化轉型,

資料治理實施路徑
企業資料治理實施路徑通常包含三個階段,
第一階段:起步階段,業務運營數字化階段,
這個階段主要是梳理企業面臨的現狀,回應痛點,探索業務場景化,企業逐步開始由資訊化向數字化轉型,這個階段企業會重新審視原有的資料治理策略,重構資料治理戰略及實作路徑,逐步開始搭建資料治理框架、資料治理體系框架,升級原有的資料處理、應用模式,搭建大資料平臺,構建大資料采集、匯集、存盤、計算、服務的基礎能力,逐步整合各系統的資料,打破資料孤島,沉淀資料資產,探索業務場景化,
第二階段:深入拓展階段,資料賦能常態化階段,
這個階段資料應用成為重點,企業開始深挖資料價值,提高資料應用覆寫,資料應用的范圍,由核心KPI指標的實作,逐步覆寫全部核心業務,搭建完善的分析框架和洞察體系,不斷地提升業務決策質量,
大資料平臺持續發揮大資料處理的能力,企業納入更多、更廣的資料內容,不斷擴大資料應用的廣度及深度,初步形成企業的資料資產地圖,資料標準體系逐步搭建,資料應用的效率大大提升,初步完成由“經驗主義”向“資料主義”的轉型,資料決策成為企業決策主要決策方式,
這個階段,企業開始全面建立資料管理權限體系,完善資料治理機制,優化資料治理流程及制度體系,由原有的“粗放式”管理升級為“精細化”管理,資料質量不斷提升,企業資料管理能力升級,逐步通過資料質量平臺、資料資產平臺、資料治理平臺工具等實作智能管理,企業資料思維認知全面提升,
第三階段:智能應用階段,運營決策智慧化階段,
這個階段企業實作洞策合一,智慧場景應用成為常態,全面完成數字化轉型,探索數字業務,開啟新篇章,這個階段以智能應用為主,AI賦能成為常態,企業不斷地挖掘資料的價值、激發創新,開始為企業戰略性分析提供準確的資料依賴,在這個階段,有些企業甚至在原有商業模式上,激發新的業務模式,
資料管理層面,由資料治理體系建設逐步向資料治理體系優化進階,完善機制、流程,進一步細化資料管理職責;
資料資產層面,完成全域資料資產建設,構建強壯的資料模型體系,完成企業資料標準建設,不斷完善資料資產體系;
平臺工具層面,大資料平臺能力逐步向演算法能力轉移,智能推薦演算法模型開發成為常態化的需求,資料治理平臺逐步完善功能,協助企業智能化資料質量、資料標準、資料資產及主資料等模塊,企業真正進入運營決策智慧化階段,

《數堆疊產品白皮書》:https://www.dtstack.com/resources/1004?src=https://www.cnblogs.com/DTinsight/archive/2023/05/11/szsm
《資料治理行業實踐白皮書》下載地址:https://www.dtstack.com/resources/1001?src=https://www.cnblogs.com/DTinsight/archive/2023/05/11/szsm
想了解或咨詢更多有關袋鼠云大資料產品、行業解決方案、客戶案例的朋友,瀏覽袋鼠云官網:https://www.dtstack.com/?src=https://www.cnblogs.com/DTinsight/archive/2023/05/11/szbky
同時,歡迎對大資料開源專案有興趣的同學加入「袋鼠云開源框架釘釘技術qun」,交流最新開源技術資訊,qun號碼:30537511,專案地址:https://github.com/DTStack
轉載請註明出處,本文鏈接:https://www.uj5u.com/shujuku/552291.html
標籤:其他
上一篇:Apache DolphinScheduler 開源之夏學生專案申請開啟,6 大課題等你來拿萬元獎金!
下一篇:返回列表
