主頁 > 資料庫 > 如何成功實施一個資料治理專案?實施步驟有哪些?

如何成功實施一個資料治理專案?實施步驟有哪些?

2023-06-15 08:38:04 資料庫

企業數字化轉型以資料為中心,通過資料驅動業務發展、管理協同和運營,因此,數字化轉型關鍵在于資料,資料治理則需先行,從而更好激發資料生產要素潛能,實作業務資料化、資料價值化,助力企業數字化轉型,

那么何為資料治理?

國際資料管理協會(DAMA)在其《DAMA資料管理知識體系指南(第2版)》一書中將資料治理進行了定義,即資料治理是對資料資產管理行使權力、控制和共享決策(規劃、監測和執行)的系列活動,此外,DAMA還將資料治理作為資料管理十大知識領域的中心,負責知識領域的平衡和一致性,
file

DAMA提到資料治理的目標有三點:提升企業資料資產管理能力;定義、批準、溝通和實施資料管理的原則、政策、程式、指標、工具和責任;監控和指導政策合規性、資料使用和管理活動,

可以看出,DAMA給出了比較全面的解釋,但是距離企業可落地的資料治理還是距離較遠,更像是綱領性的介紹,因此對于如何進行資料標準的制定以及如何進行資料資產的評估都缺少具體的描述,

2020年,信通院牽頭制定資料治理服務商成熟度模型(DGS),這一評估模型填補了資料治理服務領域的空白,模型以資料治理服務專案實施運維的流程為主線,融合資料治理核心能力,包括6大能力域、21個能力項,其中6大能力域遵循一般性資料治理專案流程,具體如下:

1.需求管理能力域:提供方通過采集需求方的業務需求、資料需求、技術需求等,明確資料治理目標和范圍,并評估實施資料治理可行性;

2.資源評估能力域:提供方通過對資料來源、資料規模、資料分類、資料關系、資料時效性、專業軟體工具、存盤計算環境以及硬體資源等主要影響因素進行分析,以提升資料治理專案任務分解的準確性,指導識別專案中的潛在風險;

3.實施保障能力域:提供方通過制定實施規劃,建立組織保障,開展風險管理,確保資料治理專案的順利實施,降低風險和成本;

4.方案設計能力域是資料治理專案的核心環節,提供方通過制定相關規范體系和設計檔案,形成滿足甲方需求的資料治理體系;

5.方案實施能力域提供方通過依托相關平臺工具,實作方案的落地;

6.成果交付能力域包括試運行、成果驗收2個能力項,
file

當前企業對于資料治理服務的關注點已逐漸從平臺產品擴展至方案設計、實施交付、持續運營的全訪問服務體系,專業的團隊,是專案成功的關鍵,依托于專業的資料治理服務團隊和知識沉淀,開展專案實施作業,

資料治理組織建議

首先CIO或CDO是專案順利進行的關鍵角色,可以更高效地推動實施團隊與業務的融合,其次是專案的專案經理,負責專案的管理和資源調度,各階段人員及作業安排,專案計劃制定、進度控制、專案風險管理、專案質量把關等;技術負責人、系統架構師、專案管理專員是專案團隊的智囊團和質量保障;根據專案需求,安排不同崗位職能人員開展實施及售后作業,包括但不限于業務架構師、業務分析師、資料架構師、資料開發工程師、測驗工程師、技術支持、運維工程師、產品專家、產品經理、客戶成功專員等,

file

資料治理步驟

專案交付主要分為4個步驟,以需求調研為切入點,以方案設計為規劃核心,以開發實施為交付重點,以上線運維為服務保障,依次穩步開展保證專案的順利實施,

第一步是需求調研:通過業務調研切入,以收集資料和訪談調研為抓手,了解業務流程和痛點,深挖根本原因,以資料調研作為后續方案設計的開端,結合業務調研的痛點與根本原因,了解資料系統的現狀后,以資料角度切入整體解決方案,

第二步是方案設計:以資料標準方案為基石,以場景規劃方案為需求原點,以資料架構方案為綱領,進行整個資料治理方案設計;以實際需求為主,形成規范的組織架構、管理制度,參考國標及行標,形成資料標準方案,為后續實施打下堅實基礎;通過需求調研整理客戶實施的場景范圍,輸出原型設計及指標清單,確認后輸出場景規劃檔案,以此確定整體需求范圍;根據整體需求范圍和資料系統現狀,搭建資料架構,劃分業務域及資料域,規劃后續開發實施的整體框架,

第三步是開發實施:確定整體方案后,進行產品部署、資料探查、資料同步作業,根據場景規劃和架構設計方案,遵循資料標準方案,進行資料開發與資料治理,

第四步是上線運維:整體開發完成后進行試運行,同步開展產品測驗作業,均通過后進行產品驗收及正式上線,后續由運維部門進行巡檢及售后作業,

file

DGS對資料治理的方方面面進行了解釋,給出了模型規范和評估標準,對于企業來說,不管是想自己做資料治理,還是通過服務商來實作部分資料治理作業,DGS都提供了一套相對全面的參考指南,

目前,袋鼠云已通過DGS三級評估,整體來看,目前資料治理提供商的資料工程服務能力優勢集中于資料資源評估、資料質量、資料標準等能力項,
file

《數堆疊產品白皮書》:https://www.dtstack.com/resources/1004?src=https://www.cnblogs.com/DTinsight/p/szsm

《資料治理行業實踐白皮書》下載地址:https://www.dtstack.com/resources/1001?src=https://www.cnblogs.com/DTinsight/p/szsm

想了解或咨詢更多有關袋鼠云大資料產品、行業解決方案、客戶案例的朋友,瀏覽袋鼠云官網:https://www.dtstack.com/?src=https://www.cnblogs.com/DTinsight/p/szbky

同時,歡迎對大資料開源專案有興趣的同學加入「袋鼠云開源框架釘釘技術qun」,交流最新開源技術資訊,qun號碼:30537511,專案地址:https://github.com/DTStack

轉載請註明出處,本文鏈接:https://www.uj5u.com/shujuku/555220.html

標籤:大數據

上一篇:向量資料庫是如何作業的?

下一篇:返回列表

標籤雲
其他(161022) Python(38230) JavaScript(25496) Java(18240) C(15237) 區塊鏈(8270) C#(7972) AI(7469) 爪哇(7425) MySQL(7251) html(6777) 基礎類(6313) sql(6102) 熊猫(6058) PHP(5875) 数组(5741) R(5409) Linux(5347) 反应(5209) 腳本語言(PerlPython)(5129) 非技術區(4971) Android(4593) 数据框(4311) css(4259) 节点.js(4032) C語言(3288) json(3245) 列表(3129) 扑(3119) C++語言(3117) 安卓(2998) 打字稿(2995) VBA(2789) Java相關(2746) 疑難問題(2699) 细绳(2522) 單片機工控(2479) iOS(2435) ASP.NET(2404) MongoDB(2323) 麻木的(2285) 正则表达式(2254) 字典(2211) 循环(2198) 迅速(2185) 擅长(2169) 镖(2155) .NET技术(1984) 功能(1967) HtmlCss(1966) Web開發(1951) C++(1940) python-3.x(1918) 弹簧靴(1913) xml(1889) PostgreSQL(1881) .NETCore(1863) 谷歌表格(1846) Unity3D(1843) for循环(1842)

熱門瀏覽
  • GPU虛擬機創建時間深度優化

    **?桔妹導讀:**GPU虛擬機實體創建速度慢是公有云面臨的普遍問題,由于通常情況下創建虛擬機屬于低頻操作而未引起業界的重視,實際生產中還是存在對GPU實體創建時間有苛刻要求的業務場景。本文將介紹滴滴云在解決該問題時的思路、方法、并展示最終的優化成果。 從公有云服務商那里購買過虛擬主機的資深用戶,一 ......

    uj5u.com 2020-09-10 06:09:13 more
  • 可編程網卡芯片在滴滴云網路的應用實踐

    **?桔妹導讀:**隨著云規模不斷擴大以及業務層面對延遲、帶寬的要求越來越高,采用DPDK 加速網路報文處理的方式在橫向縱向擴展都出現了局限性。可編程芯片成為業界熱點。本文主要講述了可編程網卡芯片在滴滴云網路中的應用實踐,遇到的問題、帶來的收益以及開源社區貢獻。 #1. 資料中心面臨的問題 隨著滴滴 ......

    uj5u.com 2020-09-10 06:10:21 more
  • 滴滴資料通道服務演進之路

    **?桔妹導讀:**滴滴資料通道引擎承載著全公司的資料同步,為下游實時和離線場景提供了必不可少的源資料。隨著任務量的不斷增加,資料通道的整體架構也隨之發生改變。本文介紹了滴滴資料通道的發展歷程,遇到的問題以及今后的規劃。 #1. 背景 資料,對于任何一家互聯網公司來說都是非常重要的資產,公司的大資料 ......

    uj5u.com 2020-09-10 06:11:05 more
  • 滴滴AI Labs斬獲國際機器翻譯大賽中譯英方向世界第三

    **桔妹導讀:**深耕人工智能領域,致力于探索AI讓出行更美好的滴滴AI Labs再次斬獲國際大獎,這次獲獎的專案是什么呢?一起來看看詳細報道吧! 近日,由國際計算語言學協會ACL(The Association for Computational Linguistics)舉辦的世界最具影響力的機器 ......

    uj5u.com 2020-09-10 06:11:29 more
  • MPP (Massively Parallel Processing)大規模并行處理

    1、什么是mpp? MPP (Massively Parallel Processing),即大規模并行處理,在資料庫非共享集群中,每個節點都有獨立的磁盤存盤系統和記憶體系統,業務資料根據資料庫模型和應用特點劃分到各個節點上,每臺資料節點通過專用網路或者商業通用網路互相連接,彼此協同計算,作為整體提供 ......

    uj5u.com 2020-09-10 06:11:41 more
  • 滴滴資料倉庫指標體系建設實踐

    **桔妹導讀:**指標體系是什么?如何使用OSM模型和AARRR模型搭建指標體系?如何統一流程、規范化、工具化管理指標體系?本文會對建設的方法論結合滴滴資料指標體系建設實踐進行解答分析。 #1. 什么是指標體系 ##1.1 指標體系定義 指標體系是將零散單點的具有相互聯系的指標,系統化的組織起來,通 ......

    uj5u.com 2020-09-10 06:12:52 more
  • 單表千萬行資料庫 LIKE 搜索優化手記

    我們經常在資料庫中使用 LIKE 運算子來完成對資料的模糊搜索,LIKE 運算子用于在 WHERE 子句中搜索列中的指定模式。 如果需要查找客戶表中所有姓氏是“張”的資料,可以使用下面的 SQL 陳述句: SELECT * FROM Customer WHERE Name LIKE '張%' 如果需要 ......

    uj5u.com 2020-09-10 06:13:25 more
  • 滴滴Ceph分布式存盤系統優化之鎖優化

    **桔妹導讀:**Ceph是國際知名的開源分布式存盤系統,在工業界和學術界都有著重要的影響。Ceph的架構和演算法設計發表在國際系統領域頂級會議OSDI、SOSP、SC等上。Ceph社區得到Red Hat、SUSE、Intel等大公司的大力支持。Ceph是國際云計算領域應用最廣泛的開源分布式存盤系統, ......

    uj5u.com 2020-09-10 06:14:51 more
  • es~通過ElasticsearchTemplate進行聚合~嵌套聚合

    之前寫過《es~通過ElasticsearchTemplate進行聚合操作》的文章,這一次主要寫一個嵌套的聚合,例如先對sex集合,再對desc聚合,最后再對age求和,共三層嵌套。 Aggregations的部分特性類似于SQL語言中的group by,avg,sum等函式,Aggregation ......

    uj5u.com 2020-09-10 06:14:59 more
  • 爬蟲日志監控 -- Elastc Stack(ELK)部署

    傻瓜式部署,只需替換IP與用戶 導讀: 現ELK四大組件分別為:Elasticsearch(核心)、logstash(處理)、filebeat(采集)、kibana(可視化) 下載均在https://www.elastic.co/cn/downloads/下tar包,各組件版本最好一致,配合fdm會 ......

    uj5u.com 2020-09-10 06:15:05 more
最新发布
  • 如何成功實施一個資料治理專案?實施步驟有哪些?

    企業數字化轉型以資料為中心,通過資料驅動業務發展、管理協同和運營。因此,數字化轉型關鍵在于資料,[資料治理](https://www.dtstack.com/resources/1001?src=https://www.cnblogs.com/DTinsight/p/szsm)則需先行。從而更好激發資料生產要素潛能,實作業務資料化、資料價值化,助力企業數字化轉型。 ## ......

    uj5u.com 2023-06-15 08:38:04 more
  • 向量資料庫是如何作業的?

    向量資料庫和 Embedding 是當前 AI 領域的熱門話題。



    Pinecone 是一家向量資料庫公司,剛剛以約 10 億美元的估值籌集了 1 億美元。



    Shopify、Brex、Hubspot 等公司都在他們的 AI 應用程式中使用向量資料庫和 Embedding。那么,它們究竟是什... ......

    uj5u.com 2023-06-14 10:16:03 more
  • Hbase中的region和rowkey

    # region Region是HBase資料管理的基本單位,region有一點像關系型資料的磁區。 Region中存盤這用戶的真實資料,而為了管理這些資料,HBase使用了RegionSever來管理region。 ## region的分配 一個表中可以包含一個或多個Region。 每個Regio ......

    uj5u.com 2023-06-14 10:15:41 more
  • MySql的MVCC機制

    事務隔離級別遺留問題: 在讀已提交的級別下,事務B可以讀到事務A持有寫鎖的的記錄,且讀到的是未更新前的,為何寫讀沒有沖突? 可重復讀級別,事務B可以更新事務A理論上應該已經獲取讀鎖的記錄,且更新后,事務A依然可以讀到資料,為何讀-寫-讀沒有沖突? 在可重復讀級別,幻讀沒有產生 其中,前兩個問題就是因 ......

    uj5u.com 2023-06-14 10:15:24 more
  • 如何成功實施一個資料治理專案?實施步驟有哪些?

    企業數字化轉型以資料為中心,通過資料驅動業務發展、管理協同和運營。因此,數字化轉型關鍵在于資料,資料治理則需先行。從而更好激發資料生產要素潛能,實作業務資料化、資料價值化,助力企業數字化轉型。 ## 那么何為資料治理? 國際資料管理協會(DAMA)在其《DAMA資料管理知識體系指南(第2版)》一書中 ......

    uj5u.com 2023-06-14 10:15:06 more
  • 資料庫復習——資料庫模式設計

    # 資料庫模式設計如果不好會導致的問題: 1.冗余 2.導致資料一致性出現問題 3.插入例外 4.更新例外 5.洗掉例外 # 函式依賴 函式依賴是指一個或多個屬性的取值可以確定另一個屬性的取值。具體地說,如果一個關系模式R中屬性集合X的取值能唯一地確定屬性集合Y的取值,那么我們稱屬性集合Y對于屬性集 ......

    uj5u.com 2023-06-14 10:14:56 more
  • Hive執行計劃之只有map階段SQL性能分析和解讀

    這種只含map的操作,如果檔案大小控制在合適的情況下,都將只有本地操作,其執行非常高效,運行效率完全不輸于在計算引擎Tez和Spark上運行。 ......

    uj5u.com 2023-06-14 10:14:51 more
  • MySQL讀取的記錄和我想象的不一致

    摘要:并發的事務在運行程序中會出現一些可能引發一致性問題的現象,本篇將詳細分析一下。 本文分享自華為云社區《MySQL讀取的記錄和我想象的不一致——事物隔離級別和MVCC》,作者:磚業洋__。 事務的特性簡介 1.1 原子性(Atomicity) 要么全做,要么全不做,一系列操作都是不可分割的,如果 ......

    uj5u.com 2023-06-14 10:14:25 more
  • ORACLE如何找出視圖依賴的物件和視圖嵌套層數

    之前寫過一篇文章“SQL Server如何找出視圖依賴的物件和視圖嵌套層數”,這里我介紹一下Oracle資料庫中如何找出視圖的依賴物件以及視圖嵌套層數關系。主要通過DBA_DEPENDENCIES這個系統視圖(這個系統視圖中包含有物件的依賴關系資料)。另外,我們使用了Oracle的樹形查詢(層級查詢 ......

    uj5u.com 2023-06-14 10:14:09 more
  • 向量資料庫是如何作業的?

    向量資料庫和 Embedding 是當前 AI 領域的熱門話題。



    Pinecone 是一家向量資料庫公司,剛剛以約 10 億美元的估值籌集了 1 億美元。



    Shopify、Brex、Hubspot 等公司都在他們的 AI 應用程式中使用向量資料庫和 Embedding。那么,它們究竟是什... ......

    uj5u.com 2023-06-14 10:08:30 more