這邊文章聊聊自己對資料治理開發實踐的一些思路，就是聊聊怎么開始去做資料治理這件事情，說起資料治理，有時候雖然看了很多文章，看了很多的介紹，了解資料治理的理論，但是實際上需要我們去搞的時候，就會踩很多的坑，這里記一下自己做資料治理的一些思路，做做筆記，也分享給需要的同學，
當然，想要做資料治理，想要學習了解，一下資料治理的范圍，理論等，最好可以看看別人怎么做的，了解資料治理可以參考：資料倉庫(11)什么是大資料治理，資料治理的范圍是哪些，
那接下來就繼續說說資料治理的一些思路心得，
接到資料治理的任務？要怎么做？
- 梳理目前資料集群，以及業務的總體情況
這個，其實沒有什么好說，做事情之前，肯定是要先了解，我們要做的東西是怎么樣的，評估可能會遇到的問題，這樣才能進一步做出來好的資料質量方案，
- 對資料治理進行分類
了解了我們面對的資料集群之后，就要了解對我們需要治理的方向，進行分類了，這個對我們后續的方案設計和組件的選取、改造會有很大的影響，不一樣的分類，我們要解決問題的范圍，是不一樣的，
那要怎么分類？首先是大的方向，
- 主資料管理
- 元資料管理
- 資料標準
- 資料質量管理
- 資料安全管理
- 資料計算管理
- 資料存盤管理
大的方向確定了，當其實還是太大了，還是需要進一步的進行切割，
像是資料質量管理，可以進一步切分為
1 唯一性校驗：不存在無意義的重復資料
2 完整性校驗：資料完整且連續
3 一致性校驗：資料在多資料源中意義一致
4 有效性校驗：這里主要指資料在分析的時間點是有效，而非過期或失效資料
5 準確性校驗：資料合理、準確，并符合資料型別的標準
元資料管理，要劃分為技術元資料和業務元資料等，具體的劃分粒度，應該需要到具體的，可實作的，不容易混淆，以及偏于以后資料的管理和使用，畢竟這個東西后續要給開發，給資料bi等人使用的，當然，我們可能不能已下載就劃分好一個最好的分類，我們應該回圈迭代，做出一個更加符合實際出來，
資料管理這個，如果說技術能力，開發人力有限，那其實往往更加簡單的方式更好，也便于推廣，應該說一個可用的方案好過于一個全面，但用起來不方便的方案，
- 針對某個類別的資料，進行具體設計，開發，并進一步成規范
上面，我們已經大概梳理好了我們資料治理的范圍和分類，進一步的，我們就需要落地了，這個時候，我們就要進一步的針對，我們的劃分的問題，提出，我們的方案，并實作他，
如果，上面說的資料質量管理中的準確性校驗，這個時候，我們就面臨了一個問題，怎么樣的資料，符合資料合理、準確，并符合資料型別的標準這樣的資料規范？我們會怎么去驗證這個東西呢？正常情況下，開發人員是怎么去驗證這個東西的？
所以，這個時候，我們就需要抽象出這些具體的操作，拼通過合適的方案實作他，
如果，準確性校驗，開發人員一般是通過寫sql，通過一定的資料規則判斷的，比如資料的波動，資料值的范圍等，那么我們做這個的時候，是不是就可以做這樣的一個系統，可以配置sql，或者一些比較通過的邏輯，定時比對資料，得到我們的一個結果，實作這樣的一個功能？當然這個肯定不是最好的方案，但是一個可用的方案好過于一個全面，但用起來不方便的方案，然后不停的迭代優化，完善，
當然，這個時候也要放過來思考我們上面的劃分是不是，合理，比如資料質量管理，是不是可以使用同一個思路去做？爭取事半功倍，
- 執行規范
做好上面的事情，接下來，就是考驗執行了的時候了，任何方案在，最終如果不能很好的執行，那就是事倍功半，
啰里啰唆，寫了這一點點心得，邏輯可能不是很通暢，希望可以給到各個在資料治理掙扎的同學，一點思路，這個也是我的個人筆記，后續有新的想法，再更新，
參考資料：資料倉庫(12)資料治理之數倉資料管理實踐心得
本文來自博客園，作者：張飛的豬，轉載請注明原文鏈接：https://www.cnblogs.com/the-pig-of-zf/p/16259912.html
轉載請註明出處，本文鏈接：https://www.uj5u.com/shujuku/472403.html
標籤：其他