編者按：8月28日，由Datafuntalk發起的DataFunSummit資料安全與治理峰會在云端舉行，MobTech袤博科技受邀參加，大資料架構專家陳遠光分享了資料治理一體化在MobTech金融風控場景下的實踐和應用案例，帶你走進資料應用與治理一體化的世界，
1.企業資料治理的必須性與好處
武俠世界里有句話：“有江湖的地方就有是非，”同樣，有資料的地方就需要治理，對于資料智能公司來說，面對海量的資料，不同的資料源、不同部門人員使用、不同的業務分析需求以及不同的應用方式等不確定因素糾集在一起，如果規劃管理不當，很容易出現各類問題：
1.系統林立，資料孤島，資料煙囪式發展沒有有效的融合；
2.資料冗余，缺乏規劃，資料存盤混亂，建模不合理，資料使用單次結果導向型，沒有統一規劃，造成存盤和計算資源的浪費和管理的混亂；
3.對資料使用需求不明確、不統一，造成二次開發，資料復用率低、管理難度大；
4.最直觀的結果就是資料質量低下，企業資料無法深度挖掘深，實際價值沒有展現出來，
資料治理毫無疑問需要企業前期投入大量人力物力建設，后期規范化使用也會很“麻煩”，需要制度化約束管理開發人員的日常實施，那么資料治理對于企業來說，值不值投入呢？
2.從哪些角度做資料治理
資料治理是一個很大的范疇，從資料沉淀、資料存盤、資料分析到資料的應用輸出，都離不開資料的安全與治理，在整個資料鏈路的程序中里面任何一個模塊都有很大的建設空間，但總的來說資料治理是一整套的方法論，即成熟的資料治理體系化、模塊化、工程化，
對企業來說，如何系統化規劃設計資料治理一體化架構呢？MobTech袤博科技基于多年的資料管理和治理經驗，抽象出如下四大資料治理維度，當然每個企業應該根據自己公司實際情況，如資料規模，業務場景，資料特點等因素有選擇有重點的建設自資料治理體系，前者越復雜，規模越大，需要的資料治理的功能越完善，治理的細節越豐富，指標體系越健全，
3. 資料智能企業資料治理一體化架構建設
羅馬不是一日建成的，資料治理一體化架構也是隨著公司的業務發展，海量資料沉淀，需求繁巨，管理難度大等現狀逐步迭代才有了今天較為完善的規模，
截止至當前，公司整個資料管理平臺抽象出5大系統，協同保障SLA，分別是安全管理系統、資產管理系統、資料質量系統、模型管理系統以及監控告警系統，下面分別進行詳細的講解，
1.安全管理系統
首先資料安全從最基本的資料容災，異地災備機房的建設，資料存盤的多副本機制等方面從硬體基礎層面保障資料的安全；其次資料層面資料合理化采集，敏感資料脫敏，資料通過網路加密傳輸，加密存盤等方式，最終實作符合國家資料安全要求的資料合規，對于企業來說，存盤資料后，資料的使用，如怎么通過分級來做權限的隔離等；同時企業也需要通過建立健全完善的資料管理制度，資料審批制度等來進一步約束資料的使用，保障企業資料的安全，MobTech立志構建全方位的資料安全管理系統，從多維機制保障資料的安全，
2.資料模型管理系統
共分為四大模塊：
1）模型創建：
如模型設計、數倉的分成、選擇哪個主題、模型的命名、型別、模型中詞根選擇，模型建模選擇是維度建模還是anchor模式、公共維度和關聯關系如何處理等；
2）模型校驗：
數倉模型規范性檢測，如模型中常用詞匯是否在詞庫中，四大詞庫、基礎詞庫、金融詞庫、地理詞庫、營銷類詞庫、欄位一致性校驗；如欄位有沒有加COMMENT，分層存盤格式是否正確等；如模型的重復率（避免構建大量重復模型）判斷等；
3）模型審核：
生產發布要求小組負責人代碼review、代碼規范、模型規范、有沒有出現跨層呼叫資料情況、分層主題設計是否合理、模型是否符合維度建模規范等等，這些都沒問題，才可以審批上線；
4）模型維護：模型的修改，要保留歷史版本控制，變更需添加注釋；模型的廢棄上下線監測，
3. 資產管理平臺
主要功能模塊如上圖，血緣這塊是我們自主基于hive Hook， spark Listener等定制開發的，整個資產平臺分成四大模塊，有供開發人員使用的血緣鏈路分析、元資料管理、檢索等，也有供Boss提供決策依據的資產全景看板等，
4. 調度監控告警管理系統
平臺基于Apache dolphinscheduler開源版本進行二次定制化開發，新增了很多模塊化功能，如任務管理，任務治理分析模塊，任務治理模塊，基于YARN API介面收集到Job 日志資訊對任務運行情況T+1實施診斷，通過特定演算法對任務運行評分，推薦優化，如引數是否合理，任務是否長尾現象，任務監控統計管理等功能，保障任務運行更穩定，計算性能更強勁，資源投入產出比更高，
5.資料質量監控系統（QC）
主要結合調度系統，嵌入式二次開發，通過熔斷機制解決了QC系統傳統的資源浪費問題，傳統QC系統通過任務后配置依賴的質量監控任務，監控例外后告警，但是不會對下游任務的執行進行阻斷，告警處理后下游任務仍需要重跑，浪費資源，
MobTech的 QC系統通過可選框式配置質量監控規則，配置提交后后臺自動生成依賴監控任務，可選式配置任務熔斷選項，這樣一旦觸發熔斷機制，該任務的下游所有任務都會暫停，等待該告警的處理或者忽略，達到減少資源的浪費和降低集群的負載，
資料治理一體化對于每個企業來說都是任重道遠的程序，MobTech一直在路上，歡迎大家共同探討交
轉載請註明出處，本文鏈接：https://www.uj5u.com/qita/297086.html
標籤：其他