0-前言

• 數倉建設真正的難點不在于數倉設計，而在于后續業務發展起來，業務線變的龐大之后的資料治理，而資料治理的范圍非常廣，包含資料本?的管理、資料安全、資料質量、資料成本等，在這么多治理內容中，大家想下最重要的治理是什么？當然是資料質量治理，因為資料質量是資料分析結論有效性和準確性的基礎，也是這一切的前提，所以如何保障資料質量，確保資料可用性是資料倉庫建設中不容忽視的環節，

資料質量涉及的范圍也很廣，貫穿數倉的整個生命周期，從資料產生->資料接入->資料存盤->資料處理->資料輸出->資料展示，每個階段都需要質量治理，

在系統建設的各個階段都應該根據標準進行資料質量檢測和規范，及時進行治理，避免事后的清洗作業，

1-為什么要進行資料質量評估

很多剛入門的資料人，拿到資料后會立刻開始對資料進行各種探查、統計分析等，企圖能立即發現資料背后隱藏的資訊和知識，然而忙活了一陣才頹然發現，并不能提煉出太多有價值的資訊，白白浪費了大量的時間和精力，比如和資料打交道的程序中，可能會出現以下的場景：

• 場景一：作為資料分析人員，要統計一下近 7 天用戶的購買情況，結果從數倉中統計完發現，很多資料發生了重復記錄，甚至有些資料統計單位不統一，
• 場景二：業務看報表，發現某一天的成交 gmv 暴跌，經過排查發現，是當天的資料缺失，

造成這一情況的一個重要因素就是忽視了對資料質量的客觀評估，沒有制定合理的衡量標準，導致沒有發現資料已出現問題，所以，進行科學、客觀的資料質量衡量標準是非常必要且十分重要的，

2-資料質量衡量標準

如何評估資料質量的好壞，業界有不同的標準，我總結了以下六個維度進行評估，包括完整性、規范性、一致性、準確性、唯一性、及時性，

1. 資料完整性：
   完整性指的是資料資訊是否存在缺失的狀況，資料缺失的情況可能是整個資料記錄缺失，也可能是資料中某個欄位資訊的記錄缺失，
2. 資料規范性：
   規范性指的是描述資料遵循預定的語法規則的程度，是否符合其定義，比如資料的型別、格式、取值范圍等，
3. 資料一致性：
   一致性是指資料是否遵循了統一的規范，資料集合是否保持了統一的格式，資料質量的一致性主要體現在資料記錄的規范和資料是否符合邏輯，一致性并不意味著數值上的絕對相同，而是資料收集、處理的方法和標準的一致，常見的一致性指標有：ID 重合度、屬性一致、取值一致、采集方法一致、轉化步驟一致，
4. 資料準確性：
   準確性是指資料記錄的資訊是否存在例外或錯誤，和一致性不一樣，存在準確性問題的資料不僅僅只是規則上的不一致，更為常見的資料準確性錯誤就如亂碼，其次例外的大或者小的資料也是不符合條件的資料，常見的準確性指標有：缺失值占比、錯誤值占比、例外值占比、抽樣偏差、資料噪聲，
5. 資料唯一性：
   唯一性指的是資料庫的資料不存在重復的情形，比如真實成交 1 萬條，但資料表有 3000 條重復了，成了 1.3 萬條成交記錄，這種資料不符合資料唯一性，
6. 資料及時性：
   及時性是指資料從產生到可以查看的時間間隔，也叫資料的延時時長，比如一份資料是統計離線今日的，結果都是第二天甚至第三天才能統計完，這種資料不符合資料及時性，

還有一些其他的衡量標準，在此簡單列出：

3-資料質量管理流程

本節流程如下圖所示：

3.1-資料資產等級

• 根據當資料質量不滿足完整性、規范性、一致性、準確性、唯一性、及時性時，對業務的影響程度大小來劃分資料的資產等級，

1. 毀滅性：資料一旦出錯，會引起巨大的資產損失，面臨重大收益受損等，標記為 L1
2. 全域性：資料用于集團業務、企業級效果評估和重要決策任務等，標記為 L2
3. 區域性：資料用于某個業務線的日常運營、分析報告等，如果出現問題會給該業務線造成一定的影響或影響其作業效率，標記為 L3
4. 一般性：資料用于日常資料分析，出現問題的帶來的影響很小，標記為 L4
5. 未知性質：無法追溯資料的應用場景，標記為 Lx

重要程度：L1>L2>L3>L4>Lx，如果一份資料出現在多個應用場景中，則根據其最重要程度進行標記，

• 等級劃分

定義資料資產等級后，我們可以從資料流程鏈路開始進行資料資產等級標記，完成資料資產等級確認，給不同的資料定義不同的重要程度，

分析資料鏈路：

資料是從業務系統中產生的，經過同步工具進入資料倉庫系統中，在資料倉庫中進行一般意義上的清洗、加工、整合、演算法、模型等一系列運算后，再通過同步工具輸出到資料產品中進行消費，而從業務系統到資料倉庫再到資料產品都是以表的形式體現的，其流轉程序如下圖所示：

標記資料資產等級：

在所有資料鏈路上，整理出消費各個表的應用業務，通過給這些應用業務劃分資料資產等級，結合資料的上下游依賴關系，將整個鏈路打上某一類資產等級標簽，

舉個例子：

• 假設公司有統一的訂單服務中心，應用層的應用業務是按照業務線，商品型別和地域統計公司的訂單數量和訂單金額，命名為order_num_amount，
• 假設該應用會影響到整個企業的重要業務決策，我們可以把應用定級為 L2，從而整個資料鏈路上的表的資料等級，都可以標記為L2-order_num_amount，一直標記到源資料業務系統，如下圖所示：

3.2-資料加工程序卡點校驗

3.2.1-在線系統資料校驗

在線業務復雜多變，總是在不斷地變更，每一次變更都會帶來資料的變化，資料倉庫需要適應這多變的業務發展，及時做到資料的準確性，

基于此，在線業務的變更如何高效地通知到離線資料倉庫，同樣也是需要考慮的問題，為了保障在線資料和離線資料的一致性，我們可以通過工具+人員管理并行的方式來盡可能的解決以上問題：既要在工具上自動捕捉每一次業務的變化，同時也要求開發人員在意識上自動進行業務變更通知，

業務上線發布平臺：

監控業務上線發布平臺上的重大業務變更，通過訂閱這個發布程序，及時將變更內容通知到資料部門，

由于業務系統復雜多變，若日常發布變更頻繁，那么每次都通知資料部門，會造成不必要的資源浪費，這時，我們可以使用之前已經完成標記的資料資產等級標簽，針對涉及高等級資料應用的資料資產，整理出哪些型別的業務變更會影響資料的加工或者影響資料統計口徑的調整，則這些情況都必須及時通知到資料部門，

如果公司沒有自己的業務發布平臺，那么就需要與業務部門約定好，針對高等級的資料資產的業務變更，需要以郵件或者其他書面的說明及時反饋到資料部門，

操作人員管理：

工具只是輔助監管的一種手段，而使用工具的人員才是核心，資料資產等級的上下游打通程序需要通知給在線業務系統開發人員，使其知道哪些是重要的核心資料資產，哪些暫時還只是作為內部分析資料使用，提高在線開發人員的資料風險意識，

可以通過培訓的方式，把資料質量管理的訴求，資料質量管理的整個資料加工程序，以及資料產品的應用方式及應用場景告知在線開發人員，使其了解資料的重要性、價值及風險，確保在線開發人員在完成業務目標的同時，也要考慮資料的目標，保持業務端和資料段一致，

3.2.2-離線系統資料校驗

資料從在線業務系統到資料倉庫再到資料產品的程序中，需要在資料倉庫這一層完成資料的清洗、加工，正是有了資料的加工，才有了資料倉庫模型和資料倉庫代碼的建設，如何保障資料加程序中的質量，是離線資料倉庫保障資料質量的一個重要環節，

資料加工上線流程如下圖所示：

在這些環節中，我們可以采用以下方式來保障資料質量：

代碼提交核查：

開發相關的規則引擎，輔助代碼提交校驗，規則分類大致為：

• 代碼規范類規則：如表命名規范、欄位命名規范、生命周期設定、表注釋等；
• 代碼質量類規則：如分母為 0 提醒、NUll 值參與計算提醒等；
• 代碼性能類規則：如大表提醒、重復計算監測、大小表 join 操作提醒等，

代碼發布核查：

加強測驗環節，測驗環境測驗后再發布到生成環境，且生成環境測驗通過后才算發布成功，

任務變更或重跑資料：

在進行資料更新操作前，需要通知下游資料變更原因、變更邏輯、變更時間等資訊，下游沒有異議后，再按照約定時間執行變更發布操作，

3.3-資料處理風險監控

• 風險點監控主要是針對資料在日常運行程序中容易出現的風險進行監控并設定報警機制，主要包括在線資料和離線資料運行風險點監控，

3.3.1-資料質量監控

該章節大部分截取自《阿里巴巴大資料之路》一書，好書推薦給大家！

在線業務系統的資料生產程序需要保證資料質量，主要根據業務規則對資料進行監控，

比如交易系統配置的一些監控規則，如訂單拍下時間、訂單完結時間、訂單支付金額、訂單狀態流轉等都配置了校驗規則，訂單拍下時間肯定不會大于當天時間，也不會小于業務上線時間，一旦出現例外的訂單創建時間，就會立刻報警，同時報警給到多人，通過這種機制，可以及時發現并解決問題，

隨著業務負責程度的提升，會導致規則繁多、規則配置的運行成本增大，這時可以按照我們之前的資料資產等級有針對性的進行監控，

離線資料風險點監控主要包括對資料準確性和資料產出及時性的監控，對資料調度平臺上所有資料處理調度進行監控，

我們以阿里的 DataWorks 資料調度工具為例，DataWorks 是基于 MaxCompute 計算引擎的一站式開發工場，幫助企業快速完成資料集成、開發、治理、質量、安全等全套資料研發作業，

DataWorks 中的 DQC 通過配置資料質量校驗規則，實作離線資料處理中的資料質量監控報警機制，
下圖是 DQC 的作業流程圖：

DQC 資料監控規則有強規則和弱規則：

• 強規則：一旦觸發報警就會阻斷任務的執行（將任務置為失敗狀態，使下游任務不會被觸發執行），
• 弱規則：只報警但不阻斷任務的執行，

DQC 提供常用的規則模板，包括表行數較 N 天前波動率、表空間大小較 N 天前波動率、欄位最大/最小/平均值相比 N 天前波動率、欄位空值/唯一個數等，

DQC 檢查其實也是運行 SQL 任務，只是這個任務是嵌套在主任務中的，一旦檢查點太多自然就會影響整體的性能，因此還是依賴資料產等級來確定規則的配置情況，比如 L1、L2 類資料監控率要達到 90% 以上，規則型別需要三種及以上，而不重要的資料資產則不強制要求，

3.3.2-資料及時性監控

在確保資料準確性的前提下，需要進一步讓資料能夠及時地提供服務，否則資料的價值將大幅度降低，甚至沒有價值，所以確保資料及時性也是保障資料質量重中之重的一環，

任務優先級：

• 對于DataWorks平臺的調度任務，可以通過智能監控工具進行優先級設定，DataWorks的調度是一個樹形結構，當配置了葉子節點的優先級，這個優先級會傳遞到所有的上游節點，而葉子節點通常就是服務業務的消費節點，

• 因此，在優先級的設定上，要先確定業務的資產等級，等級越高的業務對應的消費節點優先級越高，優先調度并占用計算資源，確保高等級業務的準時產出，

• 總之，就是按照資料資產等級優先執行高等級資料資產的調度任務，優先保障高等級業務的資料需求，

任務報警：

• 任務報警和優先級類似，通過DataWorks的智能監控工具進行配置，只需要配置葉子節點即可向上游傳遞報警配置，任務執行程序中，可能出錯或延遲，為了保障最重要資料（即資產等級高的資料）產出，需要立即處理出錯并介入處理延遲，

DataWorks智能監控：

• DataWorks進行離線任務調度時，提供智能監控工具，對調度任務進行監控告警，根據監控規則和任務運行情況，智能監控決策是否報警、何時報警、如何報警以及給誰報警，智能監控會自動選擇最合理的報警時間、報警方式以及報警物件，

4-總結

要想真正解決資料質量問題，就要明確業務需求并從需求開始控制資料質量，并建立資料質量管理機制，從業務出發做問題定義，由工具自動、及時發現問題，明確問題責任人，通過郵件、短信等方式進行通知，保證問題及時通知到責任人，跟蹤問題整改進度，保證資料質量問題全程序的管理，

資料治理之路，道阻且長，，，