參考架構
大資料質量管理框架覆寫組織在大資料生態鏈中的所有質量管理相關活動，為組織提供了資料治理管理的方法論，以支撐組織開展大資料質量管理作業，指導決策者將大資料質量管理納入組織日常作業，建立團隊來管理組織的資料資產，確保資料質量能夠滿足業務運行和管理決策的需要，
結合國內大資料質量管理領域的特點，提出了大資料質量參考框架（BDQM），
- 質量策略：大資料質量作業受到組織內部各種業務驅動因素的影響，需要多個內部機構參與，因此必須提升到組織層面，與組織整體業務策略相一致，配合組織業務策略實施，實作組織戰略目標，
- 質量控制目標：大資料質量管理需要符合一系列大資料標準、規章制度和流程，因而必須持續檢測已定義的質量測量指標和績效指標，并及時將監測情況向利益相關方匯報，
- 指責角色：大資料質量管理需要資料采集、使用、管理等作業定義崗位、角色和指責，清晰界定相關角色的責權利，并通過質量認責機制，確保大資料質量管理作業能夠高效、有效執行，質量認責機制的核心是分離大資料使用者和管理者兩個角色，大資料使用者負責提出業務需求，大資料管理者對大資料全生命周期中的質量負責，
- 流程和方法：組織按照統一標準和規范，開展大資料的管理和使用，確保資料質量滿足要求，同時，必須將大資料質量相關標準化作業嵌入到日常業務處理流程中，嚴格執行大資料質量規范指引，
- 支撐保障：支撐保障包括組織有效實施大資料質量管理相關活動的各類技術作業，軟體和系統，必須對其進行統一規劃、管理和持續改進，
大資料質量策略
大資料質量是快速應對業務變化、符合監管和法規要求、客戶管理、業務流程整合和標準化等作業的前提，大資料質量策略對質量管理文化、職責和角色、流程和方法、服務級別協議等具有深遠的影響，
大資料質量策略是組織策略的一部分，管理層對大資料質量的態度影響大資料質量管理實施的效果，大資料質量策略的目標上傳達業務發展策略，為業務策略的執行和成功提供保證，主要作業包括：
- 結合組織業務經營策略和大資料策略，制定、評估和更新組織級的大資料質量策略，主要作業包括：
- 確定、分析、記錄和溝通大資料質量對組織業務目標、績效、業務創新的影響
- 規范、審核和更新大資料質量管理的目標和流程使其滿足利益相關者的需要和期望，并且與業務創新、發展和管理策略保持一致，
- 確保大資料質量管理策略有效執行，防止不協調的情況發生
- 定義大資料質量管理參與機構的作業邊界和范圍，如資料分級、責任部門等
- 定義大資料質量分級控制策略下的內外部資料管理、多源異構資料整合、內外部資料一致性控制、冷資料和熱資料的融合、資料重用等，
- 組織高管要積極參與大資料質量策略的制定，確保大資料質量框架的開發、共享、實施和改進，并與管理體系的協調一致，主要包括以下：
- 協調開展大資料質量管理體系的開發、管理和實施
- 確保質量管理體系的開發、協調和實施，并進行測量、評估和改進
- 確保大資料質量管理體系的清晰定義和授權
- 定義和更新相關程序和活動的優先級，保證與業務、成本效益的協調，
大資料質量控制目標
大資料質量控制目標是實作內外部資料質量的監測度量,通過定量化評估，識別和檢測，明確大資料質量和業務流程間的關系，完成大資料質量報告的編制等，
- 識別大資料質量對業務影響：在資料所有者和使用者配合下，選擇、定義和維護合適的大資料質量監測維度及檢查規則，
- 根據業務需求和優先級，識別和定義大資料質量維度，關注基于大資料的個性化應用、預測和決策、服務創新等業務需求，
- 梳理資料缺陷與業務績效流程間的關系，實施資料缺陷因果分析；根據結果確定大資料監測點、檢測方法和質量測量方法，
- 明確大資料質量維度的上、下閾值和目標，對大資料質量持續監測，
- 實施多資料源資料供應、標準化、清洗等質量改進作業，
- 針對智能設備自動采集的資料，實施跨流程的質量關聯核查，監測多資料源關聯的一致性檢查，
- 建立、維護關鍵業務資料的知識庫和質量規則庫，主要包括：
- 確定納入關鍵業務資料知識庫中的資料元素
- 基于確定的關鍵業務元素，建立和更新組織級關鍵業務資料知識庫
- 基于監測資料的質量維度的測量規則，建立和維護資料質量規則庫
- 大資料質量持續監測和后續行動
- 開發、實施和改進用于資料質量維度指標的度量方法
- 開發和定義資料質量測量的維護流程
- 持續監測資料質量維度的閾值，發現例外時，觸發資料質量改進活動
- 實施資料的清洗、標準化、內容完善等資料質量改進活動
職責角色
大資料質量管理必須與相關質量崗位、角色納入到組織架構中，明確責權利，保證高效、有效地完成質量管理的任何和作業，
- 定義、管理和改進大資料治理管理人力資源
- 定義和持續更新大資料質量管理需要的崗位角色和職責
- 定義和持續更新大資料質量管理需要的決策和活動
- 明確定義和建立大資料質量報告路線和授權，以協調大資料質量管理的各個角色的作業
- 定義和實施調解策略，以解決質量管理中不同角色間的沖突
- 管理從事大資料質量作業的人員聘任、職業開發和規劃
- 建立和維護組織內員工的大資料質量管理意識
- 積極溝通大資料質量策略和目標，將策略和目標融入組織文化中，鼓勵利益相關者積極參與質量作業，消除變革阻力
- 確保從事大資料質量管理的員工具備必需的知識、技能和資訊，以便能勝任大資料質量管理作業
- 授權組織內員工承擔大資料質量管理責任
- 鼓勵和支持個人、團隊參與大資料質量改進活動
- 實施大資料質量管理培訓，培養員工管理大資料的能力
- 分享大資料質量活動中遇到的問題、經驗教訓和最佳實踐
流程和方法
流程和方法是大資料質量控制目標實作的重要保障，對于核心業務流程中各類資料，按照“第一次就做好、做對”的原則進行主要管理和維護，采取“預防替換救火隊”的資料質量措施，確保組織內資料達到高質量的目標，在組織核心業務流程中主要管理、使用和維護大資料，保證組織內大資料在其全生命周期管理流程，
支撐保障
大資料質量支撐保障主要是通過質量輔助技術工具、軟體和系統，支撐大資料質量管理活動，保證大資料質量符合資料標準、業務規則和資料質量規則等，
轉載請註明出處，本文鏈接：https://www.uj5u.com/qita/290605.html
標籤：其他
上一篇：大資料發行版本與云廠商