由于海量資料的來源是廣泛的,資料型別也是多而繁雜的,因此資料中會夾雜著不整、重復以及錯誤的資料,如果直接使用這些原始資料,會嚴重影響資料決策的準確性和效率，因此,對原始資料進行有效的清洗是大資料分析和應用程序中的關鍵環節，
目錄
1.1 資料清洗的背景
1.2 資料清洗的定義
1.3 資料清洗的原理
1.4 資料清洗的基本流程
1.5 資料清洗的策略
1.6 常見的資料清洗方法
1.1 資料清洗的背景
1.1.1 資料質量概述
從適用性的角度看,資料質量是一個相對的概念(與決策無關)，不同的決策者對資料質量的高低要求也是不同的，對于一個無關的資料,即便質量很高,對決策也起不到任何作用，
資料質量的顯著特點如下：
—— “業務需求”會隨時間變化,資料質量也會隨時間發生變化，
——資料質量可以借助資訊系統度量，但獨立于資訊系統存在，
——資料質量存在于資料的整個生命周期,隨著資料的產生而產生,隨著資料的消失而消失，
1.1.2 資料質量的評價指標
資料質量的評價指標主要包括資料的準確性、完整性、簡潔性及適用性，其中資料的準確性、完整性和簡潔性是為了保證資料的適用性，
1.1.3 資料質量的問題分類
資料質量的問題可以分為兩類：一類是基于資料源的“臟”資料分類；另一類是基于清洗方式的“臟”資料分類，
1.基于資料源的“臟”資料分類
基于資料源的“臟”資料質量問題可以分為單資料源問題和多資料源問題，模式層是指資料庫的結構，就是關系結構；實體層是指關系中具體存盤的資料記錄或元組，
2.基于清洗方式的“臟”資料分類
從資料清洗方式的設計者角度看，可以將“臟”資料分為“獨立型‘臟’資料”和“依賴型‘臟’資料”兩類，依賴型“臟”資料主要包括缺失資料和重復資料等“臟”資料，
1.2 資料清洗的定義
資料清洗技術是提高資料質量的有效方法，主要應用于三個領域，即資料倉庫領域、資料挖掘領域以及資料質量管理領域，
1.3 資料清洗的原理
將同一值得不同表示、拼寫錯誤、不同的命名習慣、不合法的值、以及空值都通過定義好的資料清洗策略和清洗規則對“臟”資料進行清洗，從而得到滿足資料質量要求的資料，
需要注意的是，資料清洗的目的是解決“臟”資料問題，即不是將“臟”資料洗掉，而是將“臟”資料洗干凈，干凈的資料指的是滿足質量要求的資料，
1.4 資料清洗的基本流程
1.資料分析
2.定義資料清洗的策略和規則
3.搜索并確定錯誤示例
4.糾正發現的錯誤
5.干凈資料回流
1.5 資料清洗的策略
1.一般的資料清洗策略
- 手工清洗策略
- 自動清洗策略
- 待定應用領域的清洗策略
- 與特定應用領域無關的清洗策略
2.混合的資料清洗策略
混合的資料清洗策略主要以自動清洗為主，
1.6 常見的資料清洗方法
1.缺失值的清洗
缺失值的清洗方式主要分為忽略缺失值資料和填充缺失值資料，
2.重復值的清洗
目前清洗重復值的基本思想是“排序和合并”，清洗重復值的方法主要有相似度計算和基于基本近鄰排序演算法等方法，
3.錯誤值的清洗
主要包括使用統計分析的方法識別可能的錯誤值、使用簡單規則庫檢測出錯誤值、使用不同屬性間的約束以及使用外部資料等方法檢測和處理錯誤值，
轉載請註明出處，本文鏈接：https://www.uj5u.com/qita/299630.html
標籤：其他
上一篇：資料庫學習之資料更新
下一篇：DM作業系統