一:資料清洗的背景
近年來，大資料技術掀起了計算機領域的-個新浪潮，無論是資料挖掘、資料分析、資料可視化.還是機器學習、人工智能，它們都繞不開“資料"這個主題，從統計學家到軟體開發人員，再到圖形設計師，越來越多的人對資料科學產生了興趣，廉價的硬體、可靠的資料處理工具和資料可視化工具以及海量的資料這些資源使我們能夠輕松地、精確地發現趨勢、預測未來，
由于海量資料的來源是廣泛的，資料型別也是多而繁雜的,因此資料中會夾雜著不完整、重復以及錯誤的資料，如果直接使用這些原始資料，會嚴重影響資料決策的準確性和效率，因此,對原始資料進行有效的清洗是大資料分析和應用程序中的關鍵環節，當今時代，企業資訊化的要求越來越迫切，對于企業的決策者來說，正所謂“垃圾進垃圾出(garbagein.garbageout)”如果作為決策支持的資料倉庫存放的資料質量達不到要求，將直接導致資料分析和資料挖掘不能產生理想的結果，甚至還會產生錯誤的分析結果，從而誤導決策，因此，我們需要對資料倉庫中的資料進行相關清洗操作,得出可靠、可準確反映企業實際情況的資料,用以支持企業戰略決策，由此可見，資料質量在企業戰略決策中占據著重要的地位，
總而言之,原始資料是不能滿足我們的需要,不能完成我們的目的,不能更哈德服務我們,所以我們需要資料清洗.
1.資料質量的概述
1)所謂資料質量,是指在業務環境下,資料符合資料消費者的使用目的,能滿足業務場景的具體需求的程度.
2)從從適用性的角度看，資料質量是一一個 相對的概念(與決策有關)，不同的決策者對資料質量的高低要求也是不同的，對于一一個無關的資料，即使質量很高,對決策也起不到任何作用，例如，醫院里病人的基本資訊通常包括姓名年齡、血型、身高、地址等內容，如果想研究某種疾病易發的年齡段,那么年齡資訊的資料質量就非常重要，而其他資訊(血型、身高、地址等)的資料質量相對來說作用不大，
3)“業務需求”會隨時間變化，資料質量也會隨時間發生變化，
4)資料質量可以借助資訊系統度量,但獨立于資訊系統存在，
5)資料質量存在于資料的整個生命周期，隨著資料的產生而產生，隨著資料的消失而消失，
總而言之,資料質量是變化的,根據研究物件的不同資料質量惠做出變化.
2.資料質量的評價指標
1)準確性
2)完整性
3)簡潔性
4)適用性
3.資料質量的問題分類
1)基于資料源的臟資料分類
2)基于清洗方式的臟資料分類
二:資料清洗的定義
資料清洗技術是提高資料質量的有效方法，這項技術是一t資料清青洗有不同的解釋，因據集的清洗作業需要花費很長的時間，由于不同的應用領域對要應用于3個領域，即資料此資料清洗直到現在都沒有一個公認、統-的定義，資料清洗主要應用于三個領域，資料倉庫領域、資料挖掘領域以及資料質量管理領域，例如，當同一個物體的記錄在不同資料源中以不同的表示懷格或錯誤表示的情況下，合并后的資料倉中的指重復的記錄，也就是所謂的資料合并或清除(Merge/Purge)問題，在資料倉庫環境中，資料清洗主要包括資料的清洗和結構的轉換兩個程序，
在資料挖掘領域中,資料清洗是資料進行預處理程序的第一個步驟，在資料預處理應用中，資料清洗的主要任務是提高資料的可用性，即去除噪聲、無關資料以及空值等,并考慮資料的動態變化，在字符分類問題中，通過使用機器學習的技術進行資料清洗，即使用特定演算法檢測資料庫對缺失和錯誤的資料予以修改，
在資料質量管理領域中，資料質量管理是一個學術界和商業界都感興趣的領域，資料質量管理主要用于解決資訊系統中的資料質量及集成問題，
三:資料清洗的原理
四:資料清洗的基本流程
五:資料清洗的清洗策略
1.一般的資料清洗策略
按照資料清洗的實作方式與范圍劃分，一般分為手工清洗策略、自動清洗策略、特定應用領域的清洗策略以及與特定應用領域無關的清洗策略,這4種清洗策略的具體介紹如下，.手工清洗策略，即通過人工直接修改“臟”資料，
自動清洗策略，即通過撰寫專門的應用程式檢測并修改“臟”資料，
●特定應用領域的清洗策略，即根據概率統計學原理檢測并修改數值例外的記錄，
●與特定應用領域無關的清洗策略，即根據相關演算法檢測并洗掉重復記錄，
2.混合的資料清洗策略
混合的資料清洗策略主要以自動清洗為主，在資料倉庫的資料初次裝載階段和增量裝載階段，可以通過撰寫應用程式實作批量資料的自動清洗,但該清洗策略并不能完全涵蓋所有的錯誤型別，若無法按照已有策略識別某些錯誤型別,修改資料的作業就需要人工監督和確認，這時系統會設定例外報警功能,通過用戶自身對錯誤的識別、理解和確認，最終實作資料清洗，
六:資料清洗的常用方法
缺失值，重復值，錯誤值的清洗
轉載請註明出處，本文鏈接：https://www.uj5u.com/qita/299489.html
標籤：其他