資料預處理方法機器學習演算法與Python實戰
為什么資料處理很重要？
熟悉資料挖掘和機器學習的小伙伴們都知道，資料處理相關的作業時間占據了整個專案的70%以上。資料的質量，直接決定了模型的預測和泛化能力的好壞。它涉及很多因素，包括：準確性、完整性、一致性、時效性、可信性和解釋性。而在真實資料中，我們拿到的資料可能包含了大量的缺失值，可能包含大量的噪音，也可能因為人工錄入錯誤導致有例外點存在，非常不利于演算法模型的訓練。資料清洗的結果是對各種臟資料進行對應方式的處理，得到標準的、干凈的、連續的資料，提供給資料統計、資料挖掘等使用。
有哪些資料預處理的方法？
資料預處理的主要步驟分為：資料清理、資料集成、資料規約和資料變換。本文將從這四個方面詳細的介紹具體的方法。如果在一個專案中，你在這幾個方面的資料處理做的都很不錯，對于之后的建模具有極大的幫助，并且能快速達到一個還不錯的結果。
資料清理
資料清理(data cleaning) 的主要思想是通過填補缺失值、光滑噪聲資料，平滑或洗掉離群點，并解決資料的不一致性來“清理“資料。如果用戶認為資料時臟亂的，他們不太會相信基于這些資料的挖掘結果，即輸出的結果是不可靠的。
1、缺失值的處理
由于現實世界中，獲取資訊和資料的程序中，會存在各類的原因導致資料丟失和空缺。針對這些缺失值的處理方法，主要是基于變數的分布特性和變數的重要性（資訊量和預測能力）采用不同的方法。主要分為以下幾種：
* 洗掉變數：若變數的缺失率較高（大于80%），覆寫率較低，且重要性較低，可以直接將變數洗掉。
* 定值填充：工程中常見用-9999進行替代
* 統計量填充：若缺失率較低（小于95%）且重要性較低，則根據資料分布的情況進行填充。對于資料符合均勻分布，用該變數的均值填補缺失，對于資料存在傾斜分布的情況，采用中位數進行填補。
* 插值法填充：包括隨機插值，多重差補法，熱平臺插補，拉格朗日插值，牛頓插值等
* 模型填充：使用回歸、貝葉斯、隨機森林、決策樹等模型對缺失資料進行預測。
* 啞變數填充：若變數是離散型，且不同值較少，可轉換成啞變數，例如性別SEX變數，存在male,fameal,NA三個不同的值，可將該列轉換成 IS_SEX_MALE, IS_SEX_FEMALE, IS_SEX_NA。若某個變數存在十幾個不同的值，可根據每個值的頻數，將頻數較小的值歸為一類'other'，降低維度。此做法可最大化保留變數的資訊。
總結來看，樓主常用的做法是：先用pandas.isnull.sum()檢測出變數的缺失比例，考慮洗掉或者填充，若需要填充的變數是連續型，一般采用均值法和隨機差值進行填充，若變數是離散型，通常采用中位數或啞變數進行填充。
注意：若對變數進行分箱離散化，一般會將缺失值單獨作為一個箱子（離散變數的一個值）
2、離群點處理
例外值是資料分布的常態，處于特定分布區域或范圍之外的資料通常被定義為例外或噪聲。例外分為兩種：“偽例外”，由于特定的業務運營動作產生，是正常反應業務的狀態，而不是資料本身的例外；“真例外”，不是由于特定的業務運營動作產生，而是資料本身分布例外，即離群點。主要有以下檢測離群點的方法：
* 簡單統計分析：根據箱線圖、各分位點判斷是否存在例外，例如pandas的describe函式可以快速發現例外值。
* 3 原則：若資料存在正態分布，偏離均值的3 之外. 通常定義 范圍內的點為離群點。
* 基于絕對離差中位數（MAD）：這是一種穩健對抗離群資料的距離值方法，采用計算各觀測值與平均值的距離總和的方法。放大了離群值的影響。
* 基于距離：通過定義物件之間的臨近性度量，根據距離判斷例外物件是否遠離其他物件，缺點是計算復雜度較高，不適用于大資料集和存在不同密度區域的資料集
* 基于密度：離群點的區域密度顯著低于大部分近鄰點，適用于非均勻的資料集
* 基于聚類：利用聚類演算法，丟棄遠離其他簇的小簇。
總結來看，在資料處理階段將離群點作為影響資料質量的例外點考慮，而不是作為通常所說的例外檢測目標點，因而樓主一般采用較為簡單直觀的方法，結合箱線圖和MAD的統計方法判斷變數的離群點。
具體的處理手段：
* 根據例外點的數量和影響，考慮是否將該條記錄洗掉，資訊損失多
* 若對資料做了log-scale 對數變換后消除了例外值，則此方法生效，且不損失資訊
* 平均值或中位數替代例外點，簡單高效，資訊的損失較少
* 在訓練樹模型時，樹模型對離群點的魯棒性較高，無資訊損失，不影響模型訓練效果
3、噪聲處理
噪聲是變數的隨機誤差和方差，是觀測點和真實點之間的誤差，即 。通常的處理辦法：對資料進行分箱操作，等頻或等寬分箱，然后用每個箱的平均數，中位數或者邊界值（不同資料分布，處理方法不同）代替箱中所有的數，起到平滑資料的作用。另外一種做法是，建立該變數和預測變數的回歸模型，根據回歸系數和預測變數，反解出自變數的近似值。
資料集成
資料分析任務多半涉及資料集成。資料集成將多個資料源中的資料結合成、存放在一個一致的資料存盤，如資料倉庫中。這些源可能包括多個資料庫、資料方或一般檔案。
1. 物體識別問題：例如，資料分析者或計算機如何才能確信一個數 據庫中的 customer_id 和另一個資料庫中的 cust_number 指的是同一物體?通常，資料庫和資料倉庫 有元資料——關于資料的資料。這種元資料可以幫助避免模式集成中的錯誤。
2. 冗余問題。一個屬性是冗余的，如果它能由另一個表“匯出”;如年薪。屬性或 維命名的不一致也可能導致資料集中的冗余。用相關性檢測冗余：數值型變數可計算相關系數矩陣，標稱型變數可計算卡方檢驗。
3. 資料值的沖突和處理：不同資料源，在統一合并時，保持規范化，去重。
資料規約
資料歸約技術可以用來得到資料集的歸約表示，它小得多，但仍接近地保持原資料的完整性。這樣，在歸約后的資料集上挖掘將更有效，并產生相同(或幾乎相同)的分析結果。一般有如下策略：
1、維度規約
用于資料分析的資料可能包含數以百計的屬性，其中大部分屬性與挖掘任務不相關，是冗余的。維度歸約通過洗掉不相關的屬性，來減少資料量，并保證資訊的損失最小。
屬性子集選擇：目標是找出最小屬性集，使得資料類的概率分布盡可能地接近使用所有屬性的原分布。在壓縮 的屬性集上挖掘還有其它的優點。它減少了出現在發現模式上的屬性的數目，使得模式更易于理解。
*
逐步向前選擇：該程序由空屬性集開始，選擇原屬性集中最好的屬性，并將它添加到該集合
中。在其后的每一次迭代，將原屬性集剩下的屬性中的最好的屬性添加到該集合中。
* 逐步向后洗掉：該程序由整個屬性集開始。在每一步，洗掉掉尚在屬性集中的最壞屬性。
* 向前選擇和向后洗掉的結合：向前選擇和向后洗掉方法可以結合在一起，每一步選擇一個最 好的屬性，并在剩余屬性中洗掉一個最壞的屬性。
python scikit-learn 中的遞回特征消除演算法Recursive feature elimination (RFE)，就是利用這樣的思想進行特征子集篩選的，一般考慮建立SVM或回歸模型。
單變數重要性：分析單變數和目標變數的相關性，洗掉預測能力較低的變數。這種方法不同于屬性子集選擇，通常從統計學和資訊的角度去分析。
* pearson相關系數和卡方檢驗，分析目標變數和單變數的相關性。
* 回歸系數：訓練線性回歸或邏輯回歸，提取每個變數的表決系數，進行重要性排序。
* 樹模型的Gini指數：訓練決策樹模型，提取每個變數的重要度，即Gini指數進行排序。
* Lasso正則化：訓練回歸模型時，加入L1正則化引數，將特征向量稀疏化。
* IV指標：風控模型中，通常求解每個變數的IV值，來定義變數的重要度，一般將閥值設定在0.02以上。
以上提到的方法，沒有講解具體的理論知識和實作方法，需要同學們自己去熟悉掌握。樓主通常的做法是根據業務需求來定，如果基于業務的用戶或商品特征，需要較多的解釋性，考慮采用統計上的一些方法，如變數的分布曲線，直方圖等，再計算相關性指標，最后去考慮一些模型方法。如果建模需要，則通常采用模型方法去篩選特征，如果用一些更為復雜的GBDT，DNN等模型，建議不做特征選擇，而做特征交叉。
2、維度變換：
維度變換是將現有資料降低到更小的維度，盡量保證資料資訊的完整性。樓主將介紹常用的幾種有損失的維度變換方法，將大大地提高實踐中建模的效率
* 主成分分析（PCA）和因子分析（FA）：PCA通過空間映射的方式，將當前維度映射到更低的維度，使得每個變數在新空間的方差最大。FA則是找到當前特征向量的公因子（維度更小），用公因子的線性組合來描述當前的特征向量。
* 奇異值分解（SVD）：SVD的降維可解釋性較低，且計算量比PCA大，一般用在稀疏矩陣上降維，例如圖片壓縮，推薦系統。
* 聚類：將某一類具有相似性的特征聚到單個變數，從而大大降低維度。
* 線性組合：將多個變數做線性回歸，根據每個變數的表決系數，賦予變數權重，可將該類變數根據權重組合成一個變數。
* 流行學習：流行學習中一些復雜的非線性方法，可參考skearn：LLE Example
資料變換
資料變換包括對資料進行規范化，離散化，稀疏化處理，達到適用于挖掘的目的。
1. 規范化處理：資料中不同特征的量綱可能不一致，數值間的差別可能很大，不進行處理可能會影響到資料分析的結果，因此，需要對資料按照一定比例進行縮放，使之落在一個特定的區域，便于進行綜合分析。特別是基于距離的挖掘方法，聚類，KNN，SVM一定要做規范化處理。
* 最大 - 最小規范化：將資料映射到[0,1]區間，
* Z-Score標準化：處理后的資料均值為0，方差為1，
* Log變換：在時間序列資料中，對于資料量級相差較大的變數，通常做Log函式的變換， .
2、離散化處理：資料離散化是指將連續的資料進行分段，使其變為一段段離散化的區間。分段的原則有基于等距離、等頻率或優化的方法。資料離散化的原因主要有以下幾點：
* 模型需要：比如決策樹、樸素貝葉斯等演算法，都是基于離散型的資料展開的。如果要使用該類演算法，必須將離散型的資料進行。有效的離散化能減小演算法的時間和空間開銷，提高系統對樣本的分類聚類能力和抗噪聲能力。
* 離散化的特征相對于連續型特征更易理解。
* 可以有效的克服資料中隱藏的缺陷，使模型結果更加穩定。
等頻法：使得每個箱中的樣本數量相等，例如總樣本n=100，分成k=5個箱，則分箱原則是保證落入每個箱的樣本量=20。
等寬法：使得屬性的箱寬度相等，例如年齡變數（0-100之間），可分成 [0,20]，[20,40]，[40,60]，[60,80]，[80,100]五個等寬的箱。
聚類法：根據聚類出來的簇，每個簇中的資料為一個箱，簇的數量模型給定。
3、稀疏化處理：針對離散型且標稱變數，無法進行有序的LabelEncoder時，通常考慮將變數做0，1啞變數的稀疏化處理，例如動物型別變數中含有貓，狗，豬，羊四個不同值，將該變數轉換成is_豬，is_貓，is_狗，is_羊四個啞變數。若是變數的不同值較多，則根據頻數，將出現次數較少的值統一歸為一類'rare'。稀疏化處理既有利于模型快速收斂，又能提升模型的抗噪能力。
總結
以上介紹了資料預處理中會用到的大部分方法和技術，完全適用于初學者學習掌握，并且對于實踐建模會有大幅度提升。以上方法的代碼實作，均可在python的pandas和sklearn中完成。大家可根據需要去查閱學習，網上資料也很多，樓主只提供方法和經驗上的借鑒，希望每個認真學習鞏固的同學都能得到提升。
轉載請註明出處，本文鏈接：https://www.uj5u.com/qita/136178.html