資料預處理之資料清理，資料集成，資料規約，資料變化和離散化

目錄

資料清理

資料集成

資料規約

資料的變換

1、Min-Max 規范化 [0,1]規劃

2、Z-Score 規范化

兩種歸一化方法的使用場景：

正則化

每文一語

本來這些儲備知識，我想在后續的實際演算法案例中進行解釋，但是考慮到很多的小伙伴在學習的程序中都是逐步推進的，需要一定的時間去理解和應用，所以前期我們需要把所有的東西都準備好，這樣就可以保證后續的演算法實踐游刃有余，

資料清理

我們一般看到的資料都是較為干凈的資料，也就是結構化的資料，但是有時候在日志資訊中，需要我們去提取出結構化的資料進行處理，這個時候就需要用到資料清理了，

資料清理用到的工具

1、Python

Python作為目前火熱的編程語言，它的優勢在于不需要撰寫大量的程式代碼就可以實作我們所需的功能，而且在資料處理方面，Python的第三方庫Pandas和Numpy有著不可描述的便捷性，

這也是我在概述篇里面介紹的需要準備的知識，同時在博主的文章里面也有比較詳細的資料處理的文章，點擊即可查看和學習，

2、Kettle

kettle作為ETL工具，可能很多人比較的陌生，這個工具在資料預處理方面有著比較好的優勢，具有可重復性和簡單性，由于它是一個圖形界面的開發工具，不需要編程知識就可以完成，只需要明白每一步的程序和相應的按鈕含義，

資料清理主要包括缺失值與例外值的清理

針對缺失值，可以采用簡單的洗掉，但如果缺失值的比例達到一定閾值，就需要讀者去判斷是否在采集程序中出現了問題，不可以進行簡單的洗掉操作了，因為一旦洗掉了資料，資料所代表的資訊就無法找回了，

也可以將缺失值添加成默認值，或是采用拉格朗日插值法對缺失值進行填充等方式，

在Pandas里面有很多種對缺失值的處理辦法，還可以使用左右填充的方法以及上下填充，也可以按照某一列的統計量進行填充，還可以填充特定規則的資料，下面給出具體的代碼實作

檢測出空值

# 檢測出有空值的行資料
df[df.isnull().T.any()]

直接洗掉

df.dropna()
# 洗掉包含空值的所有行

df.dropna(axis=1)
# 洗掉包含空值的所有列

# 洗掉一行全部是空值的資料行
df.dropna(how="all")

df.dropna(how="all",axis=1)
# 洗掉列資料里面全部是空值的列

填充處理

# 通過給定的資料填充，一般是0
df.fillna(0)

指定我們的資料列，進行填充
df[["成績"]].fillna(100)

# 指定資料列按照平均值進行填充
df[["成績"]].fillna(round(df["成績"].mean(),2))
# 這里的平均值可以替換成最大值max，最小值min，以及各種的統計函式

前后左右值填充

# 使用前后左右的值來填充
# 上面的值 forwardfill 列上前一個值
df[['成績']].fillna(method="ffill")

# 下面的值 backfill 列上后一個值
df.fillna(method="bfill")

# 左邊的值 forwardfill 行上前一個值
df.fillna(method="ffill", axis=1)

# 右邊的值 backfill 行上后一個值 
df.fillna(method="bfill", axis=1)
# 如果超過邊界無法取值

這里需要注意一下，有些時候由于邊界的原因，無法填充，那么可以先使用某一個填充然后再去使用另外一個填充模式，這樣全方位的填充，效果比較的好！

資料集成

主要是指將多種資料源匯集到一起，放入一個資料倉庫的程序，在資料集成的程序中會出現物體識別(Entity Resolution)，冗余屬性識別，資料值沖突等問題，

在將多種資料源集成時，物體識別是很常見的事情，物體識別可描述成：在一個或多個資料源中的不同記錄是否描述為同一個物體， 同一物體在資料集成程序中可被用于資料去重和連接鍵等集成操作中，

用一個資料庫中的實體就是，如果 A 表中有一個欄位為 stu_id， B 表中有一個欄位為 stu_num，那么這兩個欄位是否都為同一個物體的屬性呢？

如果是同一個屬性，那么在集成時，這個這段可以作為多表關聯的條件，生成新表時保留兩者中的一個值就可以，

冗余屬性識別是指是否某些屬性之間存在相關性，或者一個屬性可以由其它的屬性推導得出，資料值沖突指的是不同資料源中針對同一個物體的屬性值不同，這可能是單位不一致導致的，

資料集成就是在多種資料源的集成程序中，解決掉上述的幾個問題，形成一個大的不冗余的數值清楚的資料表，
說到資料集成，一般用于大量的資料維度的例子，比如某電商的售賣系統所產生的資料，這里就需要考慮到資料里面的范式了，在我的《資料庫技術原理應用-計算機三級》可以看到具體的解釋，點擊藍色字體即可跳轉，

資料規約

是指在保證原始資料資訊不丟失的前提下，減少分析使用的資料量，資料規約中最常使用的方式是維規約，

維規約的含義是從將原先高維的資料合理的壓縮成低維資料，從而減少資料量，常用的方法為特征的提取， LDA 和 PCA 降維，特征的提取為從海量資料中選擇與挖掘目標相關的屬性成一個子表，不包含無關的屬性，比如關于泰坦尼克號生產資料的資料挖掘中，船客 Name 與幸存率是無關的，就可以不放入子表中，

PCA 是基于方差的聚類降維， LDA 是基于有監督的降維，都可以對高維資料進行降維，假定某公司進行一次知識發現的任務，選取的資料集為資料倉庫中的全部資料（資料量基本在數 T 以上），固然這樣可以獲得的資料是最完整的，但由于資料倉庫中的資料是非常大的，在如此大的資料集上進行復雜且存在迭代計算的資料分析，所要花費的時間是很長的，分析一個結果可能需要一個月的時間，時間不滿足用戶的需求，使得這種全量資料的分析是不可行，

資料歸約技術采用維規約和資料量規約等方式，可以對資料倉庫中的海量資料進行提取，獲得較小資料集，仍可大致保留原資料的完整性，這樣，完成一個效率和效果的兼顧，在允許的時間內完成資料挖掘任務，

資料的變換

是將原始的特征資料進行歸一化和標準化的操作，

歸一化是將原始數值變為（0，1）之間的小數，變換函式可采用最小最大規范化等方法，

標準化是將資料按比例縮放，使之落入一個小的特定區間，常用的函式為是 z-score 標準化，處理后的均值為 0，標準差為 1，一般標準化要求原始資料近似符合高斯分布，

歸一化的原因在于不同變數往往量綱不同，歸一化可以消除量綱對最終結果的影響，使不同變數具有可比性，資料挖掘程序中，數值較大的特征，會被演算法當成權重較大，但實際情況是數值較大，并不一定代表該特征更重要，歸一化和標準化后的資料可以避免這個問題的出現，

資料離散化可通過聚類，直方圖，分箱等方式完成資料的離散化，

下面介紹一下具體的實作方法以及原理

1、Min-Max 規范化 [0,1]規劃

Min-max 規范化方法：將原始資料變換到[0,1]的空間中，讓原始資料投射到指定的空間

[min, max]，用公式表示就是：新數值 =（原數值 - 極小值）/（極大值 - 極小值），

• 定義：也稱為離差標準化，是對原始資料的線性變換，使得結果映射到0-1之間，
• 本質：把數變為【0,1】之間的小數，
• 轉換函式：（X-Min）/(Max-Min)
• 如果想要將資料映射到-1,1，則將公式換成：（X-Mean）/(Max-Min)

from sklearn import preprocessing
import numpy as np
 
# 初始化資料，每一行表示一個樣本，每一串列示一個特征
x = np.array([
    [0.,-3.,1.],
     [3.,1.,2.],
     [0.,1.,-1.]
     ])
# 將資料進行 [0, 1] 規范化
min_max_scaler = preprocessing.MinMaxScaler()
min_max_x = min_max_scaler.fit_transform(x)
 
print(min_max_x)

2、Z-Score 規范化

Z-Score 的方法：新數值 = （原數值 - 均值）/ 標準差，

• 定義：這種方法給與原始資料的均值（mean）和標準差（standard deviation）進行資料的標準化，經過處理的資料符合標準正態分布，即均值為0，標準差為1.
• 本質：把有量綱運算式變成無量綱運算式，
• 轉換函式：（X-Mean）/(Standard deviation)

假設 小明 所在的班級平均分為 80，標準差為 10，小華 所在的班級平均分為 120，標準差為 100，那么 小明 的新數值 =(80-80)/10=0，小華 的新數值 =(80-120)/100=-0.4，那么在 Z-Score 標準下，如果小明和小華的成績都是80，小明 的成績會比 小華 的成績好，

因此，我們能看到 Z-Score 的優點是演算法簡單，不受資料量級影響，結果易于比較，不足在于，它需要資料整體的平均值和方差，而且結果沒有實際意義，僅是用于比較！！！

注意是每一個演算法都需要使用歸一化，標準化嗎？

答案不是的，如果考慮的是距離還不是相似度函式那么就需要，反之則需要；例如：隨機森林，它從不比較一個特征與另一個特征，不許要規范化，

歸一化后加快了梯度下降求最優解的速度，

歸一化有可能提高精度（歸一化是讓不同維度之間的特征在數值上有一定的比較性），

兩種歸一化方法的使用場景：

（1）在分類、聚類演算法中，需要使用距離來度量相似性的時候、或者使用PCA技術進行降維的時候，第二種方法(Z-score standardization)表現更好，

第一種方法(線性變換后)，其協方差產生了倍數值的縮放，因此這種方式無法消除量綱對方差、協方差的影響，對PCA分析影響巨大；同時，由于量綱的存在，使用不同的量綱、距離的計算結果會不同，

（2）在不涉及距離度量、協方差計算、資料不符合正太分布的時候，可以使用第一種方法或其他歸一化方法，比如影像處理中，將RGB影像轉換為灰度影像后將其值限定在（0 ，255）的范圍，

第二種歸一化方式中，新的資料由于對方差進行了歸一化，這時候每個維度的量綱其實已經等價了，每個維度都服從均值為0、方差1的正態分布，在計算距離的時候，每個維度都是去量綱化的，避免了不同量綱的選取對距離計算產生的巨大影響，

通常情況下，如果使用下面的庫

from sklearn.preprocessing import MinMaxScaler,MaxAbsScaler,StandardScaler
#最大最小[0,1]
#[-1,1]
#去均值化

注意：歸一化適用于相似函式，標準化適用于距離度量情況

正則化

正則化主要用于避免過擬合的產生和減少網路誤差，

常見的有正則項有 L1 正則 和 L2 正則 以及 Dropout ，其中 L2 正則 的控制過擬合的效果比 L1 正則 的好，

• L1正則化可以產生稀疏解，即會使得很多引數的最優值變為0，以此得到的引數就是一個稀疏矩陣或者向量了，可以用于特征選擇，
• L2正則化可以產生值很小的引數，即會使得很多引數的最優值很小，可以防止模型過擬合，

簡單來說L1適合用于特征選取，降低模型的復雜度；L2可以解決模型的過擬合，那么也就是說你可以這樣去理解，L1適用于特征較多的情況下

特征選擇： 它會讓模型引數向量里的元素為0的點盡量多， 因此可以排除掉那些對預測值沒有什么影響的特征，從而簡化問題，所以 L1 范數解決過擬合措施實際上是減少特征數量，
可解釋性： 模型引數向量稀疏化后，只會留下那些對預測值有重要影響的特征， 這樣我們就容易解釋模型的因果關系， 比如針對某個癌癥的篩查，如果有100個特征，那么我們無從解釋到底哪些特征對陽性成關鍵作用， 稀疏化后，只留下幾個關鍵特征，就更容易看到因果關系

最后給大家分享一張，機器學習必看到的一張圖

每文一語

每個人都有選擇自己生活的權利