?? 作者：韓信子@ShowMeAI
?? Python3?技能提升系列：https://www.showmeai.tech/tutorials/56
?? 資料分析實戰系列：https://www.showmeai.tech/tutorials/40
?? 本文地址：https://www.showmeai.tech/article-detail/336
?? 宣告：著作權所有，轉載請聯系平臺與作者并注明出處
?? 收藏ShowMeAI查看更多精彩內容
?? 例外值 Q&A
例外值是距離其他資料值太遠的資料點，也被稱為離群點，它可能是自然發生的，也可能是由于測量不準確、拼寫錯誤或系統故障造成的，例外值也可能出現在傾斜資料中，這些型別的例外值被認為是自然例外值，
了解例外值檢測與分析的基礎知識，請查看 ShowMeAI](https://www.showmeai.tech/) 這篇文章：
- 圖解資料分析 | 資料清洗與預處理
?? 例外值對分布有什么影響？
例外值會影響資料的均值、標準差和四分位數值，如果我們在去除例外值之前和之后計算這些統計資料，可能會有比較大的差異，
?? 例外值對機器學習模型有什么影響？
- 如果認為例外值是自然的，不是由于測量錯誤產生的 → 應該將其保留在資料集中，并用『標準化』等資料預處理方式處理，
- 如果有一個包含少量例外值的大型資料集 → 應該將其保留，不會顯著影響結果，
- 如果確定例外值是由測量誤差造成的 → 應該將它們從資料集中洗掉，
去除例外值會帶來資料集規模的減小，而且模型的適用性也會限制在輸入值的度量范圍內，丟棄自然例外值也可能導致模型不準確，
?? 基于可視化的例外值檢測
例外值不容易被『肉眼』檢測到，但我們有一些可視化工具可以幫助完成這項任務，最常見的是箱線圖和直方圖，我們這里用 ??保險資料來做一個講解：
?? 實戰資料集下載（百度網盤）：公?眾?號『ShowMeAI研究中心』回復『實戰』，或者點擊 這里 獲取本文 [29]基于統計方法的例外值檢測代碼實戰 『insurance資料集』
? ShowMeAI官方GitHub：https://github.com/ShowMeAI-Hub
我們首先匯入必要的庫并加載資料集，
import numpy as np
import pandas as pd
import seaborn as sns
import statistics#Load dataset:
df = pd.read_csv('insurance.csv')
df
我們對變數『年齡』、『體重指數』和『費用』進行例外值檢測分析，
第一種方法是使用箱線圖 / Box-Plots 來繪制資料分布：
# age, bmi 和 expenses的箱線圖繪圖
sns.boxplot(y="age", data=https://www.cnblogs.com/showmeai/p/df)
sns.boxplot(y="bmi", data=https://www.cnblogs.com/showmeai/p/df)
sns.boxplot(y="expenses", data=https://www.cnblogs.com/showmeai/p/df)
通過查看箱線圖，我們可以看到變數 age 沒有例外值，變數 bmi 在上限中有一些例外值，而變數 expense 在上限中有一系列例外值（表明存在偏態分布），
為了檢查偏態分布，我們再使用直方圖繪圖：
# age, bmi 和 expenses的直方圖
sns.histplot(df, x="age", kde=True)
sns.histplot(df, x="bmi", kde=True)
sns.histplot(df, x="expenses", kde=True)
通過直方圖，我們可以看到變數『age』是近似均勻分布，『bmi』接近正態分布，而『expense/費用』則呈偏態分布，
對于年齡，我們無需做例外值剔除；對于 bmi，我們將剔除高于 47 的值；對于費用，我們將剔除高于 50000 的值，
#bmi 和 expenses 的例外值處理
df.drop(df[df['bmi'] >= 47].index, inplace = True)
df.drop(df[df['expenses'] >= 50000].index, inplace = True)
現在，如果我們再次檢查箱線圖和直方圖：
?? 基于統計方法的例外值檢測
檢測例外值有兩種主要的統計方法：使用 z 分數和使用四分位距，
?? 使用 z 分數檢測例外值
Z 分數是一種數學變換，它根據每個觀測值與平均值的距離對其進行分類，z-score 的計算公示為：
我們定義例外檢測標準：如果 z-score 小于 -3或 z-score 大于 3，
我們將重新加載資料集，因為我們在前面的示例中對其進行了更改，加載后的資料上我們會把變數轉換為 z 分數：
# 重新加載資料
df = pd.read_csv('insurance.csv')
# 為age計算均值和標準差
mean_age = statistics.mean(df['age'])
stdev_age = statistics.stdev(df['age'])
# 計算z值
age_z_score = (df['age']-mean_age)/stdev_age
# 添加z結果到原dataframe
df['age_z_score'] = age_z_score.tolist()
現在我們將檢查高于 3SD 或低于 -3SD 的值：
# 檢測小于-3SD的值:
df.sort_values(by=['age_z_score'], ascending=True)
我們可以看到 -3SD 以下沒有值，我們現在將檢查 3SD 以上的值：
# 檢測+3SD以上的值:
df.sort_values(by=['age_z_score'], ascending=False)
我們可以看到沒有高于 3SD 的值，變數年齡沒有例外值，
現在我們將對變數 bmi 執行相同的操作：
# 為bmi計算均值和標準差
mean_bmi = statistics.mean(df['bmi'])
stdev_bmi = statistics.stdev(df['bmi'])
# 為bmi計算z-score
bmi_z_score = (df['bmi']-mean_bmi)/stdev_bmi
# 添加到原始dataframe
df['bmi_z_score'] = bmi_z_score.tolist()
# 檢查低于-3SD的值
df.sort_values(by=['bmi_z_score'], ascending=True)
# 檢查大于3SD的值
df.sort_values(by=['bmi_z_score'], ascending=False)
這次我們會發現一些高于 3SD 的值：
我們對它進行剔除：
# 例外值處理
df.drop(df[df[‘bmi_z_score’] >= 3].index, inplace = True)
我們將對『expense/費用』應用相同的技術：
# 為expenses計算均值和標準差
mean_expenses = statistics.mean(df['expenses'])
stdev_expenses = statistics.stdev(df['expenses'])
# 計算z-score
expenses_z_score = (df['expenses']-mean_expenses)/stdev_expenses
# 添加到原始dataframe
df['expenses_z_score'] = expenses_z_score.tolist()
# 檢查低于-3SD的值
df.sort_values(by=['expenses_z_score'], ascending=True)
# 檢查高于3SD的值
df.sort_values(by=['expenses_z_score'], ascending=False)
# 例外值處理
df.drop(df[df[‘expenses_z_score’] >= 3].index, inplace = True)
如果我們再次檢查箱線圖和直方圖，我們將獲得：
?? 使用四分位距檢測例外值
四分位間距將資料分為四個部分，從低到高排序，如下圖所示，每個部分包含相同數量的樣本，第一個四分位數（Q1）是邊界中資料點的值，這同樣適用于 Q2 和 Q3， 四分位距（IQR）是兩個中間部分的資料點（代表 50% 的資料），四分位距包含高于 Q1 和低于 Q3 的所有資料點，如果該點高于 Q3 + (1.5 x IQR)，則存在較高的例外值，如果 Q1 - (1.5 x IQR)，則存在較低的例外值，
代碼實作如下：
# 重新加載資料
df = pd.read_csv('insurance.csv')
# 計算上下四分位數位置
q75_age, q25_age = np.percentile(df['age'], [75 ,25])
iqr_age = q75_age - q25_age
iqr_age
# 計算上下邊界以用于例外檢測
age_h_bound = q75_age+(1.5*iqr_age)
age_l_bound = q25_age-(1.5*iqr_age)
print(age_h_bound)
print(age_l_bound)
我們計算得到上邊界 87 和下邊界 -9：
# 排序
df.sort_values(by=['age'], ascending=True)
# 排序
df.sort_values(by=['age'], ascending=False)
我們看到沒有例外值，
我們對變數 bmi 執行相同的操作：
# 計算上下四分位數位置
q75_bmi, q25_bmi = np.percentile(df['bmi'], [75 ,25])
iqr_bmi = q75_bmi - q25_bmi
iqr_bmi
# 計算上下邊界以用于例外檢測
bmi_h_bound = q75_bmi+(1.5*iqr_bmi)
bmi_l_bound = q25_bmi-(1.5*iqr_bmi)
print(bmi_h_bound)
print(bmi_l_bound)
# 排序
df.sort_values(by=['bmi'], ascending=True)
df.sort_values(by=['bmi'], ascending=False)
# 剔除例外值
df.drop(df[df['bmi'] >= 47.3].index, inplace = True)
df.drop(df[df['bmi'] <= 13.7].index, inplace = True)
我們只需要對可變費用做同樣的事情，我們將獲得以下箱線圖和直方圖：
參考資料
- ?? 圖解資料分析 | 資料清洗與預處理：https://www.showmeai.tech/article-detail/138
轉載請註明出處，本文鏈接：https://www.uj5u.com/qita/538175.html
標籤：其他