sklearn預測pima糖尿病

資料集描述

本資料集內含十個屬性列
Pergnancies: 懷孕次數
Glucose：血糖濃度
BloodPressure：舒張壓(毫米汞柱)
SkinThickness：肱三頭肌皮膚褶皺厚度(毫米)
Insulin：兩個小時血清胰島素(μU/毫升)
BMI：身體質量指數，體重除以身高的平方
Diabets Pedigree Function: 疾病血統指數
是否和遺傳相關，Height：身高(厘米)
Age：年齡
Outcome：0表示不患病，1表示患病，

任務：建立機器學習模型以準確預測資料集中的患者是否患有糖尿病

準備作業

查閱資料得知各屬性的資料值要求，方面后期對于資料的分析與處理程序，
屬性列名稱 資料值要求
Pergnancies(懷孕次數) 符合常理即可（可為0）
Glucose(血糖濃度) 正常值為：80~120
BloodPressure(舒張壓(毫米汞柱)) 正常值為：60~80
SkinThickness(肱三頭肌皮膚褶皺厚度(毫米)) 不為0
Insulin(兩個小時血清胰島素(/毫升)) 正常值為：35~145
BMI(身體質量指數:體重除以身高的平方) 正常值為：18.5~24.9
Diabets Pedigree Function:(疾病血統指數:是否和遺傳相關) 無特殊值要求
Height(身高(厘米)) 不為0 符合常理即可
Age(年齡) 符合常理即可
Outcome(0表示不患病，1表示患病) 標簽值

實驗環境和工具

python3.5.6 + jupyter
資料處理 pandas、numpy
可視化 matplotlib、seaborn
模型構建 sklearn

預測分析

探索性資料分析

資料描述

首先觀察基本的資料型別，以及資料是否存在缺失情況，簡要統計資訊

all_data.shape
all_data.info()

<class 'pandas.core.frame.DataFrame'>
RangeIndex: 768 entries, 0 to 767
Data columns (total 10 columns):
 #   Column                    Non-Null Count  Dtype  
---  ------                    --------------  -----  
 0   Pregnancies               768 non-null    int64  
 1   Glucose                   768 non-null    int64  
 2   BloodPressure             768 non-null    int64  
 3   SkinThickness             768 non-null    int64  
 4   Insulin                   768 non-null    int64  
 5   BMI                       768 non-null    float64
 6   DiabetesPedigreeFunction  768 non-null    float64
 7   Age                       768 non-null    int64  
 8   Height                    766 non-null    object 
 9   Outcome                   768 non-null    int64  
dtypes: float64(2), int64(7), object(1)
memory usage: 60.1+ KB

資料總量時比較少的只有768個例子，可以看到除Height外的屬性都為數值型屬性，在后續資料預處理程序需要對Height屬性進行型別轉換操作，目前沒有缺失值的出現，

# height 數值型別 為object 需要轉化為 數值型
all_data = all_data.astype({'Height':'float64'}) 

all_data.describe()

發現兩個問題：

1. 缺失值
   從其中的min值可以很直觀地觀察到，Glucose, BloodPressure, SkinTinckness, Insulin, BMI等特征存在0值的情況（當然Pregnancies根據常識判斷是可以為0的），而根據常規范圍明顯可以判定這些0值是不合理的，所以也是一種缺失值缺失值，后續資料預處理需要對這些缺失值進行填充處理，
2. 離群值/例外值
   Glucose，BloodPressure，SkinTinckness，Insulin等特征的max值和75%分位點值或者min值和25%分位點值之間的差距比較大，初步判斷可能存在離群值/例外值，尤其是SkinThickness和Insulin特征（具體見圖4紅色框部分），后續可以通過可視化進一步直觀地觀察判斷，
   為了方便后序對缺失值的統一處理，將例外值統一替換為np.nan，

import numpy as np
#缺失值替換 經分析，除懷孕次數，其他特征的0值表示缺失值 替換為np.nan
replace_list = ['Glucose', 'BloodPressure', 'SkinThickness', 'Insulin', 'BMI', 'Height']
all_data.loc[:,replace_list] = all_data.loc[:,replace_list].replace({0:np.nan})

#各特征缺失數量統計
null_count = all_data.isnull().sum().values
# 缺失值情況
plt.figure()
sns.barplot(x = null_count, y = all_data.columns)
for x, y in enumerate(null_count):
    plt.text(y, x, "%s" %y, horizontalalignment='center', verticalalignment='center')
plt.show()

可以觀察到Glucose，Insulin，SkinThickness，BMI，Height等特征都存在缺失值，并且 Insulin，SkinThickness缺失值比較多，分別占到了48%，30%的比例，所以后期資料預處理也是很關鍵的，

可視化分析

接下來通過更多針對性的可視化，來進一步探索特征值的分布以及特征和預測變數之間的關系

# 患病和不患病情況下 箱線圖查看資料分散情況
for col in all_data.columns:
    plt.figure(figsize = (10,6))
    if all_data[col].unique().shape[0] > 2:
        sns.boxplot(x="Outcome", y=col, data=all_data.dropna())
    else:
        sns.countplot(col,hue = 'Outcome',data = all_data.dropna())
    plt.title(col)
    plt.show()

部分輸出：

觀察患病和不患病情況下 各特征值或者人數分布
label接近2:1 存在一定的分布不平衡 
像insulin之類的特征離群值是比較多的，由于離群值會對模型評估產生影響，所以后續可能要做處理，剔除偏離較大的離群值

# 患病和不患病情況下 各特征的分布情況
for col in all_data.drop('Outcome',1).columns:
    plt.figure()
    sns.displot(data = all_data, x = col,hue = 'Outcome',kind='kde')
    plt.show()

部分輸出：

1. 從資料樣本本身出發研究資料分布特征，可以發現在患病和不患病兩種情況下，部分特征的密度分布比較相近，特別是height的分布圖，發現兩曲線基本相近，感覺和label之間的相關性都不是很強，
2. 同時，可以發現部分特征存在右偏的現象（skewness (偏度) 描述資料分布形態的統計量，其描述的是某總體取值分布的對稱性），考慮到需要資料盡量服從正態分布，所以后續資料預處理需要對存在一定偏度的特征進行相關處理，

# 觀察各特征分布和患病的關系
corr = all_data.corr()
plt.figure(figsize = (8,6))
sns.heatmap(corr,annot = True,cmap = 'Blues')
plt.show()

heatmap()函式可以直觀地將資料值的大小以定義的顏色深淺表示出來，

1. 可以發現顏色相對來說都比較淺，也就是說無論是特征和特征之間還是特征和outcome標簽之間的相關性都沒有很高，
2. 發現其余各特征變數中與outcome的相關度中最高的是Glucose 屬性值為0.49，最低的是Height屬性值為0.059，
3. 同時觀察特征與特征之間的關系，發現Insulin與Glucose，BMI和SkinThickness之間的相關度分別為0.58，0.65屬于比較高的相關性，由于Insulin是一個確實比較嚴重的特征，而相關性可以是一種協助填充缺失值的方法，

plt.figure()
sns.scatterplot(x = 'Insulin', y = 'Glucose', data = all_data)
plt.show()
sns.scatterplot(x = 'Insulin', y = 'BMI', data = all_data)
plt.show()
sns.scatterplot(x = 'Insulin', y = 'Age', data = all_data)
plt.show()

plt.figure()
sns.scatterplot(x = 'SkinThickness', y = 'BMI', data = all_data)
plt.show()
sns.scatterplot(x = 'SkinThickness', y = 'Glucose', data = all_data)
plt.show()
sns.scatterplot(x = 'SkinThickness', y = 'BloodPressure', data = all_data)
plt.show()

部分輸出：

構建baseline

因為決策樹幾乎不需要資料預處理，其他方法經常需要資料標準化，創建虛擬變數和洗掉缺失值，

# 讀取資料
all_data = pd.read_csv('data.csv')

# height 數值型別 為object 需要轉化為 數值型
all_data = all_data.astype({'Height':'float64'})
# 
all_data.dropna(inplace = True)
# 特征
feature_data = all_data.drop('Outcome',1)
# 標簽
label = all_data['Outcome']

base_model = DecisionTreeClassifier()
base_scores = cross_validate(base_model, feature_data, label,cv=5,return_train_score=True)
print(base_scores['test_score'].mean())

0.6954248366013072

資料預處理

綜合前面分析，先做了以下處理

# 讀取資料
all_data = pd.read_csv('data.csv')

# height 數值型別 為object 需要轉化為 數值型
all_data = all_data.astype({'Height':'float64'})

# 理論缺失值0替換為np.nan
replace_list = ['Glucose', 'BloodPressure', 'SkinThickness', 'Insulin', 'BMI', 'Height']
all_data.loc[:,replace_list] = all_data.loc[:,replace_list].replace({0:np.nan})

# 洗掉相關性低的Height
all_data.drop('Height',1,inplace = True)

離群值處理

1. 經過前面的分析發現資料是存在部分離群值的，雖然實驗本身就是關于疾病預測，例外值的存在屬于正常現象，但是對于一些可能超出人體接受范圍的值，衡量對預測的影響之后，由于資料量比較小，這里選擇洗掉極端例外點，
2. 極端例外點 ：上限的計算公式為Q3+3(Q3-Q1) 下界的計算公式為Q1-3(Q3-Q1)），

# remove the outliers
# 例外點 上須的計算公式為Q3+1.5(Q3-Q1)；下須的計算公式為Q1-1.5(Q3-Q1)
# 極端例外點 ：上限的計算公式為Q3+3(Q3-Q1) 下界的計算公式為Q1-3(Q3-Q1)
# 由于資料量比較少 所以選擇洗掉極端例外值
def remove_outliers(feature,all_data):
    first_quartile = all_data[feature].describe()['25%']
    third_quartile = all_data[feature].describe()['75%']
    iqr = third_quartile - first_quartile
    # 例外值下標
    index = all_data[(all_data[feature] < (first_quartile - 3*iqr)) | (all_data[feature] > (first_quartile + 3*iqr))].index
    all_data = all_data.drop(index)
    return all_data
outlier_features = ['Insulin', 'Glucose', 'BloodPressure', 'SkinThickness', 'BMI', 'DiabetesPedigreeFunction']
for feat in outlier_features:
    all_data = remove_outliers(feat,all_data)

處理之后的資料基本的統計資訊

缺失值處理

缺失值處理這里考慮

1. 直接洗掉處理

def drop_method(all_data):
    median_fill = ['Glucose', 'BloodPressure','SkinThickness', 'BMI','Height']
    for column in median_fill:
        median_val = all_data[column].median()
        all_data[column].fillna(median_val, inplace=True)
    all_data.dropna(inplace = True)
    return all_data

2. 中值填充

def median_method():
    for column in list(all_data.columns[all_data.isnull().sum() > 0]):
        median = all_data[column].median()
        all_data[column].fillna(median, inplace=True)

3. KNNImputer填充

def knn_method():
    # 先將缺失值比較少的特征用中值填充
    values = {'Glucose': all_data['Glucose'].median(),'BloodPressure':all_data['BloodPressure'].median(),'BMI':all_data['BMI'].median()}
    all_data.fillna(value=values,inplace=True)

    # 用KNNImputer 填充 Insulin SkinThickness
    corr_SkinThickness = ['BMI', 'Glucose','BloodPressure', 'SkinThickness']
    # 權重按距離的倒數表示，在這種情況下，查詢點的近鄰比遠處的近鄰具有更大的影響力
    SkinThickness_imputer = KNNImputer(n_neighbors = 16,weights = 'distance')
    all_data[corr_SkinThickness] = SkinThickness_imputer.fit_transform(all_data[corr_SkinThickness])

    corr_Insulin = ['Glucose', 'BMI','BloodPressure', 'Insulin']
    Insulin_imputer = KNNImputer(n_neighbors = 16,weights = 'distance')
    all_data[corr_Insulin] = Insulin_imputer.fit_transform(all_data[corr_Insulin])

5. 隨機森林填充

from sklearn.ensemble import RandomForestRegressor
from sklearn.impute import SimpleImputer  # 用來填補缺失值
def predict_method(feature):
    # 復制一份資料 避免對原資料做出不必要的修改
    copy_data = all_data.copy()
    # 缺失了的下標
    predict_index = copy_data[copy_data[feature].isnull()].index
    # 沒缺失的下標
    train_index = copy_data[feature].dropna().index
    # 用作預測 的訓練集標簽
    train_label = copy_data.loc[train_index,feature]
    copy_data = copy_data.drop(feature,axis=1)
    # 對特征先用中值填充
    imp_median = SimpleImputer(strategy='median')
    # 用作預測的訓練集特征
    train_feature = copy_data.loc[train_index]
    train_feature = imp_median.fit_transform(train_feature)
    # 需要進行預測填充處理的缺失值
    pre_feature = copy_data.loc[predict_index]
    pre_feature = imp_median.fit_transform(pre_feature)
    # 選取隨機森林模型
    fill_model = RandomForestRegressor()
    fill_model = fill_model.fit(train_feature,train_label)
    # 預測 填充
    pre_value = fill_model.predict(pre_feature)
    all_data.loc[predict_index,feature] = pre_value

#用隨機森林的方法填充缺失值較多的 SkinThickness 和 Insulin 缺失值
predict_method("Insulin")
predict_method("SkinThickness")
# 其余值中值填充
for column in list(all_data.columns[all_data.isnull().sum() > 0]):
    median = all_data[column].median()
    all_data[column].fillna(median, inplace=True)

特征工程

# 特征
feture_data = all_data.drop('Outcome',1)
# 標簽
label = all_data['Outcome']

# 利用BMI和身高構造weight特征
# BMI = weight(kg) / height(m)**2
feture_data['weight'] = (0.01*feture_data['Height'])**2 * feture_data['BMI']

資料標準化

# 標準化
Std = StandardScaler()
feture_data = Std.fit_transform(feture_data)

模型構建與調參優化

用到的模型

from sklearn.svm import SVC,SVR
from sklearn.tree import DecisionTreeClassifier
from sklearn.linear_model import LogisticRegression
from sklearn.ensemble import RandomForestClassifier,StackingClassifier

調參方法

from sklearn.model_selection import GridSearchCV

def train(model, params):
    grid_search = GridSearchCV(estimator = model, param_grid = params, cv = kfold)
    grid_search.fit(feture_data,label)
    print(grid_search.best_params_)
    model_score = cross_validate(grid_search.best_estimator_,feture_data, label, cv=5)
    print(model_score['test_score'])
    print("mean test score :{}".format(model_score['test_score'].mean()))
    return grid_search

SVC

#調參時先嘗試一個大范圍，確定比較小的范圍，然后在小范圍里搜索
model = SVC()
params  =  {'C':np.linspace(0.1, 2, 100)}
SVC_grid_search = train(model,params)
plt.figure()
sns.lineplot(x=[x for x in range(100)],y=SVC_grid_search.cv_results_['mean_test_score'])
plt.show()

LogisticRegression

params = {"C":np.linspace(0.1,2,100)}
model = LogisticRegression()
LR_grid_search= train(model,params)
plt.figure()
sns.lineplot(x=[x for x in range(100)],y=LR_grid_search.cv_results_['mean_test_score'])
plt.show()

RandomForestClassifier

params = {"n_estimators":[x for x in range(30,50,4)],'min_samples_split':[x for x in range(2,12)]}
model = RandomForestClassifier()
RFC_grid_search = train(model,params)
plt.figure()
sns.lineplot(x=[x for x in range(len(grid_search.cv_results_['mean_test_score']))],
             y=RFC_grid_search.cv_results_['mean_test_score'])
plt.show()

StackingClassifier

estimators = [
    ('SVC',SVC_grid_search.best_estimator_),
    ('NB', LR_grid_search.best_estimator_),
    ('RFC', RFC_grid_search.best_estimator_)
]
model = StackingClassifier(estimators=estimators, final_estimator=SVC())
model_score = cross_validate(model,feture_data, label, cv=5)
print(model_score['test_score'])
print("mean test score :{}".format(model_score['test_score'].mean()))

缺失值直接洗掉預測結果：
{‘C’: 1.405050505050505}
[0.83333333 0.71830986 0.83098592 0.83098592 0.84507042]
mean test score :0.811737089201878

{‘C’: 0.17676767676767677}
[0.86111111 0.73239437 0.77464789 0.83098592 0.84507042]
mean test score :0.8088419405320814

{‘min_samples_split’: 7, ‘n_estimators’: 30}
[0.77777778 0.69014085 0.74647887 0.83098592 0.85915493]
mean test score :0.780907668231612

[0.84722222 0.73239437 0.81690141 0.84507042 0.85915493]
mean test score :0.8201486697965571
缺失值中值填充預測效果
{‘C’: 1.7888888888888888}
[0.79452055 0.75342466 0.78082192 0.82191781 0.79310345]
mean test score :0.7887576759565423

{‘C’: 0.1575757575757576}
[0.78082192 0.76712329 0.7739726 0.80821918 0.77931034]
mean test score :0.7818894662257911

{‘min_samples_split’: 4, ‘n_estimators’: 44}
[0.80136986 0.71232877 0.74657534 0.81506849 0.79310345]
mean test score :0.7736891828058574
其余略 可以看出由于缺失值比較多，所以填充比直接洗掉的效果是要更差的

完整代碼

https://github.com/wang-hui-shan/Pima_Diabetes_Predict