目錄
機器學習的步驟
train_test_split函式的詳解
機器學習評估指標
分類模型評估指標
混淆矩陣
ROC曲線
利用ROC的其他評估標準
Python 繪制ROC曲線求解AUC模板代碼
錯誤率
精度
查準率、查全率
P-R曲線
Python繪制P-R曲線模板代碼
平衡點(BEP)
F1度量
Python求解F1_score代碼
回歸模型評估指標
均方誤差
MAE（平均絕對誤差）
MAPE（平均絕對百分比誤差）
RMSE（均方根誤差）
R Square（R方）
交叉驗證
保存模型
機器學習中的擬合問題
L1正則化
序列特征選擇演算法（SBS）
通過隨機森林判斷特征的重要性
實作代碼
每文一語
機器學習在生活中無處不在，你是否會疑問為什么你的某寶界面總是給你推薦一些商品，而這些商品還是你自己想要的東西，這就是電商平臺利用大資料推薦演算法，結合你的歷史搜索記錄和瀏覽記錄，以及你的購買記錄作為資料支撐，最終推薦給你心儀的商品，
某音視頻也是如此，為什么每個人的視頻刷的都不一樣，小朋友的界面；年級人的界面；老年人的界面大不相同，那是因為會根據你的歷史觀看記錄和關注人群做層次篩選，這樣結合你的視頻停留時間和用戶發生的動作行為作為資料支撐，最終演化為一個符合人性化的推薦演算法！
每一次當你使用微信朋友圈，微博的相片分類功能，它能識別出哪些是你好友的照片，這也是機器學習演算法，
每次當你使用百度搜索引擎時，它能給出如此滿意的結果，原因之一就是使用了機器學習演算法，
機器學習還可以實作影像的像素增強以及影像補全，同時還可以在影像識別方面具有較好的可塑性和重用性，
簡單來說，機器學習就是讓計算機從大量的資料中學習到相關的規律和邏輯，然后利用學習來的規律來預測以后的未知事物
如果要說到機器學習，不得不推薦一個Python的庫：sklearn，它具有大量的模型演算法，而且都已經封裝好了，只需要我們自己去呼叫即可，就像科研神器R語言一樣，擁有大量的宏包，Python也是如此，
官方指導手冊網址
scikit-learn: machine learning in Python — scikit-learn 1.0.2 documentation
train_x, train_y, test_x, test_y = getData()
model1 = somemodel()
model.fit(train_x,train_y)
predictions = model.predict(test_x)
score =score_function(test_y, predictions)
joblib.dump(knn, 'filename.pkl') 機器學習的步驟
機器學習初步可以分為：
資料匯入，特征選取，資料分割，模型選擇，模型訓練，模型評分，模型調優
什么是特征選取呢？
什么又是特征工程？
這里只是簡單的提一下，后續將會詳細的介紹，特征工程就是將機器無法識別，無法運算的資料轉換為數值型別的資料，用于模型的訓練和測驗，
利用sklearn中分割函式train_test_split（）函式去將資料分割為測驗集和訓練集
train_test_split函式的詳解
在機器學習中，我們通常將原始資料按照比例分割為“測驗集”和“訓練集”
從 sklearn.model_selection 中呼叫train_test_split 函式
簡單用法如下：
X_train,X_test, y_train, y_test =sklearn.model_selection.train_test_split
(train_data,train_target,test_size=0.4, random_state=0,stratify=y_train)train_data：所要劃分的樣本特征集
train_target：所要劃分的樣本結果
test_size：樣本占比，如果是整數的話就是樣本的數量
random_state：是亂數的種子
亂數種子：其實就是該組亂數的編號，在需要重復試驗的時候，保證得到一組一樣的亂數，比如你每次都填1，其他引數一樣的情況下你得到的隨機陣列是一樣的，但填0或不填，每次都會不一樣，
stratify：是為了保持split前類的分布，比如有100個資料，80個屬于A類，20個屬于B類，
如果train_test_split(... test_size=0.25, stratify = y_all), 那么split之后資料如下：
training: 75個資料，其中60個屬于A類，15個屬于B類
testing: 25個資料，其中20個屬于A類，5個屬于B類，
用了stratify引數，training集和testing集的類的比例是 A：B= 4：1
等同于split前的比例（80：20），通常在這種類分布不平衡的情況下會用到stratify，
將stratify=X就是按照X中的比例分配
將stratify=y就是按照y中的比例分配
整體總結起來各個引數的設定及其型別如下：
主要引數說明：
*arrays 可以是串列、numpy陣列、scipy稀疏矩陣或pandas的資料框
test_size：可以為浮點、整數或None，默認為None
①若為浮點時，表示測驗集占總樣本的百分比
②若為整數時，表示測驗樣本樣本數
③若為None時，test size自動設定成0.25
train_size：可以為浮點、整數或None，默認為None
①若為浮點時，表示訓練集占總樣本的百分比
②若為整數時，表示訓練樣本的樣本數
③若為None時，train_size自動被設定成0.75
random_state：可以為整數、RandomState實體或None，默認為None
①若為None時，每次生成的資料都是隨機，可能不一樣
②若為整數時，每次生成的資料都相同
stratify：可以為類似陣列或None
①若為None時，劃分出來的測驗集或訓練集中，其類標簽的比例也是隨機的
②若不為None時，劃分出來的測驗集或訓練集中，其類標簽的比例同輸入的陣列中類標簽的比例相同，可以用于處理不均衡的資料集
總之在遇到資料集不平衡的情況下可以使用該引數，來調節資料標簽的不平衡的情況，我們可以該引數調節
機器學習評估指標
分類模型評估指標
分類常用指標：
準確率( accuracy):對于給定的測驗資料集，分類器正確分類的樣本數與總樣本數之比
混淆矩陣
針對預測值和真實值之間的關系，我們可以將樣本分為四個部分：
真正例（True Positive，TP）：預測值和真實值都為1
假正例（False Positive，FP）：預測值為1，真實值為0
真負例（True Negative，TN）:預測值與真實值都為0
假負例（False Negative，FN）：預測值為0，真實值為1
很明顯的得知，真正例和真負例越多，說明模型的效果就越好
ROC曲線
那么有了混淆矩陣，這樣一個規則之后，我們需要一個評估指標可以直接的反映該情況的好壞，此時就引入了：
真正例率
上述公式，如果值越大那么說明真正例越多
假正例率
TPR也就是我們所說的召回率，通過TPR和FPR的相關性圖，可以得到ROC曲線，如下圖所示：
圖中的紅色曲線和藍色曲線分別表示了兩個不同的分類器的TPR-FPR曲線，曲線上的任意一點都對應了一個特定的數值，也就是說如何看ROC曲線，從它的構造本質來看，真正例越大，假正例就越少，也就是說我們畫出該曲線的時候，應該如何去看，怎樣的曲線效果才是最好的，請看下面的解說：
-
曲線越是“凸”向左上角，說明分類器效果越好
-
最完美的分類器（完全區分正負樣例）：（0,1）點，即沒有FP，全是TP ，根本不存在，如果存在應該思考是否出現錯誤？
-
隨機預測會得到（0,0）和（1,1）的直線上的一個點
-
曲線上離（0,1）越近的點分類效果越好，對應著越合理的
如此來看，上面的ROC曲線，紅色的較好與藍色的
利用ROC的其他評估標準
AUC：是一個概率值，當你隨機挑選一個正樣本以及一個負樣本，當前的分類演算法根據計算得到的Score值將這個正樣本排在負樣本前面的概率就是AUC值，而作為一個數值，對應AUC更大的分類器效果更好；
這里需要注意的是，ROC曲線和AUC面積一般用于分類中的二分類情況，ROC曲線用在多分類中是沒有意義的，只有在二分類中Positive和Negative同等重要時候，適合用ROC曲線評價，如果確實需要在多分類問題中用ROC曲線的話，可以轉化為多個“一對多”的問題，即把其中一個當作正例，其余當作負例來看待，畫出多個ROC曲線，
EER：也就是FPR=FNR的值，由于FPR=1-TPR，可以畫一條從（0,1）到（1,0）的直線，找到交點，圖中的A、B兩點，
如果roc曲線繪制出來是一個對角線，那么就屬于隨機猜測模型，意義不大
ROC曲線的意義及解釋
-
ROC曲線能很容易的查出任意閾值對學習器的泛化性能影響，
-
有助于選擇最佳的閾值，ROC曲線越靠近左上角，模型的查全率就越高，最靠近左上角的ROC曲線上的點是分類錯誤最少的最好閾值，其假正例和假反例總數最少，
-
可以對不同的學習器比較性能，將各個學習器的ROC曲線繪制到同一坐標中，直觀地鑒別優劣，靠近左上角的ROC曲所代表的學習器準確性最高，
該方法簡單、直觀、通過圖示可觀察分析方法的準確性，并可用肉眼作出判斷，ROC曲線將真正例率和假正例率以圖示方法結合在一起，可準確反映某種學習器真正例率和假正例率的關系，是檢測準確性的綜合代表，
此外，可以把多個模型（二分類）的ROC曲線繪制在一個平面圖中，至于如何比較這個時候，就需要用到AUC面積了，面積越大說明該模型或者該演算法下的分類效果較好
Python 繪制ROC曲線求解AUC模板代碼
# 預測正例的概率
y_pred_prob=model.predict_proba(X_test)[:,1]
# y_pred_prob ,回傳兩列，第一列代表類別0,第二列代表類別1的概率
#https://blog.csdn.net/dream6104/article/details/89218239
fpr, tpr, thresholds = metrics.roc_curve(y_test,y_pred_prob, pos_label=2)
#pos_label，代表真陽性標簽，就是說是分類里面的好的標簽，這個要看你的特征目標標簽是0,1，還是1,2
?
roc_auc = metrics.auc(fpr, tpr) #auc為Roc曲線下的面積
# print(roc_auc)
plt.figure(figsize=(8,6))
plt.plot([0, 1], [0, 1], color='navy', lw=2, linestyle='--')
plt.plot(fpr, tpr, 'r',label='AUC = %0.2f'% roc_auc)
plt.legend(loc='lower right')
# plt.plot([0, 1], [0, 1], 'r--')
plt.xlim([0, 1.1])
plt.ylim([0, 1.1])
plt.xlabel('False Positive Rate') #橫坐標是fpr
plt.ylabel('True Positive Rate') #縱坐標是tpr
plt.title('Receiver operating characteristic example')
plt.show()錯誤率
錯誤率(Error Rate)：是分類錯誤的樣本數占樣本總數的比例，對樣例集D，分類錯誤率計算公式如下所示：
統計分類器預測出來的結果與真實結果不相同的個數，然后除以總的樣例集D的個數，
精度
精度(Accuracy)：是分類正確的樣本數占樣本總數的比例，對樣例集D，精度計算公式
這里的分類正確的樣本數指的不僅是正例分類正確的個數還有反例分類正確的個數，
查準率、查全率
這里的查準率其實就是上面的真正例：TP/TP+FP
查準率，它表示的是預測為正的樣例中有多少是真正的正樣例，相對于本來有樣本有10個，正樣本9個，負樣本1個，預測出來TP：8.那么FP：0，所以查準率為100%，相對于是有一個本來是1的我們卻預測為0，但是對于查準率來說，這是不會影響的，
精確度(Accuracy)，縮寫表示用A，精確度則是分類正確的樣本數占樣本總數的比例，Accuracy反應了分類器對整個樣本的判定能力(即能將正的判定為正的，負的判定為負的)，
這里需要注意的就是精度和準確率是不一樣的，準確率是查準率，這里的準是代表著正（1）的概率
查全率(Recall)，又叫召回率，縮寫表示用R，查全率是針對我們原來的樣本而言的，它表示的是樣本中的正例有多少被預測正確，
通過上述的介紹，我們發現查準率和查全率是有矛盾的
查準率和查全率是一對矛盾的度量，一般來說，查準率高時，查全率往往偏低；而查全率高時，查準率往往偏低，
為什么這么說呢？因為查準率是考慮的在預測結果為1的樣本中，驗證真正的為1的數量占比；而查全率是考慮的在本來就是1的樣本中，有多少被預測為1的占比，
是不是有點繞了，這里舉一個具體的例子，比如還是一共10個樣本，其中有9個1,1個0；通過模型預測出來有8個1,2個0，那么它的查準率是100%，但是它的召回率，也就是9個里面只召回了8個，那么需要召回率高也就是說，就需要原本是1的都預測為1，不出現預測為0，但是都預測為1了，那么這個質量又無法保證，會出現本來是0的，卻預測為1了，
這里需要仔細的思考一下，不然真的容易混淆！！！！
我們可以這樣理解，在一個分類器中，你想要更高的查準率，那么你的閾值要設定的更高，只有這樣才能有較高的把握確定我們預測是正例是真正例，
一旦我們把閾值設定高了，那我們預測出正例的樣本數就少了，那真正例數就更少了，查不全所有的正樣例，
舉個例子來理解一下吧！例如，若希望將好瓜盡可能多地挑選出來，則可通過增加選瓜的數量來實作，如果將所有的西瓜都選上，那么所有的好瓜也必然都選上了，但這樣查準率就會較低；若希望選出的瓜中好瓜比例盡可能高，則可只挑選最有把握的瓜，但這樣就難免會漏掉不少好瓜，使得查全率較低，通常只有在一些簡單任務中，才可能使查全率和查準率都很高，
P-R曲線
在很多情形下，我們可根據學習器的預測結果對樣例進行排序，排在前面的是學習器認為“最可能”是正例的樣本，排在最后的是學習器認為“最不可能”是正例的樣本，按此順序設定不同的閾值，逐個把樣本作為正例進行預測，則每次可以計算出當前的查準率、查全率，
以查準率為縱軸、查全率為橫軸作圖，就得到了查準率-查全率曲線，簡稱“P-R曲線”，顯示該曲線的圖稱為“P-R圖”，圖1給出了一個示意圖，
P-R圖直觀地顯示出學習器在樣本總體上的查全率、查準率，在進行比較時，若一個學習器的P-R曲線被另一個學習器的曲線完全“包住”，則可斷言后者的性能優于前者，
例如圖1中學習器A的性能優于學習器C；如果兩個學習器的P-R曲線發生了交叉，例如圖1中的A和B，則難以一般性地斷言兩者孰優孰劣，只能在具體的查準率或查全率條件下進行比較，然而，在很多情形下，人們往往仍然希望把學習器A與B比出個高低，
這時，一個比較合理的判斷依據是比較P-R曲線下面積的大小，它在一定程度上表征了學習器在查準率和查全率上取得相對“雙高”的比例，但這個值不太容易估算，因此，人們設計了一些綜合考慮查準率、查全率的性能度量，比如BEP度量、F1度量，
Python繪制P-R曲線模板代碼
import matplotlib
import numpy as np
import matplotlib.pyplot as plt
from sklearn.metrics import precision_recall_curve
# 預測正例的概率
y_pred_prob=model.predict_proba(X_test)[:,1]
?
plt.figure(1) # 創建圖表1
plt.title('Precision/Recall Curve')# give plot a title
plt.xlabel('Recall')# make axis labels
plt.ylabel('Precision')
#y_true和y_scores分別是gt label和predict score
y_true = np.array([0, 0, 1, 1])
y_scores = np.array([0.1, 0.4, 0.35, 0.8])
#fpr, tpr, thresholds = metrics.roc_curve(y_test,y_pred_prob, pos_label=2)
precision, recall, thresholds = metrics.roc_curve(y_test,y_pred_prob, pos_label=1)
plt.figure(1)
plt.plot(precision, recall)
plt.show()平衡點(BEP)
“平衡點”(Break-Even-Point，簡稱BEP)就是這樣一個度量，它是“查準率=查全率”時的取值，例如圖1中學習器C的BEP是0.64，而基于BEP的比較，可認為學習器A優于B，
F1度量
越大越好
BEP曲線還是過于簡化了些，更常用的是F1度量，我們先來談談F1度量的由來是加權調和平均，計算公式如下所示，
import matplotlib
import numpy as np
import matplotlib.pyplot as plt
from sklearn.metrics import precision_recall_curve
# 預測正例的概率
y_pred_prob=model.predict_proba(X_test)[:,1]
plt.figure(1) # 創建圖表1
plt.title('Precision/Recall Curve')# give plot a title
plt.xlabel('Recall')# make axis labels
plt.ylabel('Precision')
#y_true和y_scores分別是gt label和predict score
y_true = np.array([0, 0, 1, 1])
y_scores = np.array([0.1, 0.4, 0.35, 0.8])
#fpr, tpr, thresholds = metrics.roc_curve(y_test,y_pred_prob, pos_label=2)
precision, recall, thresholds = metrics.roc_curve(y_test,y_pred_prob, pos_label=1)
plt.figure(1)
plt.plot(precision, recall)
plt.show()在一些應用中，對查準率和查全率的重視程度有所不同，例如在商品推薦系統中，為了盡可能少打擾用戶，更希望推薦內容確實是用戶感興趣的，此時查準率更重要；而在逃犯資訊檢索系統中，更希望盡可能少漏掉逃犯，此時查全率更重要，F1度量的一般形式是能讓我們表達出對查準率/查全率的不同偏好，它定義為公式如下：
其中，β>0度量了查全率對查準率的相對重要性，β=1時，退化為標準的F1；β>1時查全率有更大影響；β<1時，查準率有更大影響
Python求解F1_score代碼
from sklearn.metrics import f1_score
y_pred = [0, 1, 1, 1, 2, 2]
y_true = [0, 1, 0, 2, 1, 1]
#這里需要注意，如果是二分類問題則選擇引數‘binary’（默認）；如果考慮類別的不平衡性，需要計算類別的加權平均，則使用‘weighted’；如果不考慮類別的不平衡性，計算宏平均，則使用‘macro’，
print(f1_score(y_true, y_pred, average='macro'))
print(f1_score(y_true, y_pred, average='weighted')) 回歸模型評估指標
均方誤差
均方誤差（mean_squared_error）：是反映估計量與被估計量之間差異程度的一種度量
一般希望估計的均方誤差，越小越好
機器學習庫sklearn中，我們使用metrics方法實作：
import numpy as np
from sklearn.metrics import accuracy_score
y_pred = [0, 2, 1, 3]
y_true = [0, 1, 2, 3]
accuracy_score(y_true, y_pred)MAE（平均絕對誤差）
絕對誤差的平均值，能反映預測值誤差的實際情況，取值越小，模型準確度度越高，
from sklearn.metrics import mean_absolute_error
mean_absolute_error(y_test,y_pred)MAPE（平均絕對百分比誤差）
是 MAE 的變形，它是一個百分比值，取值越小，模型準確度越高，
MAPE = np.mean(np.abs((y_test - y_pred)/y_test))RMSE（均方根誤差）
from sklearn.metrics import mean_squared_error
from math import sqrt
sqrt(mean_squared_error(y_test,y_pred))R Square（R方）
將預測值跟只使用均值的情況下相比，取值范圍一般【0，1】，結果越靠近 1 模型準確度度越高，結果越靠近 0 直接瞎猜準確度更高，結果為 負數 直接平均值乘以2倍準確度更高，
from sklearn.metrics import r2_score
r2_score(y_test,y_pred)交叉驗證
為什么要使用交叉驗證？
將原始資料分成K個子集（一般是均分），將每個子集資料分別做一次測驗集 （testing test)，其余的K-1組子集資料作為訓練集（trainning test)，這樣會得到K個模型，用這K個模型最終的驗證集的分類指標的平均數作為此K-CV下分類器的性能指標
當然在分類和回歸當中都可以使用交叉驗證
#機器學習庫sklearn中，我們使用cross_val_score方法實作：
from sklearn.model_selection import cross_val_score
scores = cross_val_score(knn, X, y, cv=5)
#五折交叉驗證
################定義一個回傳cross-validation rmse error函式來評估模型以便可以選擇正確的引數########
from sklearn.linear_model import Ridge, RidgeCV, ElasticNet, LassoCV, LassoLarsCV
from sklearn.model_selection import cross_val_score
def rmse_cv(model):
##使用K折交叉驗證模塊，將5次的預測準確率列印出
rmse= np.sqrt(-cross_val_score(model, X_train, y_train, scoring="neg_mean_squared_error", cv = 5)) #輸入訓練集的資料和目標值
return(rmse)
model_ridge = Ridge()
alphas = [0.05, 0.1, 0.3, 1, 3, 5, 10, 15, 30, 50, 75]
cv_ridge = [rmse_cv(Ridge(alpha = alpha)).mean() #對不同的引數alpha，使用嶺回歸來計算其準確率
for alpha in alphas]
cv_ridge
#繪制嶺回歸的準確率和引數alpha的變化圖
cv_ridge = pd.Series(cv_ridge, index = alphas)
cv_ridge.plot(title = "Validation - Just Do It")
plt.xlabel("alpha")
plt.ylabel("rmse")保存模型
機器學習庫sklearn中，我們使用joblib方法實作：
from sklearn.externals import joblib
joblib.dump(knn, 'filename.pkl')
knn1 = joblib.load('filename.pkl')
#測驗讀取后的Model
print(knn1.score(X_test, y_test))有人可能會疑惑，為什么要保存模型，一般不是通過一運行就可以了嗎，答案是不一定，每次的模型由于資料分割的引數設定的不一樣，模型的效果也可能不一樣，所以懂得如何保存模型也是不錯的，
機器學習中的擬合問題
過擬合是指為了得到一致假設而使假設變得過度嚴格，避免過擬合是機器學習設計中的一個核心任務，一般是在訓練集上評分很高
-
使用的模型比較復雜，學習能力過強
-
有噪聲存在
-
資料量有限
-
過擬合：做的太過好以至于偏離了原本，泛化能力差
-
欠擬合：泛化能力強，但過于泛化
那么如何解決呢？
-
尋找引數的最優：超引數優化器
-
使用sklearn中的學習曲線
具體的解決方案如下：
-
收集更多的資料
-
通過正則化引入罰項
-
選擇一個引數相對較少的簡單模型
-
降低資料的維度
L1正則化
過擬合問題產生的原因，直觀來說就是某些維度上的權重系數太”偏激”了，正則化通過添加罰項，使得模型的偏差增大，方差減小，使得權重系數均向0趨近，越是”偏激”的權重系數就越是被打壓，一定程度上解決了過擬合問題，
如下圖所示，當C的值（也就是罰項的倒數）減小時，也就是當罰項增大時，權重系數都在往0逼近
L1和L2的異同點
相同點：都用于避免過擬合
不同點：
(1) L1可以讓一部分特征的系數縮小到0，從而間接實作特征選擇，所以L1適用于特征之間有關聯的情況，
(2) L2讓所有特征的系數都縮小，但是不會減為0，它會使優化求解穩定快速，所以L2適用于特征之間沒有關聯的情況
序列特征選擇演算法（SBS）
SBS是一個不斷洗掉特征，并通過價值函式進行貪心的特征選擇演算法，用來降低特征的維度
通過隨機森林判斷特征的重要性
隨機森林可以幫助我們獲得特征的重要性等級，從而可以選擇出最重要的那幾個特征
至于常見的特征篩選，有集成學習里面的各類演算法
實作代碼
# 使用不同的方法解決過擬合問題
?
# 1. L1正則
# 2. SBS
# 3. RandomForest
?
?
import pandas as pd
import numpy as np
import matplotlib.pyplot as plt
?
from sklearn.model_selection import train_test_split # 用于分離訓練集和驗證集
from sklearn.preprocessing import MinMaxScaler # Min-Max歸一化
from sklearn.preprocessing import StandardScaler # 標準化
from sklearn.metrics import accuracy_score # 計算分類準確率
?
from sklearn.svm import SVC # 支持向量機
from sklearn.neighbors import KNeighborsClassifier
from sklearn.ensemble import RandomForestClassifier
from sklearn.linear_model import LogisticRegression
?
from Chapter4.RatingFeature_SBS import SBS
?
?
df_wine = pd.read_csv('./Data/UCI/wine.data')
?
df_wine.columns = [
'Class label', # 注意：第一行是ClassLabel, 需要額外添加這個column
'Alcohol',
'Malic acid',
'Ash',
'Alcalinity of ash',
'Magnesium',
'Total phenols',
'Flavanoids',
'Nonflavanoid phenols',
'Proanthocyanins',
'Color intensity',
'Hue',
'OD280/OD315 of diluted wines',
'Proline '
]
# print('Class labels', np.unique(df_wine['Class label']))
# print(df_wine.head())
?
X, y = df_wine.iloc[:, 1:].values, df_wine.iloc[:, 0].values
# X, y = df_wine.values[:, 1:], df_wine.values[:, 0] 與上面這一句等價
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.3, random_state=0)
?
?
# 對資料進行Min-Max歸一化
mms = MinMaxScaler()
X_train_norm = mms.fit_transform(X_train)
x_test_norm = mms.transform(X_test)
?
?
# 對資料進行標準化
stdsc = StandardScaler()
X_train_std = stdsc.fit_transform(X_train)
X_test_std = stdsc.transform(X_test)
?
?
def solve_by_SBS(num_of_features):
knn = KNeighborsClassifier(n_neighbors=2)
sbs = SBS(knn, k_features=1)
sbs.fit(X_train_std, y_train)
?
# 查看當使用n個特征的時候,哪n個特征最有用,SBS是一個接一個的刪掉最不好的特征
n = num_of_features
total = df_wine.shape[1]-1
k_n = list(sbs.subsets_[total-n])
return k_n
?
def solve_by_RandomForest(num_of_features):
forest = RandomForestClassifier(n_estimators=10000, random_state=0, n_jobs=-1)
forest.fit(X_train, y_train)
importances = forest.feature_importances_
indices = np.argsort(importances)[::-1]
?
# 回傳最優的n個特征的索引
return indices[:num_of_features]
?
def train_by_KNN(X_train_std, y_train, X_test_std, y_test):
knn = KNeighborsClassifier(n_neighbors=2, p=2, metric='minkowski')
knn.fit(X_train_std, y_train)
?
y_prediction = knn.predict(X_test_std)
print('Misclassified samples: %d' % (y_test != y_prediction).sum())
print('Accuracy: %f' % accuracy_score(y_test, y_prediction))
?
return accuracy_score(y_test, y_prediction)
?
def train_by_SVM(X_train_std, y_train, X_test_std, y_test):
?
svm = SVC(kernel='linear', C=1.0, random_state=0)
svm.fit(X_train_std, y_train)
?
y_prediction = svm.predict(X_test_std)
print('Misclassified samples: %d' % (y_test != y_prediction).sum())
print('Accuracy: %f' % accuracy_score(y_test, y_prediction))
?
?
# 使用SBS方法從1開始查找最優的特征
accuracies = []
for n in range(1, X_train.shape[1]):
print('Feature Number', n ,': ')
index = solve_by_SBS(num_of_features=n)
best_train_std = X_train_std[:, index]
best_test_std = X_test_std[:, index]
accuracy = train_by_KNN(best_train_std, y_train, best_test_std, y_test)
accuracies.append(accuracy)
plt.plot(range(len(accuracies)), accuracies, label='SBS', marker='o', color='blue')
?
?
# 使用RF方法從1開始查找最優的特征
accuracies = []
for n in range(1, X_train.shape[1]):
print('Feature Number', n, ': ')
index = solve_by_RandomForest(num_of_features=n)
best_train_std = X_train_std[:, index]
best_test_std = X_test_std[:, index]
accuracy = train_by_KNN(best_train_std, y_train, best_test_std, y_test)
accuracies.append(accuracy)
plt.plot(range(len(accuracies)), accuracies, label='RandomForest', marker='x', color='red')
plt.xlabel('Number of Best-Choosed Features')
plt.ylabel('Accuracy')
plt.xlim([-1, len(accuracies)+1])
plt.ylim([0, 1.2])
plt.legend(loc='upper left')
?
plt.show()
?
# lr = LogisticRegression(penalty='l1', C=0.1) # 感覺懲罰系數沒必要這么大，C是懲罰系數的倒數
# lr.fit(X_train_std, y_train)
# print('Training accuracy:', lr.score(X_train_std, y_train))
# print('Test accuracy:', lr.score(X_test_std, y_test))鍵盤敲定，寫到此處已是深夜燭燈，感慨良多，識訓頗多！！！
差不多機器學習的框架和評估指標以及相應的知識點總結的差不多了，后續將會更新模型演算法案例及底層原理的剖析！
每文一語
你想要的生活，都是自己選擇，沒有其他人強迫，活出自己的精彩，趁青春，做點自己想做的事情吧！
轉載請註明出處，本文鏈接：https://www.uj5u.com/qita/420465.html
標籤：AI