經驗誤差與過擬合
- 精度=1-錯誤率=1-錯誤樣本數/總樣本數
- 學習器的實際預測輸出與樣本的真實輸出之間的差異稱為“誤差”（error），學習器在訓練集上的誤差稱為“訓練誤差”（training error）或“經驗誤差”（empirical error），在新樣本上的誤差稱為“泛化誤差”（generalizationerror）.顯然，我們希望得到泛化誤差小的學習器，
- 模型選擇（modelselection）問題：理想的解決方案當然是對候選模型的泛化誤差進行評估，然后選擇泛化誤差最小的那個模型，
- 過擬合（Overfitting）：學習器將訓練樣本學的太好，將樣本自身的一些特點當作了所有潛在樣本都會具有的一般性質，導致泛化性能下降，過擬合無法避免只能緩解
- 欠擬合（Underfitting）：學習器學習能力低下造成
評估方法
通常，我們可通過實驗測驗來對學習器的泛化誤差進行評估并進而做出選擇.為此，需使用一個“測驗集”（testing set）來測驗學習器對新樣本的判別能力，然后以測驗集上的“測驗誤差”（testing error）作為泛化誤差的近似.通常我們假設測驗樣本也是從樣本真實分布中獨立同分布采樣而得，但需注意的是，測驗集應該盡可能與訓練集互斥，即**測驗樣本盡量不在訓練集中出現、未在訓練程序中使用過，
測驗集和訓練集劃分方法
-
留出法(hold-out)
直接將資料集D劃分為兩個互斥的集合- 保持資料分布的一致性，保持用于學習的資料集與用于測驗的資料集的分布特征一致（例如：分層采樣）
- 多次重復劃分
- 測驗集不能太大，也不能太小（一般 1/5～1/3）
-
交叉驗證法（cross validation）
先將資料集 D 劃分為k個大小相似的互斥子集,然后每次用k-1個子集的并集作為訓練集，余下的那個子集作為測驗集；這樣就可獲得k組訓練/測驗集，從而可進行k次訓練和測驗，最侄訓傳的是這 k 個測驗結果的均值，為強調k的取值重要性，通常把交叉驗證法稱為“k折交叉驗證”（k-fold crossvalidation），k最常用的取值是 10，此時稱為 10 折交叉驗證；其他常用的k值有 5、20 等，- 留出法總歸是使用了一部分資料，沒有測驗全部資料，因此 k 折交叉驗證就是解決這個問題，
- 假設將資料集分成 k = 10 份，第一次使用 D10 作為測驗集，第二次使用 D9 作為測驗集，直至每個都當過測驗集，然后將k個結果求平均，就是最終結果，
-
自助法（bootstrap ）
- 基于”自助采樣“的方法，也稱：“有放回采樣”、“可重復采樣”
- 對資料集進行有放回采樣，并且采樣出的集合與原樣本集同規模，但是資料分布有所改變
調參與最終模型
現實中常用的做法：對每個引數選定一個范圍和變化步長，例如在[0，0.2] 范圍內以 0.05 為步長，則實際要評估的候選引數值有5個，最終是從這5個候選值中產生選定值.這是在計算開銷和性能估計之間進行折中的結果，通過這個折中，學習程序才變得可行，引數調得好不好往往對最終模型性能有關鍵性影響.
性能度量
回歸任務最常用的性能度量是“均方誤差”（mean squared error）
分類任務中常用的性能度量：
-
錯誤度與精度（accuracy）
錯誤率是分類錯誤的樣本數占樣本總數的比例
精度則是分類正確的樣本數占樣本總數的比例 -
查準率（precision）與查全率（recall）
查準率：在所預測類別中，預測正確的比例，分母是預測類別的樣本數， 例如：挑出的西瓜中，有多少比例是好瓜
查全率：在真實類別中，預測正確的比例，分母是真實類別的樣本數，例如：所有好瓜中有多少比例被挑了出來對于二分類問題，可將樣例根據其真實類別與學習器預測類別的組合劃分為真正例（true positive）、假正例（false positive）、真反例（true negative）、假反例（false negative）四種情形，令TP、FP、TN、FN分別表示其對應的樣例數，則顯然有TP+FP+TN+FN=樣例總數，分類結果的“混淆矩陣”（confusion matrix）如下：
\(P=\frac{T P}{T P+F P}\)
\(R=\frac{T P}{T P+F N}\)
以查準率為縱軸、查全率為橫軸作圖，就得到了查準率-查全率曲線，簡稱P-R曲線，
\[F1=\frac{2 \times P \times R}{P+R}=\frac{2 \times TP}{\text { 樣例總數 }+TP-TN} \]F1 度量的一般形式 \(F_{\beta}\) 能讓我們表達出對查準率/查全率的不同偏好，
\[F_{\beta}=\frac{\left(1+\beta^{2}\right) \times P \times R}{\left(\beta^{2} \times P\right)+R} \]參考資料
- 周志華 機器學習
轉載請註明出處，本文鏈接：https://www.uj5u.com/qita/297479.html
標籤：其他
上一篇：00. 機器學習概述
下一篇：00. 機器學習概述