支持向量機概述
Support Vector Machine SVM 是一類按監督學習(Supervised learning)方式對資料進行二元分類的廣義線性分類器(Generalized linear classifier)其決策邊界是對學習樣本求解的最大編輯超平面(maximum-margin- hyperplane)與邏輯回歸和神經網路相比,支持向量機,在學習復雜的非線性方程時提高了一種更為清晰,更加強大的方式,
硬、軟間隔
硬間隔就是說分類完全正確
軟間隔是說分類存在一定分類錯誤

線性可分、線性不可分


演算法思想
找到結合邊緣上的若干資料-支持向量(Support vector),用這些點找出一個超平面,使得支持向量到該平面(成為決策面)的距離最大

數學推導


線性可分向量機






線性支持向量機




線性不可分向量機
典型的降維打擊



劃重點!!調節引數時候要注意:
γ
\gamma
γ越大,支持向量越少,反正支持向量越多,
C
C
C是懲罰系數,即是對誤差的寬容度,
C
C
C越高,越不能容忍誤差,容易過擬合,反之越小的時候,容易出現欠擬合,
重點總結:
n
n
n是特征數,
m
m
m為訓練樣本數
(1)如果相較于m而言,n要大許多,即訓練集資料量不夠支持我們訓練一個復雜的非線性模型,我們選用邏輯回歸模型或者不帶核函式的支持向量機,
(2)如果n較小,而且m大小中等,比如n在1-1000之間,而m在10-10000之間,使用高斯核函式的支持向量機
(3)如果n較小,而m較大,例如n在1-1000之間,而m大于50000,則使用支持向量機會非常慢,解決方案是創造、增加更多的特征,然后使用邏輯回歸或不帶核函式的支持向量機,
轉載請註明出處,本文鏈接:https://www.uj5u.com/qita/294624.html
標籤:AI
