量化投資學習筆記22——回歸分析:支持向量機

因為新冠肺炎疫情，診所還沒復工，這是在家用手機敲的，代碼顯示有問題，等復工以后在電腦上改，各位先湊和看吧，
支持向量機(Support Vector Machine, SVM)是一種基于統計學習的模式識別的分類方法，主要用于模式識別，所謂支持向量指的是在分割區域邊緣的訓練樣本點，機是指演算法，就是要找到具有最大間隔的分隔面，實際上解決的是一個最優分類器設計的問題，
問題
目的:找到一個最優分類器，即找到一個分類器，使得分類間隔最大，
優化的目標函式:分類間隔，需要使得分類間隔最大，
優化物件:分類超平面(決策平面)，通過調整分類超平面的位置，使得間隔最大，實作優化目標，

超平面(Hyperplane)，指n維歐氏空間中余維度等于1的線性子空間，二維空間中為一條直線，三維空間中為一個二維平面，
間隔:支持向量對應點到分類超平面的垂直距離的兩倍，即W =2d，
現在要做的是，在所有的樣本點中，找到合適的支持向量，在保證分類正確的前提下，讓間隔W = 2d最大，
再往后就是具體的求解推導的程序了，聽聽就行了，
對于線性不可分的情況，考慮將樣本映射到更高維的空間中去，希望在這個高維空間中其線性可分，
例:一條直線上的兩個不同分類的點也許不可分，將其映射到二維平面里也許就可以區分了，

如果原始空間是有限維，即屬性數有限，一定存在一個高維特征空間使樣本線性可分，
這就引出了核函式的概念，K(x, x') = φ(x)·φ(x')
當后者不容易求時，可找到一個函式K，即為核函式，
推導看不懂，
選擇核函式無明確的指導原則，常用RBF，其次是線性核，
例外點造成的非線性，SVM允許在一定程度上偏離一下超平面，
SVM多分類
直接法:將多分類面的引數求解合并到一個最優化問題中，
間接法:組合多個二分類SVM分類器
有一對一法和一對多法，
下面來實踐，還是使用iris資料，參考https://blog.csdn.net/u012679707/article/details/80501358

import matplotlib.pyplot as plt
import numpy as np
from sklearn.model_selection import train_test_split
from sklearn import svm


# 轉換類別
def Iris_label(s):
    it = {b'Iris-setosa':0, b'Iris-versicolor':1, b'Iris-virginica':2}
    return it[s]


if __name__ == "__main__":
    # 讀取資料
    data = https://www.cnblogs.com/zwdnet/p/np.loadtxt("iris.data", dtype = float, delimiter = ',', converters = {4 : Iris_label})
    
    print(data)
    
    # 劃分資料與標簽
    x, y = np.split(data, indices_or_sections = (4,), axis = 1)
    # 為了繪圖，只選前兩頁
    x = x[:, 0:2]
    train_data, test_data, train_label, test_label = train_test_split(x, y, random_state = 1, train_size = 0.6, test_size = 0.4)
    print("訓練集大小:", train_data.shape)
    print(train_data)
    print(test_data)
    
    # 訓練svm分類器
    classifier = svm.SVC(C = 2, kernel = "rbf", gamma = 10, decision_function_shape = "ovr") #ovr 一對多策略
    classifier.fit(train_data, train_label.ravel())
    
    # 計算分類準確率
    print("訓練集:", classifier.score(train_data, train_label))
    print("測驗集:", classifier.score(test_data, test_label))
    
    # 查看決策函式
    print("訓練決策函式:", classifier.decision_function(train_data))
    print("預測結果:", classifier.predict(train_data))

結果:
訓練集: 0.8555555555555555
測驗集: 0.7
訓練集比測驗集結果好，
再畫圖看看，

    # 繪圖
    fig = plt.figure()
    x1_min, x1_max = x[:, 0].min(), x[:, 0].max()
    x2_min, x2_max = x[:, 1].min(), x[:, 1].max()
    x1, x2 = np.mgrid[x1_min:x1_max:200j, x2_min:x2_max:200j]
    grid_test = np.stack((x1.flat, x2.flat), axis = 1)
    
    # 設定顏色
    cm_light = ListedColormap(['#A0FFA0', '#FFA0A0', '#A0A0FF'])
    cm_dark = ListedColormap(['g','r','b'])
    grid_hat = classifier.predict(grid_test)
    grid_hat = grid_hat.reshape(x1.shape)
    # 繪圖
    plt.pcolormesh(x1, x2, grid_hat, cmap = cm_light)
    plt.scatter(x[:, 0], x[:, 1], c = y[:, 0], s = 30, cmap = cm_dark)
    plt.scatter(test_data[:, 0], test_data[:, 1], c = test_label[:, 0], s = 30, edgecolors = "k", zorder = 2, cmap = cm_dark)
    plt.xlabel("length")
    plt.ylabel("width")
    plt.xlim(x1_min, x1_max)
    plt.ylim(x2_min, x2_max)
    plt.savefig("result.png")

試一下把四列資料都進行建模的結果:
四列資料都進行建模的結果
訓練集: 1.0
測驗集: 0.95
結果很好，
接下來用這個方法解決一下泰坦尼克號問題吧，下次，
本文代碼:
https://github.com/zwdnet/MyQuant/tree/master/21

我發文章的四個地方，歡迎大家在朋友圈等地方分享，歡迎點“在看”，
我的個人博客地址：https://zwdnet.github.io
我的知乎文章地址： https://www.zhihu.com/people/zhao-you-min/posts
我的博客園博客地址： https://www.cnblogs.com/zwdnet/
我的微信個人訂閱號：趙瑜敏的口腔醫學學習園地

標籤：Python

上一篇：10.python內置模塊之os模塊

下一篇：Python之write與writelines區別