《統計學習方法》——第二章感知機
寫在前面
最近終于有開始看《統計學習方法》了，畢竟無腦調參確實沒有什么意義，一方面是作為看書的筆記，一方面作為比博客或許能起到一點參考作用吧，
希望可以日更，
感知機
由輸入空間到輸出空間的函式：
f
(
x
)
=
s
i
g
n
(
w
?
x
+
b
)
f(x) = sign(w\cdot x+b)
f(x)=sign(w?x+b)
稱為感知機，
感知機是一種線性分類模型，屬于判別模型，
感知機的學習策略
感知機的損失函式：
?
1
∥
w
∥
∑
x
i
∈
M
y
i
(
w
?
x
i
+
b
)
-\frac{1}{\Vert w\Vert} \sum_{x_{i}\in M}y_{i}(w\cdot x_{i}+b)
?∥w∥1?xi?∈M∑?yi?(w?xi?+b)
注意：損失函式不需要考慮
?
1
∥
w
∥
-\frac{1}{\Vert w \Vert}
?∥w∥1?
感知機的學習演算法
感知機其實有兩種學習演算法：
- 原始學習演算法
- 對偶學習演算法
原始學習演算法
每次選取一個誤分類點來進行更新，
輸入：訓練資料集T，學習率η，
輸出：w, b; 感知機模型:
f
(
x
)
=
s
i
g
n
(
w
?
x
+
b
)
f(x) = sign(w\cdot x+b)
f(x)=sign(w?x+b)，
程序：
- 選出初值 w 0 , b 0 w_{0}, b_{0} w0?,b0?;
- 在訓練集中選取資料 ( x i , y i ) (x_{i}, y_{i}) (xi?,yi?);
- 如果
y
i
(
w
?
x
i
+
b
)
≤
0
y_{i}(w \cdot x_{i} + b)\leq 0
yi?(w?xi?+b)≤0,
w ← w + η y i x i w\leftarrow w + \eta y_{i}x_{i} w←w+ηyi?xi?
b ← b + η y i b\leftarrow b + \eta y_{i} b←b+ηyi? - 移動到(2)，直到訓練集中沒有誤分類點，
對偶學習演算法
對偶形式的基本想法是，將w和b表示為實體和標記的線性組合的形式，通過求解其系數而求的w和b，在原始演算法的基礎上假設初始值為0，這樣，最后學習到的w和b可以表示為：
w
=
∑
i
=
1
N
α
i
y
i
x
i
w = \sum _{i=1}^{N} \alpha_{i}y_{i}x_{i}
w=i=1∑N?αi?yi?xi?
b
=
∑
i
=
1
N
α
i
y
i
b = \sum _{i=1} ^{N} \alpha_{i}y_{i}
b=i=1∑N?αi?yi?
其中
α
i
=
η
n
i
\alpha_{i} = \eta n_{i}
αi?=ηni?,
n
i
n_{i}
ni?是第i個點誤分類的次數，
輸入：訓練資料集T
輸出：
α
,
b
\alpha, b
α,b; 感知機模型
f
(
x
)
=
s
i
g
n
(
∑
j
=
1
N
α
j
y
j
x
j
?
x
+
b
)
f(x)=sign(\sum _{j=1}^{N}\alpha _j y_j x_j \cdot x+b)
f(x)=sign(∑j=1N?αj?yj?xj??x+b), 其中
α
\alpha
α是向量，
程序：
- a ← 0 , b ← 0 ; a\leftarrow0, b\leftarrow0; a←0,b←0;
- 在訓練集中選擇資料 ( x i , y i ) (x_{i}, y_{i}) (xi?,yi?)
- 若
f
(
x
)
←
0
f(x)\leftarrow0
f(x)←0,
α i ← α i + η \alpha_{i} \leftarrow\alpha_{i}+\eta αi?←αi?+η
b ← b + η y i b\leftarrow b+\eta y_{i} b←b+ηyi? - 轉至(2)直到沒有誤分類的資料，
演算法的收斂性
其實，感知機的兩種演算法都已經介紹完了，但是，感知機演算法非常重要的一點是——如何證明其的收斂性，也就是證明在訓練集線性可分的情況下該演算法在經過有限次數的迭代之后可以線性分割該訓練集，
（打latex確實是太麻煩了，所以直接手寫了，字丑見諒，）
轉載請註明出處，本文鏈接：https://www.uj5u.com/ruanti/196279.html
標籤：其他