最近學習Logistic回歸演算法，在網上看了許多博文，筆者覺得這篇文章http://blog.kamidox.com/logistic-regression.html寫得最好，但其中有個關鍵問題沒有講清楚：為什么選擇-log(h(x))作為成本函式(也叫損失函式)，
和線性回歸演算法相比，邏輯回歸的預測函式是非線性的，不能使用均方差函式作為成本函式，因此如何選擇邏輯回歸演算法的成本函式，就要多費一些事，
在正式討論這個問題之前，先來復習一些基礎知識，
一些常見函式的導數
$$ \frac{dy}{dx}(x^n) = nx^{n-1} $$
$$ \frac{dy}{dx}log_b(x) = \frac{1}{xln(b)} \text{ 如果b=e } \frac{dy}{dx}log_e(x) = \frac{1}{x} $$
$$ \frac{dy}{dx}(b^x)= b^xln(b) \text{ 如果b=e } \frac{dy}{dx}(e^x) = e^x $$
求導法則
常數倍
如果f(x)=Cg(x)，C是常數，那么
$$ \frac{dy}{dx}(f(x))=C\frac{dy}{dx}(g(x)) $$
### 函式和與函式差 如果f(x) = g1(x) + g2(x) - g3(x)，那么$$ \frac {dy}{dx}(f(x)) = \frac {dy}{dx}(g1(x)) + \frac {dy}{dx}(g2(x)) - \frac {dy}{dx}(g3(x)) $$
### 乘積法求導 如果h(x) = f(x)g(x)，那么:$$ h^{'}(x) = f^{'}(x)g(x) + g^{'}(x)f(x) $$
設h(x) = y, f(x) = u, g(x)=v, 那么:$$ \frac {dy}{dx} = v\frac {du}{dx} + u\frac {dv}{dx} $$
商法則求導
如果h(x) = f(x)/g(x), 那么:
$$ h^{'}(x) = \frac {f^{'}(x)g(x) - g^{'}(x)f(x)}{{(g(x))}^2} $$
y=u/v，那么:$$ \frac{dy}{dx} = \frac{\frac{du}{dx}v - \frac{dv}{dx}u}{v^2} $$
鏈式求導
如果h(x) = f(g(x)), 那么:
$$ h^{'}(x) = f^{'}(g(x))g^{'}(x) $$
如果y是u的函式，并且u是x的函式，那么:$$ \frac{dy}{dx} = \frac{dy}{du}\frac{du}{dx} $$
邏輯回歸演算法涉及到的幾個基本函式
關于資料的特征向量x和回歸系數向量w的線性函式
$$ L_w(x) = w^Tx $$
sigmoid函式$$ g(z) = \frac{1}{1 + e^{-z}} $$
分類預測函式$$ h_w(x) = \frac{1}{1 + e^{-w^Tx}} $$
邏輯回歸演算法是一個二分類演算法，可以用1, 0表示這兩種分類，演算法的最終目標是找到一個合適的回歸系數w, 對資料集中的任意一條資料xi滿足:$$ \begin{cases} h_w(x_i) >= 0.5 &\text{真實分類y=1} \\ h_w(x_i) <0.5 &\text{真實分類y=0} \end{cases} $$
分類判斷函式hw(xi)的取值區間是(0,1)，可以把它看成資料xi在系數為w時屬于分類1概率，由于只有兩個分類，同樣可以把1-hw(x)看成是x在系數為w是屬于分類0的概率選擇成本函式
現在開始選擇成本函式，目前還沒有選擇成本函式的頭緒，但是我看可以先假設有一個成本函式，看看它應該滿足什么條件，設成本函式為:
$$ J(w) = \begin{cases} \frac{1}{m}\sum^m_{i=1}f(h_w(x_i)) &\text{y=1} \\ \frac{1}{m}\sum^m_{i=1}f(1- h_w(x_i)) &\text{y=0} \end{cases} $$
這個這個成本函式和線性回歸的成本函式長得差不多，不同的是這里有一個未知函式f(u), 在線性回歸中$f(u)=(h_w(x_i) - y)^2$，這里不還不知道f(x)是什么，但根據hw(xi)的特點，反推，可以得到f(u)應該具有的第一個性質: > 當u趨近于1(100%概率)時, f(u)趨近于最小值，在梯度向下公式中，計算J(w)的梯度可以歸結為計算f(u)的梯度，可以使用鏈式求導法計算:
$$ \frac{δ}{δw_j}f(u) = f'(u)u'x_{ij} $$
這里的u可能是hw(xi)或1-hw(xi), u'等于h'w(xi)或-h'w(xi)，因此會終涉及到對sigmoid函式的導數:設$g(x)=\frac{1}{1+e^{-x}}$
$
\frac{dy}{dx}(g(x)) = \frac{0(1+e^{-x}) - 1(-e^{-x})}{(1+e^{-x})^2} = \frac{e^{-x}}{(1+e^{-x})^2}
$
$
= \frac{1}{1+e^{-x}}\frac{e^{-x}}{1+e^{-x}} = \frac{1}{1+e^{-x}}\frac{1+e^{-x}-1}{1+e^{-x}} = \frac{1}{1+e^{-x}}(\frac{1+e^{-x}}{1+e^{-x}} - \frac{1}{1+e^{-x}}) = g(x)(1-g(x))
$
$ \frac{δ}{δw_j}f(u) = f'(u)u(1-u)x_{ij} $
如果在這個公式的計算程序中可以消掉u或(1-u)的同時不引入其他函式，就可以大大簡化梯度的計算，因此可以得到f(u)需要滿足的第二個性質: > 能夠滿足: $f'(u)=\frac{a}{u}$, a是常數，前文中剛好有一種函式可以滿足這種要求: \(\frac{dy}{du}(ln(u))=\frac{1}{u}\)，但f(u)=ln(u), 不能滿足第一個性質，此時只需加一個'-'號就可以了，即: f(u)=-ln(u)，
找到f(u)后再來重寫成本函式:
梯度下降公式
$ w_j := w_j - \alpha\frac{δ}{δw_j}J(w) $ $ \frac{δ}{δw_j}J(w) = \frac{δ}{δw_j}\frac{1}{m}\sum^m_{i=1}-yln(h_w(x_i)) - (1-y)ln(1- h_w(x_i)) $ $ = \frac{1}{m}\sum^m_{i=1}\frac{-y_jh_w(x_i)(1-h_w(x_i))x_{ij}}{h_w(x_i)}+\frac{-(1-y_j)(1-h_w(x_i))(1-(1-h_w(x_i))(-x_{ij})}{1-h_w(x_i)} $ $ = \frac{1}{m}\sum^m_{i=1}-y_j(1-h_w(x_i))x_{ij}+(1-y_j)h_w(x_i)x_{ij} $ $ = \frac{1}{m}\sum^m_{i=1}(-y + yh_w(x_i) + h_w(x_i) - yh_w(x_i))x_{ij} = \frac{1}{m}\sum^m_{i=1}(h_w(x_i)-y_i)x_{ij} $ 最終得到梯度下降公式如下 $ w_j := w_j - \alpha\frac{δ}{δw_j}J(w) = w_j - \alpha\frac{1}{m}\sum^m_{i=1}(h_w(x_i)-y_i)x_{ij} $轉載請註明出處，本文鏈接：https://www.uj5u.com/qita/187963.html
標籤：其他