一、 Logistic回歸與Logistic函式

　　分類問題的標簽可以是$y\epsilon \left \{ 0,1 \right \},y\epsilon \left \{ 0,1,2 \right \},y\epsilon \left \{ 0,1,2,3,... \right \}$，對應分別為二元、三元、…分類問題，借鑒線性回歸演算法，我們希望預測樣本屬于每個標簽的概率$p\left \{ y=i \right \}$ ，而且$p\epsilon \left [ 0,1 \right ]$，將概率最大的標簽作為分類結果，這里的概率就對應為假設函式$h_\theta (x)$，與線性回歸不同，logistic回歸要求$h_\theta (x)\epsilon \left \lfloor 0,1 \right \rfloor$，于是新的$h_\theta (x)$函式的構造如下：

二、 Logistic決策邊界（decision boundary）

　　以二元分類為例，從假設函式中可以發現，當$\theta^Tx>0$時，概率大于0.5，因此預測y=1；反之預測y=0，$\theta^Tx=0$就是決策邊界，其展開形式為:$\theta_0x+\theta_1x+\theta_2x+...=0$，對應的邊界線如下圖所示：

　　這里的邊界就是一條直線，將空間劃分為兩個區域，如果是多項式回歸，那么邊界可能是下面形式：

三、 Logistic代價函式

　　以二元分類為例，Logistic回歸同線性回歸一樣，都要確定合適的模型引數，來更好地預測概率，同樣，使用代價函式來評價$\theta$好壞，logistic回歸里采用對數代價形式：

　當所給標簽為1時，如果預測的概率接近1，則代價接近0；如果預測的概率接近0，則代價接近無窮，當所給標簽為0時，如果預測的概率接近1，則代價接近無窮；如果預測的概率接近0，則代價接近1，

四、 Logistic梯度下降

　　用代價函式去懲罰模型引數：

　　對式3-1求偏導可得：

五、多分類問題

　　解決多分類的一種思想是分解為多個二分類，為每一個二分類都維護一個假設函式，記成下面的形式：　　

　　例如三分類中，我們維護三個假設函式：$h_\theta^{(0)}(x)、h_\theta^{(1)}(x)、h_\theta^{(2)}(x)$，表示屬于三個類的概率，當更新$h_\theta^{(0)}(x)$時，將標簽為0的視作0，將標簽為1、2都視作1，$h_\theta^{(1)}(x)、h_\theta^{(2)}(x)$也類似，最終預測分類的時候，比較三個假設函式值的大小，取概率最大的作為分類標準，