回歸與分類
機器學習的主要任務便是聚焦于兩個問題：回歸與分類
回歸與分類
回歸的定義
- 機器學習的程序就是尋找函式的程序，通過訓練獲得一個函式映射，給定函式的輸入，函式會給出相應的一個輸出，若輸出結果是一個數值scalar時，即稱這一類機器學習問題為回歸問題
- 就如李宏毅老師所說：Regression就是找到一個函式function，通過輸入特征x，輸出一個數值scalar
- 例如：房價資料，根據位置、周邊、配套等等這些維度，給出一個房價的預測
分類與回歸的區別
- 分類是基于資料集，作出分類選擇
- 分類與回歸區別在一輸出變數的型別
- 輸出是離散的就可以做分類問題，即通常多個輸出，輸出i是預測為第i類的置信度
- 輸出是連續的就可以做回歸問題 ，即單連續值輸出，跟真實值區別作為損失
模型步驟
- step1：模型假設，選擇模型框架（線性模型）
- step2：模型評估，如何判斷眾多模型的好壞（損失函式）
- step3：模型優化，如何篩選最優的模型（梯度下降）
一、線性模型
step1 模型假設
- 給定n維輸入 x = [x1,x2,....,xn]^T
- 線性模型有一個n維權重和一個標量偏差 即w與b
- 輸出是輸入的加權和 y = w1x1 + w2x2 + ... +wnxn +b
- 向量版本 y = <w,x> + b
假設1：影響房價的關鍵因素是臥室個數，衛生間個數，和居住面積，記為x1，x2，x3
假設2：成交價是關鍵因素的加權和 則 y = w1x1 + w2x2 +w3x3 + b,
權重和偏置的實際值在后面決定
step2 模型評估(衡量預估質量)
- 收集和訓練資料
- 如何判斷眾多模型的好壞（根據損失函式判斷）
1.平方損失 y為真實值，y1為估計值(預測值)
$$
p(y,y1) = 1/2(y-y1)^2
$$
2.訓練損失
$$
p(X,y,w,b) = ∑(y[i] - (b + <w,x[i]>))^2
$$
step3 選取最優模型(梯度下降)
- 為了獲得最優模型故要使L(w,b)損失函式值最小化，而對于L(w,b)實質上就是w,b的函式，因此可以通過求偏微分來尋找其最小化損失點
最小化損失學習引數
$$
w* , b* = arg min(X,y,w,b)
$$
-
而對于梯度下降來講
-
1.首先要挑選一個初始值 w0,同時引入學習率(步長的超引數) η
-
2.重復迭代引數 t =1,2,3
-
3.沿梯度方向將增加損失函式值
$$
w[t] = w[t-1] -η*(?L/?w[t-1])
$$
注：上式中減號意思為沿著梯度反方向
import numpy as np
import matplotlib.pyplot as plt
def my_func(x): #定義原函式
return x**4 + 2*x**3 - 3*x**2 -2*x
def grad_func(x): #定義導數
return 4*x**3 + 6*x**2 -6*x -2
eta = 0.09 #學習系數
x = -1.5 #定義自變數x起始值
record_x = [] #記錄x值
record_y = [] #記錄y值
for i in range(20): #將x回圈20次
y = my_func(x)
record_x.append(x) #將記錄添加
record_y.append(y)
x -= eta*grad_func(x) #梯度下降法公式 學習系數*導數值
x_f = np.linspace(-2.8,1.6)
y_f = my_func(x_f)
plt.plot(x_f,y_f)
plt.scatter(record_x,record_y)
plt.xlabel("x", size=14)
plt.ylabel("y", size=14)
plt.grid()
plt.show()
二、廣義線性模型（generalized linear model）
$$
y=g^-1 (w^Tx+b)
$$
上面式子即為廣義線性模型的一種表達，其中g(.)被稱為聯系函式，同時要求單調可微，使用廣義線性模型可以實作強大的非線性函式映射功能（比如對數線性回歸，令g(.) = ln(.)，此時模型預測值對應的是真實值標記在指數尺度上的變化）
那么線性模型的輸出是一個實值，而分類任務的標記是離散值，怎么把二者聯系起來呢？
- 廣義線性模型已經給了我們答案，我們要做的是找到一個單調可微的聯系函式，把二者聯系起來
- 對于一個二分類任務，比較理想的函式是階躍函式（激活函式）
對數線性回歸（log-linear regression）
由于單位階躍函式不連續，所以不能直接用作聯系函式，故思路轉換為如何在一定程度上近似單位階躍函式呢？ 對數幾率函式正是我們所需常用的替代函式：sigmoid函式
- 對于分類任務，由于是離散的資料，可以通過廣義線性模型的非線性函式映射進行，簡單來說將其離散資料映射在相似函式之上，也就是激活函式
總結
那么對于一整個回歸程序來說 首要要假設模型去進行預選，接著要進行模型的評估計算損失函式，最后一步則是對損失函式進行優化即梯度下降演算法
將一整個回歸程序放在神經網路中時 在正向傳播中，首先進行將資料值x進行輸入，其次通過權值和的計算以及激活函式得到輸出值，傳輸至第二層，層層往下，最后輸出值 根據輸出值與真實值之間的distance即為loss函式
轉載請註明出處，本文鏈接：https://www.uj5u.com/qita/502131.html
標籤：其他