02_利用numpy解決線性回歸問題
目錄- 一、引言
- 二、線性回歸簡單介紹
- 2.1 線性回歸三要素
- 2.2 損失函式
- 2.3 梯度下降
- 三、解決線性回歸問題的五個步驟
- 四、利用Numpy實戰解決線性回歸問題
- 五、總結
一、引言
上一節我們說到了torch和tf的功能，以及兩者的區別，但是為了更好地去讓大家體會框架的強大，我們首先不使用框架實作一個小demo，由于只是引入，因此，我們在這里使用一個比較簡單的線性回歸演算法來講解，
穿插一個廣告，如果你對統計機器學習不是特別熟悉的話，建議你也簡單看看，不說學會那些數學公式的推導，但是得知道那些演算法是干啥的，我這里也有全套的視頻和資料，鏈接在此：https://www.cnblogs.com/nickchen121/p/11686958.html
你都來學習框架了，接下來的所有內容我都默認你有一定的Python基礎、數學基礎、統計機器學習基礎、深度學習基礎，如果你有哪些不太會，我的博客里都有，可以自己去補一補，如果不喜歡我的，可以去bilibili找幾個視頻看，你都不喜歡？那就自己造一個出來，
二、線性回歸簡單介紹
2.1 線性回歸三要素
由于現在統計機器學習一般也稱為機器學習，但是真正的機器學習是包括是深度學習的，所以，接下來講的機器學習這四個字你別太追究它原有的意義，大概知道是啥就行，
在機器學習中，我們知道，每一個演算法簡單點講其實無非就是三個要素：一個輸入、一個模型、一個輸出，而線性回歸屬于機器學習演算法，也是如此，輸入就是一大堆的資料，輸出就是我們想要的結果，而模型就是通過輸入資料得出一個輸出結果，舉個例子吧，
現在我們這里有兩組資料：
\[1.567 = w*x_1+b \\ 3.043 = w*x_2+b \]這兩組資料中，輸入是\(x_1\)和\(x_2\)，模型就是一個函式\(f=y=w*x_i+b\)，輸出就是\(1.567\)和\(3.043\)，知道這三個東西有什么用呢？有很大的用，我們可以看到我們這個函式有兩個未知變數\(w\)和\(b\)，如果我們把這個輸入看作是房子的面積，輸出看成房子的價格，如果我們通過某種方法求出了\(w\)和\(b\)，我們就可以立即通過另外一個房子的面積\(x_3\)得知這個房子的價格，當然咯，實際情況不會這么簡單，你別較真了，
那么問題來了，我們如何去求出\(w\)和\(b\)呢？有些耍些小聰明的同學馬上會說到，這么簡單地問題，我口算一下不就出來了嘛！\(w\approx{1.5}, b\approx{0.06}\)，然而這其實離精確求解差遠了，如果這不是求解房價，而是求解股價的問題，那可就差之毫厘謬以千里了，
在這里重點宣告一遍，我們舉這么簡單的例子只是為了讓你明白使用框架和不使用框架的好處，所以一些細節莫鉆牛角尖，學東西要明白重點，
2.2 損失函式
上面說到了，我們給出了一個函式模型\(f_{(w,b)}\)，其中\(w\)和\(b\)是函式\(f\)的位置變數，我們現在的目的就是通過已有的輸入和輸出求解出這兩個變數，
為了得出這兩個變數，我們這里引入一個專業術語損失（loss）函式，其實我很想寫loss函式，因為有人也把它稱作代價函式，但是相信有一定基礎的人你一定明白，畢竟只是個名字而已，難道我叫吳彥祖我就是吳彥祖了？所以接下來所有的有多個名字的專業術語我都用我了解到的那個名字，
那么損失函式是什么意思呢？其實，顧名思義，就是一個損失，也就是一個差值，什么差值呢？就是我們假設未知變數\(w\)和\(b\)已知，簡單點吧，我們假設\(w=b=0\)，然后我們根據這個未知變數就可以精準化我們的模型\(f\)，然后再通過這個模型以及輸入和輸出便可以得到一個預測值\(\hat{y}=w*x+b\)，由于我們的\(w\)和\(b\)是假設的，因此預測值\(\hat{y}\)和真實值\(y\)之間有一定的差值，這個差值就是損失，而對\(N\)個資料而言，總損失就是
\[loss = \sum_{i=1}^N{(\hat{y_i}-y_i)} \]而損失函式指的是對損失的一種擴展，比如線性回歸中最常使用的損失函式就是均方誤差函式，如下：
\[loss = \frac{1}{N}\sum_{i=1}^N{(\hat{y_i}-y_i)}^2 \]2.3 梯度下降
上面我們得到了一個均方誤差的損失函式，然而可想而知，這個誤差應該是越小越好，因此我們的目標就是最小化這個誤差，上述這個損失函式，其實是一種凸函式，在凸優化理論中，可以使用梯度下降的方法來最小化這個凸函式，而當這個凸函式處于最小值時，此時的\(w\)和\(b\)也就是最優值，也就讓\(\hat{y}\)和\(y\)的值更接近，
上述所示的函式就是一種凸函式，而該函式的最小值也顯而易見，但是我們不能通過眼睛判斷該函式的最小值，而可以通過梯度下降演算法，這個演算法的流程也很簡單，就是按照某一點在x軸上的梯度的反方向一直前進即可，針對我們上述的\(w\)和\(b\)變數，則是：
\[w' = w - lr*\frac{\partial{loss}}{\partial{w}} \\ b' = b - lr*\frac{\partial{loss}}{\partial{b}} \]從上式我們可以看到有一個\(lr\)，其實很好理解，梯度的求解可能是一個很大的值，如上圖，如果在\(x=3\)時梯度值為30，那么\(x\)按照梯度的反方向前進就變成了\(33\)，很明顯直接遠離了最小值，因此可以通過控制\(lr\)的大小控制當\(x\)在某一點的移動范圍，\(lr\)大一點則前進的快，\(lr\)小一點則前進的慢，
三、解決線性回歸問題的五個步驟
從上面一節我們可以看出線性回歸的流程簡單點可以分為5個步驟：
- 初始化未知變數\(w=b=0\)
- 得到損失函式\(loss = \frac{1}{N}\sum_{i=1}^N{(\hat{y_i}-y_i)}^2\)
- 利用梯度下降演算法更新得到\(w', b'\)
- 重復步驟3，利用\(w', b'\)得到新的更優的\(w', b'\)，直至\(w', b'\)收斂
- 最后得到函式模型\(f=w'*x+b'\)
四、利用Numpy實戰解決線性回歸問題
步驟1代碼：略
步驟2代碼：計算訓練資料的均方誤差
def compute_error_for_line_given_points(b, w, points):
"""
y = wx + b, 計算訓練資料的均方誤差
:param b: 引數b，初始為0
:param w: 引數w，初始為0
:param points: 訓練資料，100個二元組，如[(1,2),...,(100,200)]
:return: 均方誤差
"""
total_error = 0 # 定義誤差初始值
# 計算訓練資料的總誤差
for i in range(0, len(points)):
x = points[i, 0]
y = points[i, 1]
# 計算總誤差
total_error += ((y - w * x + b)) ** 2
return total_error / float(len(points)) # 回傳均方誤差
步驟3代碼：計算梯度并更新w和b
def step_gradient(b_current, w_current, points, learning_rate):
"""
計算梯度并更新w和b
:param b_current: 更新前的b
:param w_current: 更新前的w
:param points: 訓練資料，100個二元組，如[(1,2),...,(100,200)]
:param learning_rate: 學習速率
:return: 更新后的w和b
"""
b_gradient = 0
w_gradient = 0
N = float(len(points))
# 更新梯度
for i in range(0, len(points)):
x = points[i, 0]
y = points[i, 1]
# grad_b = 2(w * x + b - y)，b的求偏導結果
b_gradient += (2 / N) * ((w_current * x + b_current) - y) # update b
# grad_w = 2(w * x + b - y) * x，w的求偏導結果
w_gradient += (2 / N) * x * ((w_current * x + b_current) - y) # update w
# 更新后的w和b
new_b = b_current - (learning_rate * b_gradient)
new_w = w_current - (learning_rate * w_gradient)
return [new_b, new_w] # 回傳更新后的w和b
步驟4代碼：回圈訓練并更新w和b（此處我們回圈訓練1000次，而不是讓引數收斂）
def gradient_descent_runner(points, starting_b, starting_w, learning_rate, num_iterations):
"""
回圈訓練并更新w和b
:param points: 資料
:param starting_b: b的初始值
:param starting_w: w的初始值
:param learning_rate: 學習速率
:param num_iterations: 訓練次數
:return: 回傳訓練好的w和b
"""
b = starting_b
w = starting_w
# 回圈更新w和b
for i in range(num_iterations):
b, w = step_gradient(b, w, points, learning_rate)
return [b, w] # 回傳訓練好的b和w
# 回圈更新w和b
for i in range(num_iterations):
b,w = step_gradient(b,w,points,learning_rate)
return [b,w] # 回傳訓練好的b和w
步驟5代碼：最后得到函式模型\(f=w'*x+b'\)
五、總結
本篇文章講解了機器學習中較為簡單的線性回歸演算法，雖然很多細節沒有涉及到，例如噪聲的處理和正則化問題、方差和偏差問題、多元特征回歸……
但是本篇文章的核心目的還是想讓大家能夠利用numpy實作線性回歸模型，從最后的代碼中可以看出，利用numpy我們就是在把前面的各種數學語言一個一個實作，求誤差、求偏導、求梯度，這還只是最簡單的回歸問題，如果更復雜呢？我們也這樣，怕是能讓你禿頭，
也因此，我們不得不引出我們接下來要講的框架，他有什么好處，他的好處就是把我們上面的是三個函式封裝好了，你需要做的僅僅只是調個函式，傳個引數即可，
轉載請註明出處，本文鏈接：https://www.uj5u.com/qita/276106.html
標籤：其他