說明：本博客中的分析思路、舉例、部分插圖等均來源于吳恩達教授在斯坦福大學公開課《機器學習》中的講解內容！
一、概述
單變數線性回歸演算法屬于監督學習的一類，所謂回歸是指我們根據之前的資料預測一個較為準確的輸出值，即我們給演算法一定的訓練集，訓練集中的每一個訓練樣本均為“正確答案”，演算法通過對訓練集的學習而建立起合適的模型用以預測新的輸入值對應的輸出值，
二、從一個例子說起
在斯坦福公開課中，通過這么一個例子引入單變數線性回歸演算法的問題，即“根據房子面積預測房子售價”，如圖2.1所示，我們已知一組資料集，資料集中的資料描述了房屋面積與價格的對應關系，且該資料集中的每一個樣本都是正確的，我們現在要做的就是根據已有訓練集去建立起一個合適的模型，讓我們可以通過這個模型去預測一些資料集中所沒有的房屋面積對相應的房屋價格，在單變數線性回歸演算法中，這個所謂的“模型”便是一條“一元一次方程”直線，因此，通俗的講，我們要做的就是尋找一條與已有資料集盡量擬合的一元一次方程，這里要提到一點，所謂“回歸”與“擬合”并不完全等同，但作為初學者來說難以對兩者進行明確的區分，且個人認為，在初學階段，用“擬合”來幫助理解“回歸”并無不妥，至于兩者間的區別可參考文章線性回歸中“回歸”的含義，文章作者從歷史發展的角度解讀了“擬合”與“回歸”，
三、獲得模型的宏觀程序
根據上述可以知道,我們所要建立的模型形式為一元一次方程，我們不妨將其設為h(x)=θ0+ θ1 *x，h(x)稱為“假設（hypothesis）”，也就是我們要求的模型，設定好假設形式后，我們從更宏觀的角度看一下我們得到最終h(x)的整個程序，如圖3.1所示，我們將訓練集(Training Set)輸入學習演算法(Learning Algorithm)，經過訓練之后得到假設h(x)，然后，我們便可通過假設h(x)對其他面積的房屋價格進行預測，
四、對“假設”擬合程度的考察——代價函式（cost function）
在二維平面上有著無數條一元一次方程直線，那么該如何判斷哪條直線是最合適、是跟訓練集擬合程度最高的呢？這里就引入了“代價函式”的概念，顧名思義，一條直線的代價函式所描述的是“用這條直線代替訓練集中的點后引起的誤差”，我們將這個“誤差”稱為“代價”，
我們首先引入代價函式的形式，再對代價函式進行分析，代價函式形式如圖4.1，
圖中，x^(i)代表訓練集中第i個樣本的輸入值，y^(i)代表訓練集中第i個樣本的輸出值，hθ (x^(i))代表“假設函式對應于訓練集中第i個樣本輸入值的輸出值”，m代表訓練樣本的數量，在整個代價函式的公式中，不可知的量只有θ0與 θ1，也就是最終決假設函式的兩個量，為了更直觀的理解該公式，我們引入圖4.2
在圖4.2中，×所對應的坐標即為x^(i)與y^(i)，由×向x軸做垂線，垂線與斜線的交點對應的y軸坐標即為hθ (x^(i))，因此公式中的“hθ(x^(i))-y^(i)”就是用擬合直線值代替離散值后在第i個樣本處引起的誤差，那么明顯可以看出，代價函式所求的是“用擬合直線代替離散點后在所有訓練樣本處引起的誤差的平方和的均值”，當該代價函式值越小，說明假設函式與訓練集的擬合程度越高，也就是說假設函式越“合適”，
接下來的思路就很明確了——求代價函式的極小值點，將代價函式在極小值點對應的θ0與 θ1代入假設，就可以得到擬合程度最高的假設函式了，值得強調的是，代價函式公式中，求和符號前面乘了1/2m，而求誤差均值的應該乘1/m，這里純粹是為了后續計算方便，實際上，我們接下來的操作是求代價函式的極小值點，所以在求和符號前乘以任意一個不為零的常數都對求代價函式的極小值點是沒影響的，
五、求代價函式極小值點——梯度下降演算法
（一）梯度下降演算法的形象理解
在求代價函式極小值的程序中用到了“梯度下降”演算法，我們可以用下山來比較形象的理解梯度下降的原理：我們首先選定山上的某一點作為起點，然后環視四周，選擇一個能讓自己高度下降的方向向前走一步，然后重復上述程序，那我們就能逐步的到達山的最低點，但很明顯的是，梯度下降演算法存在一定的缺陷，即當我們選定的初始點不同時，到達的最低點也可能不同，即我們的演算法可能陷入區域極小值點而無法到達全域極小值點或者說最小值點，如圖5.1所示，但是在單變數線性回歸演算法中，我們的代價函式影像是一個凹影像，如圖5.2所示，因此在本文章中就可以暫且不考慮這個問題，
與此同理，首先我們隨意給定θ0與θ1 一個初始值，然后不斷迭代執行梯度下降演算法，最終即可到達代價函式的最小值點，
（二）梯度下降演算法的公式及分析
首先引入單變數線性回歸演算法中梯度下降公式，如圖5.3
公式中的𝑎為正數，它代表是學習率，決定了我們沿著能讓代價函式下降程度最大的方向向下邁出的步子有多大，他的選擇也是十分重要的，接下來通過圖片說明梯度下降演算法為什么可以使我們到達代價函式最小值點，以θ1為例進行說明，如圖5.4
假設θ1的起始點在1處，則其導數為正數，因為學習率也為正數，則經過梯度下降公式后，θ1的值更新為“其自身減去一個正數”，也就是說變小了，那么有可能跳到了點2；再次應用梯度下降公式，因為點2處為負數而學習率為正數，那么θ1的值更新為“其自身減去一個負數”，也就是說變大了，那么有可能跳到了點3；如此反復進行，則從x軸來看，θ1的值在一次次運用梯度下降公式的程序中逐步接近了代價函式的極小值點，這就達到了我們的目的，
（三）學習率的選擇
在上一部分說到學習率的選擇十分重要，因為學習率決定了函式將以怎樣的速度逼近最小值點，所以合適的學習率能保證函式在不出問題的前提下以最快的速度到達最小值點，減少程式迭代次數，接下來將通過兩個極端情況的例子來說明學習率選擇中可能出現的問題：
當學習率過小時，函式仍然能逼近最小值點，但逼近速度非常慢，需要更多的迭代次數，也就意味著程式計算量加大，運行速度減慢，如圖5.5
當學習率過大時，可能會導致θ1變化幅度過大，導致其在最小值點兩邊震蕩甚至距離最小值點越來越遠，如圖5.6
對我而言，我喜歡用的方式是先將學習率設為一個較小的值（如：0.00001），然后畫出代價函式影像，只要代價函式影像是“單調不增”’的，那么就將學習率改為原來的三倍，再次觀察代價函式影像，如此反復，最終選擇那個能讓代價函式保持單調不增的最大的學習率作為最終學習率，
（四）同步更新問題
因為單變數線性歸回演算法中涉及到了兩個未知數θ0與 θ1，因此上述的梯度下降演算法要應用到兩個未知量之上，如圖5.7
但該公式實際上是存在問題的，在執行完第一條之后，θ0的值已經改變，再執行第二條時，第二條公式中θ0的值已經不是初始值，這樣就相當于先更新了θ0的值后更新了θ~1~的值，且先更新的θ0對后更新的θ1產生了影響，因此，我們應對兩個未知量進行同步更新，如圖5.8
六、單變數線性回歸演算法的Python實作
（一）產生訓練集
采用隨機函式產生50個1到300的不重復的亂數作為訓練集中y的值，50個1到300的不重復的亂數作為訓練集中x的值
import random #提供random.sample函式
x=random.sample(range(1,300),50)
y=random.sample(range(1,300),50) #采用sample抽樣的方式即可達到不重復的目的
（二）排序
對x與y進行排序，使離散點大概復合一元一次方程形式
x.sort()
y.sort()（三）實作梯度下降演算法，假設h(x)=ax+b
k=0.00001 #學習率
i=1 #記錄迭代次數
j=0 #用于求和次數
sum=0 #用于記錄求和值
temp_a=[] #記錄a每次迭代后的值
temp_b=[] #記錄b每次迭代后的值
J=[] #記錄每次迭代后的代價函式值
a=b=5 #a與b的初始值
temp_a.insert(0,5) #給記錄a,b變化的陣列初值賦為5
temp_b.insert(0,5)
while j<=49: #計算代價函式值初始值
sum+=(a*x[j]+b-y[j])**2
j+=1
sum/=100
J.insert(0,sum)
while i<=100: #通過回圈進行100次迭代
j=0 #設定初始值
sum=0
while j<=49: #計算a迭代后的數值
sum+=(a*x[j]+b-y[j])*x[j]
j+=1
sum/=50
temp_a.insert(i,a-k*sum)
j=0 #設定初始值
sum=0
while j<=49: #計算b迭代后的數值
sum+=(a*x[j]+b-y[j])
j+=1
sum/=50
temp_b.insert(i,b-k*sum)
a=temp_a[i] #同步更新
b=temp_b[i]
j=0 #設定初始值
sum=0
while j<=49: #計算迭代后的代價函式值
sum+=(a*x[j]+b-y[j])**2
j+=1
sum/=100
J.insert(i,sum)
i+=1 #迭代次數加1（四）繪制影像
import numpy as np
import matplotlib.pyplot as plt
colors1 = '#00CED1' #點的顏色
##(1)畫代價函式的圖
plt.figure()
plt.xlabel('times')
plt.ylabel('J(a,b)')
i=np.linspace(0,100,101)
area = np.pi * 2**2 # 點面積
plt.plot(i,J,'-r',label='cost function')
plt.legend() #給影像加圖例，圖例格式默認
##(2)畫訓練集和擬合直線的圖########
plt.figure()
plt.xlabel('X')
plt.ylabel('Y')
plt.xlim(xmax=300,xmin=0)
plt.ylim(ymax=300,ymin=0)
plt.scatter(x, y, s=area, c=colors1, alpha=0.4, label='Training set')# 畫訓練集與假設圖（五）最終代碼及運行結果
#####1.采用隨機函式產生50個1到300的不重復的亂數作為訓練集中y的值，50個1到300的不重復的亂數作為訓練集中x的值#####
import random #提供random.sample函式
x=random.sample(range(1,300),50)
y=random.sample(range(1,300),50) #采用sample抽樣的方式即可達到不重復的目的
#####2.對x與y進行排序，使離散點大概復合一元一次方程形式##########################################################與y進行排序，使離散點大概復合一元一次方程形式##########################################################
x.sort()
y.sort()
#####3.實作演算法，假設h(x)=ax+b#####################################################################################
k=0.00001 #學習率
i=1 #記錄迭代次數
j=0 #用于求和次數
sum=0 #用于記錄求和值
temp_a=[] #記錄a每次迭代后的值
temp_b=[] #記錄b每次迭代后的值
J=[] #記錄每次迭代后的代價函式值
a=b=5 #a與b的初始值
temp_a.insert(0,5) #給記錄a,b變化的陣列初值賦為5
temp_b.insert(0,5)
while j<=49: #計算代價函式值初始值
sum+=(a*x[j]+b-y[j])**2
j+=1
sum/=100
J.insert(0,sum)
while i<=100: #通過回圈進行100次迭代
j=0 #設定初始值
sum=0
while j<=49: #計算a迭代后的數值
sum+=(a*x[j]+b-y[j])*x[j]
j+=1
sum/=50
temp_a.insert(i,a-k*sum)
j=0 #設定初始值
sum=0
while j<=49: #計算b迭代后的數值
sum+=(a*x[j]+b-y[j])
j+=1
sum/=50
temp_b.insert(i,b-k*sum)
a=temp_a[i] #同步更新
b=temp_b[i]
j=0 #設定初始值
sum=0
while j<=49: #計算迭代后的代價函式值
sum+=(a*x[j]+b-y[j])**2
j+=1
sum/=100
J.insert(i,sum)
i+=1 #迭代次數加1
#####4.開始畫圖################################################################################################
import numpy as np
import matplotlib.pyplot as plt
colors1 = '#00CED1' #點的顏色
##(1)畫代價函式的圖
plt.figure()
plt.xlabel('times')
plt.ylabel('J(a,b)')
i=np.linspace(0,100,101)
area = np.pi * 2**2 # 點面積
plt.plot(i,J,'-r',label='cost function')
plt.legend() #給影像加圖例，圖例格式默認
##(2)畫訓練集和擬合直線的圖########
plt.figure()
plt.xlabel('X')
plt.ylabel('Y')
plt.xlim(xmax=300,xmin=0)
plt.ylim(ymax=300,ymin=0)
plt.scatter(x, y, s=area, c=colors1, alpha=0.4, label='Training set')# 畫訓練集與假設圖
n=np.linspace(0,300,1500) #在0~300間均勻取1500個資料
m=a*n+b
plt.plot(n,m,'-r',label='h(x)')
plt.legend() #給影像加圖例，圖例格式默認
plt.show()代價函式與擬合結果如圖6.1、6.2所示
左肩理想右肩擔當，君子不怨永遠不會停下腳步！
轉載請註明出處，本文鏈接：https://www.uj5u.com/ruanti/31773.html
標籤：其他
上一篇：03python—9個基礎常識-python小白入門系列
下一篇：閉包知多少