問題: 梯度下降法之使用各種函式(如多項式函式傅里葉級數)擬合正弦曲線

?1.三次函式擬合正弦余弦函式
?2.多項式函式擬合正弦余弦函式
?3.傅里葉級數擬合正弦余弦函式
?4.管他什么函式擬合什么函式
??理解了通通拿下好嘛 ! 怎么修改擬合函式見文末 q(≧▽≦q)
??ps：要是感覺博文亂沒有思緒，拿滑鼠對照左側目錄食用
?
??此處以三次函式為例，其他的函式擬合同理

在這里插入圖片描述

?
?
?
?

1.梯度下降法原理

??梯度下降相關公式
?
擬合的函數 : h ( x ) = ∑ i = 0 n θ i x i \qquad\qquad擬合的函式:\quad h(x)=\displaystyle\sum_{i=0}^{n} θ_ix_i 擬合的函數:h(x)=i=0∑n?θi?xi?
損失函數 : J ( θ ) = 1 2 m ∑ i = 1 m ( y ( i ) ? h θ ( x ( i ) ) ) 2 \qquad\qquad損失函式:\qquad J(θ)=\frac{1}{2m}\displaystyle\sum_{i=1}^{m}(y^{(i)}-h_θ(x^{(i)}))^2 損失函數:J(θ)=2m1?i=1∑m?(y(i)?hθ?(x(i)))2
求偏導 : ? J ( θ ) ? θ j = 1 m ∑ i = 1 m ( y ( i ) ? h θ ( x ( i ) ) ) x j ( i ) \qquad\qquad求偏導: \qquad \quad \frac{\partial J(\theta)}{\partial θ_j}=\frac1m\displaystyle\sum_{i=1}^{m}(y^{(i)}-h_θ(x^{(i)}))x^{(i)}_j 求偏導:?θj??J(θ)?=m1?i=1∑m?(y(i)?hθ?(x(i)))xj(i)?

迭代公式 : θ j = θ j ? α ? J ( θ ) ? θ j \qquad\qquad迭代公式: \qquad θ_j = θ_j - α\frac{\partial J(\theta)}{\partial θ_j} 迭代公式:θj?=θj??α?θj??J(θ)?

??原理不再贅述, 請參考檔案: https://blog.csdn.net/lilyth_lilyth/article/details/8973972
?
?
?
?
?

2.分析問題, 解題思路

??把公式寫成矩陣形式(嫌麻煩，這里只打出了部分) :

Θ = [ θ 1 θ 2 θ 3 θ 4 ] 4 × 1 X = [ x 0 ( 1 ) x 1 ( 1 ) x 2 ( 1 ) x 3 ( 1 ) x 0 ( 2 ) x 1 ( 2 ) x 2 ( 2 ) x 3 ( 2 ) ? ? ? ? x 0 ( m ) x 1 ( m ) x 2 ( m ) x 3 ( m ) ] m × 4 Y = [ y 1 y 2 ? y m ] m × 1 Θ= \begin{bmatrix} θ_1 \\ θ_2 \\ θ_3 \\ θ_4 \end{bmatrix}_{4\times1} \qquad \qquad X=\begin{bmatrix} x^{(1)}_0 & x^{(1)}_1 & x^{(1)}_2 & x^{(1)}_3 \\ x^{(2)}_0 & x^{(2)}_1& x^{(2)}_2 & x^{(2)}_3 \\ \vdots & \vdots & \vdots & \vdots \\ x^{(m)}_0 & x^{(m)}_1 & x^{(m)}_2& x^{(m)}_3 \end{bmatrix}_{m\times4} \qquad \qquad Y=\begin{bmatrix} y_1 \\ y_2 \\ \vdots \\ y_m \end{bmatrix}_{m\times1} Θ=?????θ1?θ2?θ3?θ4???????4×1?X=???????x0(1)?x0(2)??x0(m)??x1(1)?x1(2)??x1(m)??x2(1)?x2(2)??x2(m)??x3(1)?x3(2)??x3(m)?????????m×4?Y=??????y1?y2??ym????????m×1?

H ( X ) = X m × 4 Θ 4 × 1 = [ h ( x ( 1 ) ) h ( x ( 2 ) ) ? h ( x ( m ) ) ] m × 1 D = H ( X ) ? Y = [ h ( x ( 1 ) ) ? y 1 h ( x ( 2 ) ) ? y 2 ? h ( x ( m ) ) ? y m ] m × 1 H(X)=X_{m\times4}Θ_{4\times1}= \begin{bmatrix}h(x^{(1)}) \\ h(x^{(2)})\\ \vdots\\h(x^{(m)}) \end{bmatrix}_{m\times1} \qquad D = H(X)-Y =\begin{bmatrix}h(x^{(1)}) -y_1\\ h(x^{(2)})-y_2\\ \vdots\\ h(x^{(m)})-y_m \end{bmatrix}_{m\times1} H(X)=Xm×4?Θ4×1?=??????h(x(1))h(x(2))?h(x(m))???????m×1?D=H(X)?Y=??????h(x(1))?y1?h(x(2))?y2??h(x(m))?ym????????m×1?

???注：這個 x 2 ( i ) x^{(i)}_2 x2(i)?表示第 i 個樣本值的第2個分量，大寫通常指矩陣
?
?

??代碼需要用到的矩陣 :
?
????? 擬合值 : H ( X ) = X Θ 殘差 : D = H ( X ) ? Y 擬合值: H(X)=XΘ \qquad \qquad \qquad \ \ 殘差: D=H(X)-Y 擬合值:H(X)=XΘ 殘差:D=H(X)?Y

????? 損失函數 : J ( Θ ) = 1 2 m D T D 梯度 : ? J ( Θ ) ? Θ = 1 m X T D 損失函式: J(Θ)=\frac{1}{2m}D^TD \qquad \qquad 梯度: \frac{\partial J(Θ)}{\partial Θ}=\frac{1}{m}X^TD 損失函數:J(Θ)=2m1?DTD梯度:?Θ?J(Θ)?=m1?XTD

????? 迭代公式 : Θ = Θ ? α ? J ( Θ ) ? Θ 迭代公式: Θ=Θ-α\frac{\partial J(Θ)}{\partial Θ} 迭代公式:Θ=Θ?α?Θ?J(Θ)?

???注：待求向量 Θ \Theta Θ，樣本矩陣 X X X，實際值向量 Y Y Y ，擬合值向量 H ( X ) H(X) H(X)，殘差 D D D，學習率 α α α，樣本點個數 m m m
把這些還有上面的名字記好咯，別后面認不得了，
?
?
?
?

詳細的解題步驟及思路 :
?
??先寫一段廢話, 都用Python了嘛, 處理資料就少用for回圈, 多用用numpy, 要不然CPU跑起來可以烤蘿卜吃了，
所以說就有了上面把梯度相關公式寫成矩陣形式，
然后嘞，我們用 Θ 4 × 1 \Theta_{4\times1} Θ4×1? 來對應儲存 a, b, c, d ，
x _ v e c t o r = [ x 0 , x 1 , x 2 , x 3 ] x\_vector = [x_0, x_1, x_2, x_3] x_vector=[x0?,x1?,x2?,x3?] 來對應儲存 x 0 ， x ， x 2 ， x 3 x^0，x，x^2，x^3 x0，x，x2，x3，
然后我們一乘 ( x _ v e c t o r ) Θ (x\_vector) \Theta (x_vector)Θ, 這不就是 h ( x ) = a + b x + c x 2 + d x 3 h(x)=a+bx+cx^2+dx^3 h(x)=a+bx+cx2+dx3 嘛， (感謝我神凱利)
廢話就不多說了，下面正經走起，，，，
?
?
?
?
?

1.取樣本點

??先從區間(-π, π) 上取一些離散的樣本點 x ( i ) x^{(i)} x(i)，用以帶入 h ( x ) = a + b x + c x 2 + d x 3 h(x)=a+bx+cx^2+dx^3 h(x)=a+bx+cx2+dx3 來逼近 y = s i n x y=sinx y=sinx

domain = np.arange(-np.pi, np.pi, 0.1)  # 設定定義域

2.先創建用于輸出陣列的函式

??輸入一個離散點 x ( i ) x^{(i)} x(i)，對應運算后, 得到關于這個 x ( i ) x^{(i)} x(i) 的四個分量，
并儲存在陣列 x_vector = [ x 0 ( i ) , x 1 ( i ) , x 2 ( i ) , x 3 ( i ) ] [x^{(i)}_0, x^{(i)}_1, x^{(i)}_2, x^{(i)}_3] [x0(i)?,x1(i)?,x2(i)?,x3(i)?] 中，該題中即為向量 [ ( x ( i ) ) 0 , x ( i ) , ( x ( i ) ) 2 , ( x ( i ) ) 3 ] [\ (x^{(i)})^0, \ x^{(i)}, \ (x^{(i)})^2, (x^{(i)})^3 \ ] [ (x(i))0, x(i), (x(i))2,(x(i))3 ]
??注 : 這一步很重要, 也是程式能擴展的核心代碼
比如后面的用傅里葉級數擬合 s i n x sinx sinx

x_vector = lambda x: np.array([ x**0, x, x**2, x**3 ])  # 為簡潔, 使用lambda運算式

3.創建列向量 Θ Θ Θ

??用于對應儲存待定常數a, b, c, d
直接用np.zeros()初始化這個陣列 , 然后再用.reshape()給它轉化成4x1的陣列
這里的引數4是因為樣本點有4個分量, 即 [ x 0 ( i ) , x 1 ( i ) , x 2 ( i ) , x 3 ( i ) ] [x^{(i)}_0, x^{(i)}_1, x^{(i)}_2, x^{(i)}_3] [x0(i)?,x1(i)?,x2(i)?,x3(i)?]
??注 : 此步重要程度及原因同步驟2

theta = np.zeros(4).reshape(4, 1)

4.創建樣本矩陣 X X X

??把你第1步取好的離散點陣列 domain 帶入函式 x_vector ，你會得到一個 4×m 的陣列，
你用.transpose()給它轉一下，樣本矩陣 x 就是m×4的了，

m = len(domain)
alpha = 0.01                            # 學習率
error = 1                               # 初始化擬合誤差
x = hx(domain).transpose()              # x的樣本矩陣 
y = np.sin(domain).reshape(m, 1)        # 被擬合的函式

5. 定義損失函式和梯度函式

??不用多說了吧，參照上面給的損失函式矩陣，對應乘就行了，
但是我還是要說一下，fun_error用來后面主程式中確定擬合精度用的，fun_error值越小，h(x)擬合sinx的效果越好

def fun_error(theta, x, y):             # 定義損失函式
    diff = np.dot(x, theta) - y			# 殘差 diff
    return (1/2m)* np.dot(diff.transpose(), diff)

def fun_gradient(theta, x, y):          # 定義梯度函式
    diff = np.dot(x, theta) - y			# 殘差 diff
    return (1/m) * np.dot(x.transpose(), diff)

6. 主程式：迭代 Θ \Theta Θ了

??根據上面給的迭代公式算就行了，

while abs(error) >= 0.01:               # 主程式: 梯度下降
    error = fun_error(theta, x, y)
    gradient = fun_gradient(theta, x, y)
    theta = theta - alpha * gradient

7. 最后呢，就畫個圖樂一下吧

??畢竟對于老司機來說，影像更有視覺沖擊力

print('所求引數向量θ為:\n', theta)
h = np.dot(x, theta)
plt.plot(domain, y, "*")
plt.plot(domain, h)
plt.show()

?
?
?
?
?

3. 完整代碼

import numpy as np
import matplotlib.pyplot as plt

###############此段代碼根據擬合題目修改######################
x_vector = lambda x: np.array([ x**0, x, x**2, x**3 ])
theta = np.zeros(4).reshape(4, 1)       # 待求引數Θ 此處4為變數個數
domain = np.arange(-np.pi, np.pi, 0.1)  # 設定定義域
#########################################################

m = len(domain)
alpha = 0.01                            # 學習率
error = 1                               # 初始化擬合誤差
x = x_vector(domain).transpose()              # x的樣本矩陣 
y = np.sin(domain).reshape(m, 1)        # 被擬合的函式

def fun_error(theta, x, y):             # 定義損失函式
    diff = np.dot(x, theta) - y			# 殘差 diff
    return (1/2m)* np.dot(diff.transpose(), diff)

def fun_gradient(theta, x, y):          # 定義梯度函式
    diff = np.dot(x, theta) - y			# 殘差 diff
    return (1/m) * np.dot(x.transpose(), diff) 
                             
while abs(error) >= 0.01:               # 主程式: 梯度下降
    error = fun_error(theta, x, y)
    gradient = fun_gradient(theta, x, y)
    theta = theta - alpha * gradient

print('所求引數向量θ為:\n', theta)
h = np.dot(x, theta)
plt.plot(domain, y, "*")
plt.plot(domain, h)
plt.show()

?
?
?
?
?

4.關于題目的擴展及總結

??什么用 h ( x ) = a + b x + c x 2 + d x 3 + s i n x h(x)=a+bx+cx^2+dx^3+sinx h(x)=a+bx+cx2+dx3+sinx 啊，傅里葉擬合正弦函式或者擬合其他函式啊，改一改 x _ v e c t o r x\_vector x_vector， Θ \Theta Θ 等引數(見下列代碼塊)就行了，

x_vector = lambda x: np.array([ x**0, x, x**2, x**3, np.sin(x) ])
theta = np.zeros(5).reshape(5, 1)       # 待求引數Θ

x_vector = lambda x: np.array([ x**0, np.sin(x), np.cos(x), np.sin(2*x), np.cos(2*x) ])
theta = np.zeros(5).reshape(5, 1)       # 待求引數Θ

??用陣列或者矩陣來處理梯度下降這個問題簡潔且快速，
?
?
?
?
?

寫在最后的話

??第一次發CSDN，敲打了一下午公式，排版了一晚上，話有點多有點啰嗦，看完一遍感覺有思路點亂可以結合目錄再看一遍，要還是感覺亂還請多多包涵，觀眾老爺給個三連吧，
?
?
本篇也參考了其它一些文章，特此感謝！
參考檔案：
https://blog.csdn.net/yhao2014/article/details/51554910
https://blog.csdn.net/lilyth_lilyth/article/details/8973972
https://blog.csdn.net/asahinokawa/article/details/80846439
?
?
?

轉載請註明出處，本文鏈接：https://www.uj5u.com/houduan/273730.html

標籤：python

上一篇：關于數字影像處理中的幾種濾波演算法

下一篇：Python爬取網頁的所有內外鏈

梯度下降法擬合正弦曲線Python 多項式函式傅里葉通用可擴展代碼