一. 一元線性回歸
對于線性回歸最簡單的就是一元線性回歸，我們先拿一元線性回歸作為入門的例子，等理解了這個，對于多元線性回歸也就好理解了，都是一樣的道理（對不起大家字寫的不好！）
1.1官方定義
百科的定義：線性回歸是利用數理統計中回歸分析，來確定兩種或兩種以上變數間相互依賴的定量關系的一種統計分析方法，運用十分廣泛，其表達形式為y = wx+b+e，e為誤差服從均值為0的正態分布(此處我加上了偏置b，定義上是沒有的，因為在最終的求解中我們需要求得b的解，所以是需要的，)，
一元線性函式：y = wx + b這個式子比較簡單，相信大家在初高中都學過，就是由w、b控制二維空間中的一條直線.而y' = w'x + b' + e 就是我們根據樣本資料擬合出來的一條直線，e為誤差，實際上 y=y'.
1.2一元線性回歸推導
（1）從誤差著手：
----1
式中ε為誤差
由于誤差服從正太分布（高斯分布），正太分布概率密度函式為：
----2
（2）將1式代入2式：
（3）接下來就是使用最大似然估計來求解上式，但是在此之前先說一下概率密度函式和最大似然函式，不然很多同學、同志對這兩步怎么來的和為什么要這么做不是很清楚，
歸根結底我們要求得y-y'最小時w和b的值，換句話說就是求得誤差最小時的w和b，公式2概率密度函式是一個均值為0的函式，因為誤差均值為0，也就是關于y軸對稱，如下圖：
將1式代入2式后，現在變成了求解關于w、b的函式P（yi|xi;w,b）概率問題，其中P（yi|xi;w,b）yi、xi是已知量，而要求的是w,也就是w的值對應的是誤差的概率值，我們希望誤差越小越好，
由上圖可知，誤差越接近0概率越大，所以引出最大似然估計，就是求得所有樣本的誤差概率乘積最大，也就是誤差最小，對應的w、b就是我們要求得的值，
似然函式為：
（4）為了方便計算轉換成對數似然，因為可以將連乘轉換為加法運算，并且兩邊同時取對數，不影響結果，m為樣本個數：
（5）化解上式：
（6）由于讓似然函式越大越好，誤差和也就越小，所以：
（7）又因為：
（8）所以分別對b、w進行求解偏導，然后導數為0時取得最小值解
對b求偏導：
對w求偏導：
如上圖，對w求偏導將b代入后很容易就求得結果，但是這種形式對于計算機矩陣計算來講會增加復雜度，所以要對其進行轉換，最終轉換成了協方差的形式，其中涉及到一個轉換的技巧 在方塊中后的箭頭進行了推導，
二. 多元線性回歸
2.1 求解方式一正規方程求解
對于多元線性回歸直接寫到紙上進行拍照
第一種求解方式，正規方程解：
2.2 求解方式一正規方程求解
第二種求解方式，梯度下降：
最終寫成了向量的形式：
2.3 梯度下降求解Python實作
1 #!/usr/bin/env python 2 # -*- coding: utf-8 -*- 3 __author__ = 'zqf' 4 5 import numpy as np 6 import matplotlib.pyplot as plt 7 8 9 def j(x, y, theta): 10 """ 11 損失函式 12 :param x: 訓練資料的x 13 :param y: 訓練資料標簽y 14 :param theta: 梯度值 array 15 :return: 損失值的平均值 16 """ 17 return np.sum((y - x.dot(theta)) ** 2) / len(x) 18 19 20 def dj(x, y, theta): 21 """ 22 梯度計算函式 23 :param x: 訓練資料的x 24 :param y: 訓練資料標簽y 25 :param theta: 梯度值 array 26 :return: 梯度 27 """ 28 return x.T.dot(x.dot(theta) - y) * 2 / len(x) 29 30 31 def gradient_descent(initial_theta, epsilon, x, y, eta, max_iter): 32 """ 33 梯度下降計算 34 :param initial_theta: 初始化theta 35 :param epsilon: 損失最小閾值 36 :param x: 訓練資料的x 37 :param y: 訓練資料標簽y 38 :param eta: 學習率 39 :param max_iter: 最大迭代次數 40 :return: 回傳theta array（1， n+1），第一列為截距 41 """ 42 theta = initial_theta 43 i = 0 44 while i < max_iter: 45 gradient = dj(x, y, theta) 46 last_theta = theta 47 theta = theta - (eta * gradient) 48 if abs(j(x, y, theta) - j(x, y, last_theta)) < epsilon: 49 break 50 i += 1 51 return theta 52 53 54 if __name__ == '__main__': 55 train_X = 3 * np.random.random(size=100) 56 train_y = 5 * train_X + 9 + np.random.normal(size=100, scale=1) 57 train_X_b = np.hstack((np.ones([len(train_X), 1]), train_X.reshape(-1, 1))) 58 59 theta_ = gradient_descent(initial_theta=np.zeros(train_X_b.shape[1]), 60 epsilon=1e-4, 61 x=train_X_b, 62 y=train_y, 63 eta=0.01, 64 max_iter=1e8) 65 66 # 繪圖 67 plt.scatter(train_X, train_y) 68 plt.plot(train_X, train_X * theta_[1:] + theta_[0]) 69 plt.show()
轉載請註明出處，本文鏈接：https://www.uj5u.com/qita/45461.html
標籤：其他