線性回歸（Linear Regression）——原理、均方損失、小批量隨機梯度下降

1. 線性回歸

　　回歸（regression）問題指一類為一個或多個自變數與因變數之間關系建模的方法，通常用來表示輸入和輸出之間的關系，

　　機器學習領域中多數問題都與預測相關，當我們想預測一個數值時，就會涉及到回歸問題，如預測房價等，（預測不僅包含回歸問題，還包含分類問題）

　　線性回歸（Linear Regression），自變數 $\textbf x$ 與因變數 $y$ 之間的關系是線性的，即 $y$ 可以表示為 $\textbf x$ 中元素的加權和，

　　我們用 $n$ 來表示資料集中的樣本數，對索引為 $i$ 的樣本，其輸入表示為 $\textbf x^{\left ( i \right )}= \begin{bmatrix} x_{1}^{\left ( i \right )} & x_{2}^{\left ( i \right )}\end{bmatrix}^T$ ，其對應的標簽為 $y^{\left ( i \right )}$ ，（這里的輸入 $\textbf x$ 包含2個特征）

2. 線性模型

2.1 一個簡化模型

　　假設1：影響房屋價格的關鍵因素是臥室個數、衛生間個數、居住面積，記為 $x_{1}$ ，$x_{2}$ ，$x_{3}$ ，

　　假設2：房屋價格 $y$ 是關鍵因素的加權和，$y=w_{1}x_{1}+w_{2}x_{2}+w_{3}x_{3}+b$ ，

　　上式中的 $x_{1}$ ，$x_{2}$ ，$x_{3}$ 稱為特征， $w_{1}$ ， $w_{2}$ ， $w_{3}$ 稱為權重（weight），$b$ 稱為偏置（bias），或偏移量、截距，權重決定了每個特征對我們預測值的影響，偏置是指所有特征為0時，預測值應為多少，既是現實中不會有房子居住面積為 $0$ ，或者沒有臥室，但我們仍需要偏置項，因為它拓展了模型的表達能力，

2.2 線性模型

　　給定一個資料集，我們的目標是尋找模型的權重 $\textbf w$ 和偏置 $b$ ，使得根據模型做出的預測大體符合資料里的真實價格，

　　當輸入包含 $d$ 個特征時，我們將預測結果 $\hat{y}\in\mathbb{R}$ 表示為：

$$\hat{y}=w_{1}x_{1}+\cdots+w_{d}x_{d}+b$$

　　我們用向量使表示更簡潔，特征向量 $\textbf x\in\mathbb{R}^{d}$ ，權重向量 $\textbf w\in\mathbb{R}^{d}$ ，偏置 $b\in\mathbb{R}$ ，即：

$$\textbf x=\begin{bmatrix}x_{1} & x_{2} & \cdots & x_{d} \end{bmatrix}^T ， \textbf w=\begin{bmatrix}w_{1} & w_{2} & \cdots & w_{d} \end{bmatrix}^T ， b$$

　　該模型可以用點積式表示：

$$\hat{y}=\textbf w^{T}\textbf x+b$$

　　上式中，向量 $\textbf x$ 僅對應于單個資料樣本的特征，我們使用 $\textbf X\in\mathbb{R}^{n\times d}$ 來表示整個資料集的 $n$ 個樣本， $\textbf X$ 的每一行是一個樣本，每一列是一種特征，

　　對于特征集合 $\textbf X$ ，預測值向量 $\hat{\textbf y}\in\mathbb{R}^{n}$ 可以通過矩陣-向量乘法表示為：

$$\hat{\textbf y}=\textbf X\textbf w+b$$

　　在開始尋找最優的模型引數 $\textbf w$ 和 $b$ 之前，我們還需要了解：模型質量的度量方式、更新和優化模型引數的方法，

3. 損失函式——平方損失

　　損失函式可以量化目標的真實值和預測值之間的差距，通常使用非負數作為損失，數值越小表示損失越小，完美預測時為 $0$ ，回歸問題中最常用的損失函式就是平方損失函式，

　　當樣本 $i$ 的預測值為 $\hat{y}^{\left ( i \right)}$ ，其對應的真實標簽為 $y^{\left ( i \right)}$ 時，平方損失可以表示為：

$$l^{\left ( i \right)}\left ( \textbf w,b \right)=\frac{1}{2}\left( \hat{y}^{\left ( i \right)}-y^{\left ( i \right)}\right)^{2}$$

　　$\frac{1}{2}$ 是為了求導方便，

　　為了度量模型在整個資料集上的質量，我們計算在訓練集上 $n$ 個樣本的損失均值：

$$L\left( \textbf w,b \right)=\frac{1}{n}\sum_{i=1}^{n}l^{\left( i \right )}\left( \textbf w,b \right )=\frac{1}{n}\sum_{i=1}^{n}\frac{1}{2}\left( \textbf w^{T}\textbf x^{\left( i \right)}+b-y^{\left( i \right)}\right)^{2}=\frac{1}{2n}\Vert \textbf X\textbf w+b-\textbf y\Vert_2$$

 　　在訓練模型時，我們希望找到一組引數 $\left(\textbf w^{*},b^{*}\right)$ ，能夠最小化在訓練集上的損失，表示如下：

$$\textbf w^{*},b^{*}=\mathop{\arg\min}_{\textbf w,b}L\left(\textbf w,b\right)$$

4. 決議解（顯式解）

　　線性回歸是一個非常簡單的優化問題，它的解可以用一個公式簡單地表達出來，這類解叫做決議解（Analytical solution），下面進行求解：

　　首先將偏置 $b$ 合并到權重 $\textbf w$ 中，即 $\textbf X \leftarrow \begin{bmatrix} \textbf X & \textbf 1 \end{bmatrix}$ ，$\textbf w \leftarrow \begin{bmatrix}\textbf w \\ b \end{bmatrix}$ ，此時，$\textbf X \in\mathbb{R}^{n\times \left(d+1\right)}$ ，$\textbf w \in\mathbb{R}^{d+1}$ ，

　　我們的目標是，最小化損失（下式）：

$$L\left( \textbf w \right)=\frac{1}{2n}\Vert \textbf y-\textbf X\textbf w \Vert_2$$

　　損失函式對引數 $\textbf w$ 求導：

$$\frac{\partial L\left(\textbf w \right )}{\partial \textbf w}=\frac{\partial L}{\partial \left(\textbf y-\textbf X\textbf w\right)}\frac{\partial \left(\textbf y-\textbf X\textbf w\right)}{\partial \textbf X\textbf w}\frac{\partial \textbf X\textbf w}{\partial \textbf w}$$

$$=\frac{1}{n}\left(\textbf y-\textbf X\textbf w\right)^{T}_{\left(1,n\right)}I_{\left(n,n\right)}X_{\left(n,d\right)}$$

$$=\frac{1}{n}\left(\textbf y-\textbf X\textbf w \right )^{T}\textbf X$$

　　損失函式是凸函式（不知道為什么,搞懂了再來寫），所以最小值滿足：

$$\frac{\partial L\left(\textbf w\right)}{\textbf w}=0$$

$$\frac{1}{n}\left(\textbf y-\textbf X\textbf w \right )^{T}\textbf X=0$$

$$\textbf w^{*}=\left(\textbf X^{T}\textbf X\right)^{-1}\textbf X\textbf y$$

5. 小批量隨機梯度下降（minibatch stochasitc gradient descent）

5.1 梯度下降

　　大多數深度學習的問題無法得到決議解，這種情況下，我們仍可以有效的訓練模型，

　　梯度下降（gradient descent）演算法是深度學習中常用的優化演算法，它可以優化幾乎所有的深度學習模型，原理是通過不斷地在損失函式遞減的方向上更新引數來降低損失，

　　梯度下降最簡單的用法是計算損失函式（訓練集中所有樣本的損失均值）關于模型引數的導數（又稱梯度），

　　簡要程序如下：

　　首先隨機初始化模型引數 $\textbf w_{0}$ ，

　　然后按照 $\textbf w_{t}=\textbf w_{t-1}-\eta\frac{\partial L\left(\textbf w\right)}{\partial \textbf w_{t-1}}$ 公式來更新引數，$t$ 為迭代引數，$\eta$ 為學習率（步長），

5.2 小批量隨機梯度下降

　　在實際的訓練中，梯度下降的方法可能非常慢，因為每一次更新引數之前，必須遍歷整個訓練集，所以，我們通常會在每次需要計算更新的時候隨機抽取一小批樣本，這種變體叫做小批量隨機梯度下降（minibatch stochastic gradient descent），在這種方法中，我們隨機采樣若干個樣本來近似整個訓練集的損失，

　　程序如下：

　　在每次迭代中，我們首先隨機抽樣一個小批量 $\Beta$ ，它由固定數量的訓練樣本組成，

　　然后我們計算小批量的平均損失關于模型引數的導數（梯度）， $\left|\Beta\right|$ 為批量大小（batch size），并乘上一個學習率（learning rate） $\eta$ ，從當前引數值中減去：

$$\textbf w\leftarrow \textbf w - \frac{\eta}{\left|\Beta\right|}\sum_{i\in\Beta}\frac{\partial l^{\left(i\right)}\left(\textbf w\right)}{\partial \textbf w}$$

　　對于線性回歸的引數 $\textbf w$ 和 $b$ ，可以明確地寫成如下形式：

$$\textbf w \leftarrow \textbf w - \frac {\eta} {\left|\Beta\right|}\sum_{i\in\Beta}\frac{\partial l^{\left(i\right)}\left(\textbf w,b\right)}{\partial \textbf w} = \textbf w - \frac{\eta}{\left| \Beta \right|} \sum_{i \in \Beta} \textbf x^{\left(i\right)} \left( \textbf w^{T} \textbf x^{\left(i\right)} + b - y^{\left(i\right)} \right)$$

$$b \leftarrow b - \frac {\eta} {\left|\Beta\right|}\sum_{i\in\Beta}\frac{\partial l^{\left(i\right)}\left(\textbf w,b\right)}{\partial b} = b - \frac{\eta}{\left| \Beta \right|} \sum_{i \in \Beta} \left( \textbf w^{T} \textbf x^{\left(i\right)} + b - y^{\left(i\right)} \right)$$

本文為學習筆記，學習內容來自李沐 https://zh-v2.d2l.ai/

標籤：其他

上一篇：深度學習中的梯度計算（矩陣向量求導）

下一篇：樹莓派遠程連接工具VNC使用教程