正規方程
正規方程用于一次性求解 \(\theta\) 的最優值，
在計算的時候，將資料集構造為一個矩陣（第一列為 \(x_0\) 均等于\(1\)）:
通過公式：
\[\theta = (X^TX)^{-1}X^Ty \]計算得到最優解 \(\theta\)，
關于\(X\)的設計
對于第 \(i\) 組資料：
\[x^{(i)} = \begin{bmatrix} x_0^{(i)} \\ x_1^{(i)} \\ x_2^{(i)} \\ \vdots \\ x_n^{(i)} \end{bmatrix} \in \mathbb{R}^{n+1}\quad (1\le i\le m) \]將其轉置后置于 \(X\) 的第 \(i\) 行：
\[X = \begin{bmatrix} \cdots (x^{(1)})^T \cdots \\ \cdots (x^{(2)})^T \cdots \\ \vdots \\ \cdots (x^{(m)})^T \cdots \\ \end{bmatrix} \]\(X\) 為\(m\times(n+1)\) 規模的矩陣，
正規方程和梯度下降的區別
梯度下降
- 需要選擇合適的學習率 \(\alpha\)
- 需要特征縮放
- 需要迭代計算
- 當問題規模較大時也可以正常運行
正規方程
- 不需要選擇學習率 \(\alpha\)
- 不需要特征縮放
- 不需要迭代計算
- 需要進行矩陣的求逆和乘法運算，時間復雜度較高
- 當問題規模較大時，計算較慢
二者如何選擇
經驗數值：一般當 \(n\le 10000\) 時，正規方程優于梯度下降，
正規方程中的矩陣不可逆情況
在正規方程的計算程序中，需要對矩陣 \(X\) 求解逆矩陣，
矩陣不可逆的充分必要條件：矩陣 \(X\) 的列（行）向量組線性相關，
在正規方程的計算程序中，可能出現矩陣不可逆的情況有以下兩種：
- 包含了多余的特征
有多余的特征意味著矩陣 \(X\) 的其中一個特征可以由另外的特征表示，即矩陣 \(X\) 的列向量組線性相關，矩陣不可逆，
- 特征太多，多于資料數量
轉載請註明出處，本文鏈接：https://www.uj5u.com/qita/551321.html
標籤：其他
下一篇：返回列表