1.線性回歸
（1）單變數線性回歸
線性回歸才是真正用于回歸的，而不像logistic回歸是用于分類，其基本思想是用梯度下降法對最小二乘法形式的誤差函式進行優化，
假設函式：
代價函式：
即每一個點的預測值和真實值的差距都要小，故可用求方差的方法，將每一個點的預測值與真實值的差求平方和后再除以資料樣本的個數，值越小說明方程越能反映真實情況，把這個方程中的引數看做未知數，則變成了引數的方程，求方程最小值J時，兩個變數θ0和θ1引數即可確定，
梯度下降：
用梯度下降法找到讓代價函式最小的引數θ值，在單變數線性回歸中，只存在兩個變數θ0和θ1，因此用梯度下降公式求出兩個變數θ0和θ1，
最后選定一個起點，如θ0=0，θ1=0，帶入上式迭代即可
（2）多變數線性回歸
假設函式：
有多個變數，其中x0=1，
代價函式
和單變數的代價函式格式一樣
多變數梯度下降：
找出來求θ的通用表達形式
*******************************************************************************
歸一化
歸一化是一種無量綱處理手段，使物理系統數值的絕對值變成某種相對值關系，也就是變成一種比例關系，
①線性歸一化，也稱min-max標準化、離差標準化；是對原始資料的線性變換，使得結果值映射到[0,1]之間，轉換函式如下：
②均值歸一化，
μ—訓練集中x的平均值，
σ-------該特征值x的范圍，即最大值減去最小值，
轉化函式為：
正規方程法
在線性回歸中，正規方程法是比梯度下降更快的方法，但是不適用于樣本屬性特別多的場合，一般認為超過10000就要考慮使用梯度下降，因為正規方程法要計算逆矩陣，就會導致計算量大，另外在一些其他模型中，正規方程法也可能不適用
轉載請註明出處，本文鏈接：https://www.uj5u.com/qita/250763.html
標籤：其他