1、損失函式：度量預測錯誤的程度，評估模型單次預測的好壞，
a：0-1損失函式：
$L(Y,f(X))=\begin{cases}0 & \text{ if } Y=f(X) \\ 1 & \text{ if } Y\neq f(X) \end{cases}$
b：平方損失函式：
$L(Y,f(X))=(Y-f(X))^2$
c：絕對損失函式：
$L(Y,f(X))=\left | Y-f(X) \right |$
d：對數損失函式：
$L(Y,p(Y|X))=-log(p(Y|X))$
2、風險函式：損失函式的期望，評估模型平均預測好壞，
$R_{exp}(L(Y,f(X)))=\int_{x*y}L(Y,f(X))p(X,Y)dxdy$
經驗風險：關于訓練集的平均損失，
$R_{emp}(L(Y,f(X)))=\frac{1}{n}\sum L(Y,f(X))$
經驗風險最小化：
$\underset{F \epsilon f}{min}\frac{1}{n}\sum L(Y,f(X))$
eg：當模型是條件概率，損失函式是對數損失函式時，經驗風險最小化等價于極大似然估計，
結構風險：是為了防止過擬合，
$R_{srm}(L(Y,f(X)))=\frac{1}{n}\sum L(Y,f(X))+\lambda J(f)$
eg：當模型是條件概率，損失函式是對數損失函式，模型復雜度由先驗概率表示時，經驗風險最小化等價于最大后驗概率估計，
1、(Bayes)貝葉斯定理
2、似然函式
- x:表示一個具體資料
- $\theta$:表示模型引數
- 如果$\theta$已知，x為變數，這個函式是概率函式，$p(x|\theta)$表示取到不同x的概率是多少，
- 如果x已知，$\theta$為變數，這個函式是似然函式，$p(x|\theta)$表示不同$\theta$模型，出現x的概率，
3、極大似然估計
認為模型引數具有唯一真值
- 就是利用已知的樣本結果資訊，反推最具可能（最大概率）導致樣本結果產生的模型引數
- 這樣給定了一種通過樣本結果評估模型引數的方法，“樣本已定，模型未知”，
4、最大后驗估計（貝葉斯估計）
認為模型引數不確定，是某一個概率分布
[1]https://zhuanlan.zhihu.com/p/26614750
[2]https://zhuanlan.zhihu.com/p/32480810
轉載請註明出處，本文鏈接：https://www.uj5u.com/qita/31316.html
標籤：其他