目錄
- 引言
- 證明
- 結論
引言
在《統計學習方法》一書中，詳細說明了期望風險最小化與后驗概率最大化之間的關系，但是其中的公式推導程序有所省略，這篇文章作為補充說明，
證明
首先我們假設損失函式為0-1損失函式
\[Loss=L(Y， f(X))= \begin{cases} 1，\quad Y \neq f(X) \\ 0， \quad Y=f(X) \end{cases} \]則期望風險為
\[\begin{aligned} R_{exp}(f)=R_{exp}(L(Y, f(X))) &=\int_{X \cdot Y} L(y,f(x))P(y,x)dxdy\\ & =\int_{X \cdot Y} L(y,f(x))P(y|x)P(x)dxdy \\ & =\int_{X} \int_{Y}L(y,f(x))P(y|x)dyP(x)dx = \int_{X} \Bigg(\int_{Y}L(y,f(x))P(y|x)dy\Bigg) P(x)dx \\ & = E_{x} \Bigg(\int_{Y}L(y,f(X))P(y|X)dy\Bigg) \end{aligned} \]在樸素貝葉斯估計中是資料是離散的，故
\[\begin{aligned} R_{exp}(f)=E_{x} \Bigg(\int_{Y}L(y,f(X))P(y|X)dy\Bigg) &=E_{x}\Bigg(\sum_{k}^{K}L(c_{k},f(X))P(c_{k}|X)\Bigg) \end{aligned} \]因此如果要使得期望風險最小化只需要對\(X=x\)逐個極小化即可
\[\begin{aligned} F(x) &= \underset{ y \in Y }{\operatorname{argmin}} \sum_{k}^{K}L(c_{k},y)P(c_{k}|X=x) \quad \because y=f(X=x) \\ & \because Equation(1) \quad when \quad y=c_{k} \quad L(c_{k},y) =0 \\ & = \underset{ y \in Y }{\operatorname{argmin}} \sum_{k}^{K}P(c_{k} \neq y|X=x) \\ & \because Each \quad X=x \quad has \quad only \quad one \quad c_{k}=y=f(X=x) \\ & = \underset{ y \in Y }{\operatorname{argmin}}(1 - P(c_{k} = y|X=x)) \\ & = \underset{ y \in Y }{\operatorname{argmax}}P(c_{k} = y|X=x) \\ \end{aligned} \]結論
可證期望風險最小化等價于后驗概率最大化
本文來自博客園，作者：LoveFishO，轉載請注明原文鏈接：https://www.cnblogs.com/lovefisho/p/16853350.html
轉載請註明出處，本文鏈接：https://www.uj5u.com/qita/526841.html
標籤：其他
上一篇：Python第九章實驗報告
下一篇：2022.11.1每日一題