習題4.1
用極大似然估計法推導樸素貝葉斯的先驗概率和條件概率
假設資料集 \(T = \{(x^{(1)} , y^{(1)}), (x^{(2)} , y^{(2)}), ... , (x^{(M)} , y^{(M)})\}\) ，
假設 \(P(Y=c_k) = \theta_k\) ，則 \(P(Y \ne c_k) = 1 - \theta_k\) ，假設資料集中取值為 \(c_k\) 的個數為 \(m_k\) 個
可得似然函式 \(L(\theta_k) = P(y^{(1)}, y^{(2)}, ..., y^{(M)}) = \prod P(y^{(i)}) = \prod \theta_k^{m_k} * (1 - \theta_k)^{m_k}\)
可得 \(\frac{\partial log(L(\theta_k))}{\partial \theta_k} = \frac{m_k}{\theta_k} - \frac{M - m_k}{1 - \theta_k} =0\)
\(P(Y=c_k) = \theta_k = \frac{m_k}{M} = \frac{\sum I(y^{(i)} = c_k)}{M}\)
公式（4.8）得證
假設 \(P(X_j = a_{jl}| Y = c_k) = \theta_{kjl}\) ， 則 \(P(X_j \ne a_{jl}| Y = c_k) = 1 - \theta_{kjl}\) ，假設資料集中取值為是 \((a_{jl} , c_k)\) 的個數為 \(m_{kjl}\) 個
可得似然函式 \(L(\theta_{kjl}) = P(x_j^{(1)}, x_j^{(2)}, ..., x_j^{(m_k)}|Y=c_k) = \prod P(x_j^{(i)}|Y=c_k) = \prod \theta_{kjl}^{m_{kjl}} * (1 - \theta_{kjl})^{m_{kjl}}\)
可得 \(\frac{\partial log(L(\theta_{kjl}))}{\partial \theta_{kjl}} = \frac{m_{kjl}}{\theta_{kjl}} - \frac{m_k - m_{kjl}}{1 - \theta_{kjl}} =0\)
\(P(X_j = a_{jl}| Y = c_k) = \theta_{kjl} = \frac{m_{kjl}}{m_k} = \frac{\sum I(x_j^{(i)} = a_{jl} , y^{(i)} = c_k)}{\sum I(y^{(i)} = c_k)}\)
公式（4.9）得證
習題4.2
用貝葉斯估計法推導樸素貝葉斯的條件概率和先驗概率
借助習題1.1的思想，假設待估計的引數服從貝塔分布，
假設 \(\theta_{kjl}\) 服從 \(Be(\lambda+1, (S_j - 1)\lambda + 1)\) 的概率分布，其中貝塔分布的兩個引數都為正數，根據貝葉斯估計
則 \(P(X_j = a_{jl}| Y = c_k) = \theta_{kjl} = \frac{m_{kjl} + \alpha - 1}{m_k + \alpha + \beta - 2} = \frac{\sum I(x_j^{(i)} = a_{jl} , y^{(i)} = c_k) + \lambda}{\sum I(y^{(i)} = c_k) + S_j\lambda}\)
公式（4.10）得證
同理，假設 \(\theta_k\) 服從 \(Be(\lambda+1, (K - 1)\lambda + 1)\) 的概率分布，其中貝塔分布的兩個引數都為正數，根據貝葉斯估計
則 \(P(Y=c_k) = \theta_k = \frac{m_k + \alpha}{M + \alpha + \beta - 2} = \frac{\sum I(y^{(i)} = c_k) + \lambda}{M + K\lambda}\)
公式（4.11）得證
轉載請註明出處，本文鏈接：https://www.uj5u.com/qita/288696.html
標籤：其他
上一篇：《統計學習方法》第4章習題