極大似然估計的原理，先用一張圖片來說明
總結起來，極大似然估計的目的：就是利用已知的樣本結果，反推最有可能(最大概率）導致這樣結果的引數值，
通過若干次試驗，觀察其結果，利用試驗結果的某個引數值能夠使樣本出現的概率最大，稱為極大似然估計，
由于樣本集中的樣本都是獨立同分布，可以只考慮一類樣本集D，來估計引數向量θ，記已知樣本集為:
似然函式(linkehood function):聯合概率密度函式p(D|θ）稱為相對于樣本集D={x1，x2,x3,...,xn} 的θ的似然函式
若
使引數空間中，能使似然函式
最大的θ值，那
應該使最可能值，
就是θ的極大似然估計量，它是樣本集函式
記作：
求解極大似然函式
ML估計：求使得改組樣本的概率最大的θ值
連乘不便于分析，故定義了對數似然函式：
1.未知引數只有一個時(θ為標量),似然函式滿足連續可微，極大似然估計量是下面微分方程的解
2.未知引數有多個(θ為向量)
記梯度算子:
似然函式滿足連續可導，最大似然估計量就是如下方程的解，
總結
求解極大似然估計量步驟：
1.寫出似然函式
2.對似然函式取對數，整理
3.求導數
4.解似然方程
最大似然估計特點：
1.比其他估計方法簡單
2.收斂性，樣本數量增加時，收斂性質更好
3.如果假設的類條件概率模型正確，通常能獲得比較好的結果，但如果模型假設有偏差，導致非常差的結果，
轉載請註明出處，本文鏈接：https://www.uj5u.com/qita/69666.html
標籤：其他
上一篇：資料結構（一）：陣列