原文 | https://mp.weixin.qq.com/s/bOchsmHTINKKlyabCQKMSg
相關閱讀
最大似然估計(概率10)
尋找“最好”（3）函式和泛函的拉格朗日乘數法
伯努利分布
如果隨機試驗僅有兩個可能的結果，那么這兩個結果可以用0和1表示，此時隨機變數X將是一個0/1的變數，其分布是單個二值隨機變數的分布，稱為伯努利分布，注意伯努利分布關注的是結果只有0和1，而不管觀測條件是什么，
性質
設p是隨機變數等于1的概率，伯努利分布有一些特殊的性質：
將上面的兩個式子合并：
伯努利變數是離散型，并且是一個0/1變數，它的數學期望是：
方差是：
極大似然
最大似然估計(概率10)
對于伯努利分布的質量函式來說，p是唯一的引數，如果給定N個獨立同分布的樣本 {x(1), x(2), ……, x(N)}，x(t)是投硬幣的結果，是隨機變數，x(t)?{0, 1}，可以通過極大似然估計，根據樣本推測出p的取值：
取對數似然函式：
這是個符合直覺的結果，即使沒學過概率和極大似然也能得出這個結論，
二項分布
假設某個試驗是伯努利試驗，成功概率用p表示，那么失敗的概率為1-p，現在進行了N次這樣的試驗，成功了x次，失敗了N-x次，發生這種情況的概率是多少？
質量函式
對于每次實驗來說，成功的概率都是p，失敗的概率是1-p，假設已經完成了N次試驗，并且前x次都成功了，后N-x次都失敗了：
x次成功的情況當然不止一種，比如成功和失敗交叉在一起：
這種成功和失敗的排列順序共有
種不同的情況，因此對于任意N次伯努利試驗，成功了x次的概率是：
的另一種記法是 
，
P(x)就是二項分布的質量函式，是N次伯努利試驗中取得x次成功的概率，
性質
二項分布的均值和方差分別為Np和Np(1-p)，
從二項分布的質量函式P(x)可知，概率分布只與試驗次數N和成功概率p有關，p越接近0.5，二項分布將越對稱，保持二項分布試驗的次數N不變，隨著成功概率p逐漸接近0.5，二項分布逐漸對稱，且近似于均值為Np、方差為Np(1-p)的正態分布：
多項分布
多項分布是二項分布的擴展，其中隨機試驗的結果不是兩種狀態，而是K種互斥的離散狀態，每種狀態出現的概率為pi，p1 + p1 + … + pK = 1，在這個前提下共進行了N次試驗，用x1~xK表示每種狀態出現次數，x1 + x2 + …+ xK = N，稱X=(x1, x2, …, xK)服從多項分布，記作X~PN(N：p1, p2,…,pn)，
質量函式
如果說二項分布的典型案例是扔硬幣，那么多項分布就是扔骰子，骰子有6個不同的點數，扔一次骰子，每個點數出現的概率（對應p1~p6）都是1/6，重復扔N次，6點出現x次的概率是：
這和二項分布的質量函式類似，現在將問題擴展一下，扔N次骰子，1~6出現次數分別是x1~x6時的概率是多少？
仍然和二項式類似，假設前x1次都是1點，之后的x2次都是2點……最后x6次都是6點：
1~6出現次數分別是x1~x6的情況不止一種，1點出現x1次的情況有
種；在1點出現x1次的前提下，2點出現x2次的情況有
種；在1點出現x1次且2點出現x2次的前提下，3點出現x3的情況有
種……扔N次骰子，1~6出現次數分別是x1~x6時的概率是：
根據①：
最終，扔骰子的概率質量函式是：
把這個結論推廣到多項分布：某隨機實驗如果有K種可能的結果C1~CK，它們出現的概率是p1~pK，在N隨機試驗的結果中，分別將C1~CK的出現次數記為隨機變數X1~XK，那么C1出現x1次、C2出現x2次……CK出現xK次這種事件發生的概率是：
其中x1 + x2 + …+ xK = N，p1 + p2 + …+ pK = 1，
極大似然
多項式的極大似然是指在隨機變數X1=x1, X2=x2, ……, XK=xK時，最可能的p1~pK，
對數極大似然：
現在問題變成了求約束條件下的極值：
根據拉格朗日乘子法：
尋找“最好”（3）函式和泛函的拉格朗日乘數法
根據約束條件：
這也是個符合直覺的結論，面對有N個樣本的K分類資料集，當pi = xi/N 時，Ci類最可能出現xi次，為了這個結論我們卻大費周章，也許又有人因此而嘲笑概率簡單了……
出處：微信公眾號 "我是8位的"
本文以學習、研究和分享為主，如需轉載，請聯系本人，標明作者和出處，非商業用途！
掃描二維碼關注作者公眾號“我是8位的”
轉載請註明出處，本文鏈接：https://www.uj5u.com/qita/98338.html
標籤：其他