假設可觀測到的集合為X，需要預測的變數集合為Y，其他變數集合為Z，
生成式模型是對聯合概率分布
P
(
X
,
Y
,
Z
)
P(X,Y,Z)
P(X,Y,Z)進行建模，在給定觀測集合X的條件下，通過計算邊緣分布來得到對變數集合Y的推斷，即：
P
(
Y
∣
X
)
=
P
(
X
,
Y
)
P
(
X
)
=
∑
Z
P
(
X
,
Y
,
Z
)
∑
Y
,
Z
P
(
Y
,
Z
∣
X
)
P(Y|X)=\frac{P(X,Y)}{P(X)}=\frac{\sum_ZP(X,Y,Z)}{\sum_{Y,Z}P(Y,Z|X)}
P(Y∣X)=P(X)P(X,Y)?=∑Y,Z?P(Y,Z∣X)∑Z?P(X,Y,Z)?
判別式模型是直接對條件概率分布
P
(
Y
,
Z
∣
X
)
P(Y,Z|X)
P(Y,Z∣X)進行建模，然后消掉無關變數
Z
Z
Z就可以得到對變數集合
Y
Y
Y的預測，即：
P
(
Y
∣
X
)
=
∑
Z
P
(
Y
,
Z
∣
X
)
P(Y|X)=\sum_Z{P(Y,Z|X)}
P(Y∣X)=Z∑?P(Y,Z∣X)
常見的概率圖模型有樸素貝葉斯、最大熵模型、貝葉斯網路、隱馬爾可夫模型、條件隨機場、pLSA、LDA，
- 樸素貝葉斯、貝葉斯網路、pLSA、LDA等模型都是先對聯合概率分布進行建模，然后再通過邊緣計算得到對變數的預測，所以它們都屬于生成式模型，
- 隱馬爾可夫模型（HMM）也屬于生成式模型
- 條件隨機場（CRF）屬于判別式模型
轉載請註明出處，本文鏈接：https://www.uj5u.com/qita/357257.html
標籤：其他
上一篇：什么是協同過濾
下一篇：DAY7_Softmax