資訊消除不確定性，不確定性由熵描述
隨機變數的熵：
設
X
X
X為隨機變數，其分布為
P
(
X
)
P(X)
P(X)
則
X
X
X的熵為：
H
(
X
)
=
?
∑
x
∈
X
P
(
x
)
log
?
2
P
(
x
)
H(X)=-\sum_{x\in X}P(x)\log_{2}{P(x)}
H(X)=?x∈X∑?P(x)log2?P(x)
隨機變數的條件熵：
已知隨機變數
X
,
Y
X,Y
X,Y，聯合分布
P
(
X
,
Y
)
P(X,Y)
P(X,Y),條件分布
P
(
X
∣
Y
)
P(X|Y)
P(X∣Y)
則在
Y
Y
Y的條件下
X
X
X的條件熵為：
H
(
X
∣
Y
)
=
?
∑
x
∈
X
,
y
∈
Y
P
(
x
,
y
)
log
?
2
P
(
x
∣
y
)
H(X|Y)=-\sum_{x\in X,y\in Y}P(x,y)\log_{2}{P(x|y)}
H(X∣Y)=?x∈X,y∈Y∑?P(x,y)log2?P(x∣y)
可證明 H ( X ) ≥ H ( X ∣ Y ) H(X)≥H(X|Y) H(X)≥H(X∣Y)
互資訊:
假定兩個隨機事件
X
X
X,
Y
Y
Y，他們的互資訊定義為：
I
(
X
;
Y
)
=
∑
x
∈
X
,
y
∈
Y
P
(
x
,
y
)
log
?
2
P
(
x
,
y
)
P
(
x
)
P
(
y
)
I(X;Y)=\sum _{x\in X,y\in Y}P(x,y)\log_{2}\frac{P(x,y)}{P(x)P(y)}
I(X;Y)=x∈X,y∈Y∑?P(x,y)log2?P(x)P(y)P(x,y)?
互資訊描述了兩個隨機事件的相關性
實際上，互資訊由
I
(
X
;
Y
)
=
H
(
X
)
?
H
(
X
∣
Y
)
I(X;Y)=H(X)-H(X|Y)
I(X;Y)=H(X)?H(X∣Y)
匯出，
庫爾貝克——萊伯勒相對熵：
衡量兩個取值為正數的函式的相似性
K
L
(
f
(
x
)
∣
∣
g
(
x
)
)
=
∑
x
∈
X
f
(
x
)
log
?
2
f
(
x
)
g
(
x
)
KL(f(x)||g(x))=\sum_{x\in X}f(x)\log_2\frac{f(x)}{g(x)}
KL(f(x)∣∣g(x))=x∈X∑?f(x)log2?g(x)f(x)?
- 兩個完全相同的函式，其相對熵為0
- 相對熵越大，兩個函式差異越大
- 對于概率分布或者概率密度函式，如果取值均大于0，相對熵可以度量兩個隨機分布的差異性
詹森——香農相對熵：
注意到庫爾貝克——萊伯勒相對熵是不對稱的，進行對稱平均對其修正，得到：
J
S
(
f
(
x
)
∣
∣
g
(
x
)
)
=
1
2
[
K
L
(
f
(
x
)
∣
∣
g
(
x
)
)
+
K
L
(
g
(
x
)
∣
∣
f
(
x
)
)
]
JS(f(x)||g(x))=\frac{1}{2}[KL(f(x)||g(x))+KL(g(x)||f(x))]
JS(f(x)∣∣g(x))=21?[KL(f(x)∣∣g(x))+KL(g(x)∣∣f(x))]
轉載請註明出處，本文鏈接：https://www.uj5u.com/qukuanlian/259794.html
標籤：區塊鏈