1.3 多維隨機變數及其分布
一、二維隨機變數
定義 1.3.1： 設 設 設 E E E 為 一 個 隨 機 試 驗 ， 其 樣 本 空 間 為一個隨機試驗，其樣本空間 為一個隨機試驗，其樣本空間 S = { e } , X = X ( e ) S=\{e\},X=X(e) S={e},X=X(e) 及 及 及 Y ( e ) Y(e) Y(e) 是定義在 S S S 上 的 兩 個 隨 機 變 量 ， 由 她 們 構 成 的 聯 合 隨 機 變 量 上的兩個隨機變數，由她們構成的聯合隨機變數 上的兩個隨機變量，由她們構成的聯合隨機變量 ( X , Y ) (X,Y) (X,Y) 稱 為 二 維 隨 機 變 量 或 二 維 隨 機 向 量 ， 稱為二維隨機變數或二維隨機向量， 稱為二維隨機變量或二維隨機向量，
分布函式：
設
設
設
(
X
,
Y
)
(X,Y)
(X,Y)
是
定
義
在
是定義在
是定義在
S
上
的
二
維
隨
機
變
量
，
對
于
任
意
實
數
S上的二維隨機變數，對于任意實數
S上的二維隨機變量，對于任意實數
x
,
y
,
x,y,
x,y,
二
元
函
數
：
二元函式：
二元函數：
F
(
x
,
y
)
=
P
{
X
≤
x
,
Y
≤
y
}
F(x,y) = P\{X \leq x,Y \leq y\}
F(x,y)=P{X≤x,Y≤y}
例題1： 將 P { x 1 < X ≤ x 2 , y 1 < Y ≤ y 2 } P\{x_1<X\le x_2,y_1<Y \le y_2\} P{x1?<X≤x2?,y1?<Y≤y2?} 轉換為分布函式運算式
答案：
F
(
x
2
,
y
2
)
?
F
(
x
1
,
y
2
)
?
F
(
x
2
,
y
1
)
+
F
(
x
1
,
y
1
)
F(x_2,y_2)-F(x_1,y_2)-F(x_2,y_1)+F(x_1,y_1)
F(x2?,y2?)?F(x1?,y2?)?F(x2?,y1?)+F(x1?,y1?)
1. 二維分布函式的性質：
-
F
(
x
,
y
)
F(x,y)
F(x,y)
是
變
量
是變數
是變量
x
x
x
和
和
和
y
y
y 的不減函式，即
? x 1 ≤ x 2 , F ( x 1 , y ) ≤ F ( x 2 , y ) \forall x_1 \leq x_2,F(x_1,y) \leq F(x_2,y) ?x1?≤x2?,F(x1?,y)≤F(x2?,y) ? y 1 ≤ y 2 , F ( x , y 1 ) ≤ F ( x , y 2 ) \forall y_1 \leq y_2,F(x,y_1) \leq F(x,y_2) ?y1?≤y2?,F(x,y1?)≤F(x,y2?) - 0 ≤ F ( x , y ) ≤ 1 0 \leq F(x,y) \leq 1 0≤F(x,y)≤1，且對固定的 x x x， F ( x , ? ∞ ) = 0 F(x,-\infty) = 0 F(x,?∞)=0且對固定的 y y y， F ( ? ∞ , y ) = 0 F(-\infty,y)=0 F(?∞,y)=0 且 F ( ? ∞ , ? ∞ ) = 0 F(- \infty,-\infty)=0 F(?∞,?∞)=0 F ( + ∞ , + ∞ ) = 1 F(+ \infty,+\infty)=1 F(+∞,+∞)=1
- F ( x , y ) F(x,y) F(x,y) 關于變數 x x x 和 y y y 均是右連續的，即 ? x , y \forall x,y ?x,y 有 F ( x + 0 , y ) = F ( x , y ) = F ( x , y + 0 ) F(x+0,y)=F(x,y)=F(x,y+0) F(x+0,y)=F(x,y)=F(x,y+0)
- 對于任意的 x 1 ≤ x 2 , y 1 ≤ y 2 x_1 \leq x_2,y_1 \leq y_2 x1?≤x2?,y1?≤y2?，下述不等式成立： F ( x 2 , y 2 ) ? F ( x 1 , y 2 ) ? F ( x 2 , y 1 ) + F ( x 1 , y 1 ) ≥ 0 F(x_2,y_2)-F(x_1,y_2)-F(x_2,y_1)+F(x_1,y_1) \geq0 F(x2?,y2?)?F(x1?,y2?)?F(x2?,y1?)+F(x1?,y1?)≥0
2. 二維離散型隨機變數：
定義 1.3.3： 若二維隨機變數 ( X , Y ) (X,Y) (X,Y) 的所有可能取值是有限對或可列多對： ( X , Y ) = ( x i , y i ) i , j = 1 , 2.... (X,Y)=(x_i,y_i) \space\space\space i,j=1,2.... (X,Y)=(xi?,yi?) i,j=1,2....
滿足以下性質：
- p i j ≥ 0 i , j = 1 , 2.... p_{ij} \geq 0 \space\space\space\space i,j=1,2.... pij?≥0 i,j=1,2....
- ∑ i = 1 ∞ ∑ j = 1 ∞ p i j = 1 \sum_{i=1}^{\infty}\sum_{j=1}^{\infty}p_{ij}=1 i=1∑∞?j=1∑∞?pij?=1
分布函式： F ( x , y ) = P { X ≤ x , Y ≤ y } = ∑ x i ≤ x ∑ y j ≤ y p i j F(x,y)=P\{X \leq x,Y\leq y\} = \sum_{x_i \leq x}\sum_{y_j \leq y}p_{ij} F(x,y)=P{X≤x,Y≤y}=xi?≤x∑?yj?≤y∑?pij?
X的邊緣分布律： p i . = P { X = x i } = ∑ j = 1 ∞ p i j i = 1 , 2... p_{i.}=P\{X=x_i\}=\sum_{j=1}^{\infty}p_{ij} \space\space\space i=1,2... pi.?=P{X=xi?}=j=1∑∞?pij? i=1,2...
X的邊緣分布函式： F X ( x ) = F ( x , + ∞ ) = ∑ x i ≤ x ∑ y j ≤ + ∞ p i j = ∑ x i ≤ x ( ∑ j = 1 ∞ p i j ) = ∑ x i ≤ x p i . F_X(x)=F(x,+\infty)=\sum_{x_i \leq x}\sum_{y_j \leq +\infty}p_{ij}=\sum_{x_i \leq x}(\sum_{j=1}^{\infty}p_{ij})=\sum_{x_i\leq x}p_{i.} FX?(x)=F(x,+∞)=xi?≤x∑?yj?≤+∞∑?pij?=xi?≤x∑?(j=1∑∞?pij?)=xi?≤x∑?pi.?
同理：
Y的邊緣分布律： p . j = P { Y = y j } = ∑ i = 1 ∞ p i j j = 1 , 2... p_{.j}=P\{Y=y_j\}=\sum_{i=1}^{\infty}p_{ij}\space\space\space j=1,2... p.j?=P{Y=yj?}=i=1∑∞?pij? j=1,2...
Y的邊緣分布函式： F Y ( y ) = F ( + ∞ , y ) = ∑ x i ≤ + ∞ ∑ y i ≤ y p i j = ∑ y j ≤ y ( ∑ i = 1 ∞ p i j ) = ∑ y j ≤ y p . j F_Y(y)=F(+\infty,y)=\sum_{x_i \leq +\infty}\sum_{y_i \leq y}p_{ij}=\sum_{y_j \leq y}(\sum_{i = 1}^{\infty}p_{ij})=\sum_{y_j\leq y}p_{.j} FY?(y)=F(+∞,y)=xi?≤+∞∑?yi?≤y∑?pij?=yj?≤y∑?(i=1∑∞?pij?)=yj?≤y∑?p.j?
例題2：
- 補滿下表
| x\y | 1 | 2 | 3 | p i . p_{i.} pi.? |
|---|---|---|---|---|
| 1 | 0 | 1 6 \frac{1}{6} 61? | 1 12 \frac{1}{12} 121? | |
| 2 | 1 6 \frac{1}{6} 61? | 1 6 \frac{1}{6} 61? | 1 6 \frac{1}{6} 61? | |
| 3 | 1 12 \frac{1}{12} 121? | 1 6 \frac{1}{6} 61? | 0 | |
| p . j p_{.j} p.j? |
| x\y | 1 | 2 | 3 | p i . p_{i.} pi.? |
|---|---|---|---|---|
| 1 | 0 | 1 6 \frac{1}{6} 61? | 1 12 \frac{1}{12} 121? | 1 4 \frac{1}{4} 41? |
| 2 | 1 6 \frac{1}{6} 61? | 1 6 \frac{1}{6} 61? | 1 6 \frac{1}{6} 61? | 1 2 \frac{1}{2} 21? |
| 3 | 1 12 \frac{1}{12} 121? | 1 6 \frac{1}{6} 61? | 0 | 1 4 \frac{1}{4} 41? |
| p . j p_{.j} p.j? | 1 4 \frac{1}{4} 41? | 1 2 \frac{1}{2} 21? | 1 4 \frac{1}{4} 41? | 1 |
- 根據上表求 F X ( 2 ) , F Y ( 3 ) F_X(2),F_Y(3) FX?(2),FY?(3)
F X ( 2 ) = 3 4 , F Y ( 3 ) = 1 F_X(2)=\frac{3}{4},F_Y(3)=1 FX?(2)=43?,FY?(3)=1
3. 二維連續型隨機變數：
定義1.3.5：
設
二
維
隨
機
變
量
設二維隨機變數
設二維隨機變量
(
X
,
Y
)
(X,Y)
(X,Y)
的
分
布
函
數
為
的分布函式為
的分布函數為
F
(
x
,
y
)
F(x,y)
F(x,y)
若
存
在
一
個
非
負
可
積
函
數
的
二
元
函
數
若存在一個非負可積函式的二元函式
若存在一個非負可積函數的二元函數
f
(
x
,
y
)
f(x,y)
f(x,y)，
使
它
對
于
任
意
實
數
使它對于任意實數
使它對于任意實數
x
,
y
x,y
x,y 都有
F
(
x
,
y
)
=
∫
?
∞
x
∫
?
∞
y
f
(
x
)
d
x
d
y
F(x,y)=\int_{-\infty}^x \int_{-\infty}^y f(x)dxdy
F(x,y)=∫?∞x?∫?∞y?f(x)dxdy
則
稱
則稱
則稱
(
X
,
Y
)
(X,Y)
(X,Y)
為
二
維
連
續
隨
機
變
量
為二維連續隨機變數
為二維連續隨機變量，
函
數
函式
函數
f
(
x
,
y
)
f(x,y)
f(x,y)
稱
為
二
維
隨
機
變
量
稱為二維隨機變數
稱為二維隨機變量
(
X
,
Y
)
(X,Y)
(X,Y) 的概率密度，或稱為隨機變數
X
X
X與
Y
Y
Y 的聯合概率密度，
滿足以下性質：
- f ( x , y ) ≥ 0 ? ∞ < x , y < + ∞ f(x,y) \geq 0 \space\space\space -\infty < x,y < +\infty f(x,y)≥0 ?∞<x,y<+∞
- ∫ ? ∞ + ∞ ∫ ? ∞ + ∞ f ( x ) d x d y = 1 \int_{-\infty}^{+\infty}\int_{-\infty}^{+\infty}f(x)dxdy=1 ∫?∞+∞?∫?∞+∞?f(x)dxdy=1
- 若 f ( x , y ) f(x,y) f(x,y) 在點 ( x , y ) (x,y) (x,y) 連續，則 δ 2 F ( x , y ) δ x δ y = f ( x , y ) \frac{\delta^2F(x,y)}{\delta x\delta y}=f(x,y) δxδyδ2F(x,y)?=f(x,y)
- 隨機點 ( X , Y ) (X,Y) (X,Y) 落在平面區域 D D D 內的概率 P { ( x , y ) ∈ D } = ∫ ∫ D f ( x , y ) d x d y P\{(x,y)\in D\}={\int\int}_Df(x,y)dxdy P{(x,y)∈D}=∫∫D?f(x,y)dxdy
例題3： 已知隨機變數 X X X 和 Y Y Y 的聯合概率密度為 f ( x , y ) = { C e ? ( 2 x + y ) x > 0 , y > 0 0 其 他 } f(x,y)=\begin{Bmatrix}Ce^{-(2x+y)} \space\space\space x>0,y>0 \\ 0 \space\space\space 其他 \end{Bmatrix} f(x,y)={Ce?(2x+y) x>0,y>00 其他?}
(1) 試求
C
C
C 的值
(2)
P
{
X
<
Y
}
P\{X<Y\}
P{X<Y}
答案：
(1)
由
1
=
∫
?
∞
+
∞
∫
?
∞
+
∞
f
(
x
,
y
)
d
x
d
y
=
∫
0
+
∞
∫
0
+
∞
C
e
?
(
2
x
+
y
)
d
x
d
y
=
1=\int_{-\infty}^{+\infty}\int_{-\infty}^{+\infty}f(x,y)dxdy=\int_{0}^{+\infty}\int_{0}^{+\infty}Ce^{-(2x+y)}dxdy=
1=∫?∞+∞?∫?∞+∞?f(x,y)dxdy=∫0+∞?∫0+∞?Ce?(2x+y)dxdy=
C
∫
0
+
∞
e
?
2
x
d
x
∫
0
+
∞
e
?
y
d
y
=
C
(
?
1
2
e
?
2
y
∣
0
+
∞
)
(
?
e
?
y
∣
0
+
∞
)
=
C
2
C\int_{0}^{+\infty}e^{-2x}dx\int_{0}^{+\infty}e^{-y}dy=C(-\frac{1}2{}e^{-2y}|_{0}^{+\infty})(-e^{-y}|_{0}^{+\infty})=\frac{C}{2}
C∫0+∞?e?2xdx∫0+∞?e?ydy=C(?21?e?2y∣0+∞?)(?e?y∣0+∞?)=2C? 得
C
=
2
C=2
C=2 即
f
(
x
,
y
)
=
{
2
e
?
(
2
x
+
y
)
x
>
0
,
y
>
0
0
其
他
}
f(x,y)=\begin{Bmatrix}2e^{-(2x+y)} \space\space\space x>0,y>0 \\ 0 \space\space\space 其他 \end{Bmatrix}
f(x,y)={2e?(2x+y) x>0,y>00 其他?}
(2)
P
{
X
<
Y
}
=
∫
∫
x
<
y
f
(
x
,
y
)
d
x
d
y
=
∫
0
+
∞
d
x
∫
x
+
∞
2
e
?
2
x
?
y
d
y
=
2
∫
0
+
∞
e
?
2
x
d
x
∫
x
+
∞
e
?
y
d
y
=
P\{X<Y\}={\int\int_{x<y}}f(x,y)dxdy=\int_{0}^{+\infty}dx\int_{x}^{+\infty}2e^{-2x-y}dy=2\int_{0}^{+\infty}e^{-2x}dx\int_{x}^{+\infty}e^{-y}dy=
P{X<Y}=∫∫x<y?f(x,y)dxdy=∫0+∞?dx∫x+∞?2e?2x?ydy=2∫0+∞?e?2xdx∫x+∞?e?ydy=
2
∫
0
+
∞
e
?
2
x
d
x
?
(
?
e
?
y
)
∣
x
+
∞
=
2
∫
0
+
∞
e
?
2
x
d
x
?
e
?
x
=
2
∫
0
+
∞
e
?
3
x
d
x
=
2
(
?
1
3
e
?
3
x
)
∣
0
+
∞
=
2
3
2\int_{0}^{+\infty}e^{-2x}dx \space* (-e^{-y})|_{x}^{+\infty}=2\int_{0}^{+\infty}e^{-2x}dx \space * e^{-x}=2\int_{0}^{+\infty}e^{-3x}dx=2(-\frac{1}{3}e^{-3x})|_{0}^{+\infty}=\frac{2}{3}
2∫0+∞?e?2xdx ?(?e?y)∣x+∞?=2∫0+∞?e?2xdx ?e?x=2∫0+∞?e?3xdx=2(?31?e?3x)∣0+∞?=32?
X
X
X 邊緣概率密度函式：
f
X
(
x
)
=
∫
?
∞
+
∞
f
(
x
,
y
)
d
y
f_X(x)=\int_{-\infty}^{+\infty}f(x,y)dy
fX?(x)=∫?∞+∞?f(x,y)dy
故
X
X
X 的邊緣分布函式
F
X
(
x
)
=
∫
?
∞
x
f
X
(
x
)
d
x
F_X(x)=\int_{-\infty}^{x}f_X(x)dx
FX?(x)=∫?∞x?fX?(x)dx
同理：
Y
Y
Y 邊緣概率密度函式：
f
Y
(
y
)
=
∫
?
∞
+
∞
f
(
x
,
y
)
d
x
f_Y(y)=\int_{-\infty}^{+\infty}f(x,y)dx
fY?(y)=∫?∞+∞?f(x,y)dx
故
Y
Y
Y 的邊緣分布函式
F
Y
(
y
)
=
∫
?
∞
y
f
Y
(
y
)
d
y
F_Y(y)=\int_{-\infty}^{y}f_Y(y)dy
FY?(y)=∫?∞y?fY?(y)dy
二. 條件分布
1. 條件分布律
P
{
Y
=
y
j
∣
X
=
x
i
}
=
P
{
X
=
x
i
,
Y
=
y
j
}
P
{
X
=
x
j
}
=
p
i
j
p
i
.
=
p
j
∣
i
j
=
1
,
2...
P\{Y=y_j|X=x_i\}=\frac{P\{X=x_i,Y=y_j\}}{P\{X=x_j\}}=\frac{p_{ij}}{pi.}=p_{j|i}\space\space\space j=1,2...
P{Y=yj?∣X=xi?}=P{X=xj?}P{X=xi?,Y=yj?}?=pi.pij??=pj∣i? j=1,2...
P
{
X
=
x
i
∣
Y
=
y
j
}
=
P
{
X
=
x
i
,
Y
=
y
j
}
P
{
Y
=
y
j
}
=
p
i
j
p
.
j
=
i
∣
j
i
=
1
,
2...
P\{X=x_i|Y=y_j\}=\frac{P\{X=x_i,Y=y_j\}}{P\{Y=y_j\}}=\frac{p_{ij}}{p.j}=_{i|j}\space\space\space i=1,2...
P{X=xi?∣Y=yj?}=P{Y=yj?}P{X=xi?,Y=yj?}?=p.jpij??=i∣j? i=1,2...
例題4： 設 ( X , Y ) (X,Y) (X,Y) 的概率分布如下表，試求 X = 2 X=2 X=2 的條件分布律
| x\y | 0 | 1 | 2 |
|---|---|---|---|
| -1 | 1 10 \frac{1}{10} 101? | 1 20 \frac{1}{20} 201? | 7 20 \frac{7}{20} 207? |
| 2 | 3 10 \frac{3}{10} 103? | 1 10 \frac{1}{10} 101? | 1 10 \frac{1}{10} 101? |
答案：
- 首先計算 X = 2 X=2 X=2 的邊緣分布律為 1 2 \frac{1}{2} 21?，
- 當 X = 2 X=2 X=2 的條件分布律為 P { Y = 0 ∣ X = 2 } = 3 10 1 2 = 3 5 , P { Y = 1 ∣ X = 2 } = 1 10 1 2 = 1 5 , P { Y = 2 ∣ X = 2 } = 3 10 1 2 = 1 5 P\{Y=0|X=2\}=\frac{\frac{3}{10}}{\frac{1}{2}}=\frac{3}{5},P\{Y=1|X=2\}=\frac{\frac{1}{10}}{\frac{1}{2}}=\frac{1}{5},P\{Y=2|X=2\}=\frac{\frac{3}{10}}{\frac{1}{2}}=\frac{1}{5} P{Y=0∣X=2}=21?103??=53?,P{Y=1∣X=2}=21?101??=51?,P{Y=2∣X=2}=21?103??=51?
1.4 隨機變數的數字特征
一. 數學期望的概念
定義1.4.1：
設
離
散
型
隨
機
變
量
設離散型隨機變數
設離散型隨機變量
X
X
X
的
分
布
律
為
的分布律為
的分布律為
P
{
X
=
x
k
}
=
p
k
k
=
1
,
2...
,
P\{X=x_k\}=p_k \space\space\space k=1,2...,
P{X=xk?}=pk? k=1,2...,
若
級
數
收
斂
，
則
稱
若級數收斂，則稱
若級數收斂，則稱
E
(
X
)
=
∑
k
=
1
∞
x
k
p
k
E(X)=\sum_{k=1}^{\infty}x_kp_k
E(X)=k=1∑∞?xk?pk?
為
為
為
X
X
X
的
數
學
期
望
或
概
率
均
值
，
簡
稱
均
值
或
期
望
的數學期望或概率均值，簡稱均值或期望
的數學期望或概率均值，簡稱均值或期望，
\space\space\space\space
設
連
續
型
是
隨
機
變
量
設連續型是隨機變數
設連續型是隨機變量
X
X
X 的概率密度為
f
(
x
)
f(x)
f(x)，
若
積
分
∫
∞
+
∞
x
f
(
x
)
d
x
若積分\int_{\infty}^{+\infty}xf(x)dx
若積分∫∞+∞?xf(x)dx
絕
對
收
斂
絕對收斂
絕對收斂，
則
稱
則稱
則稱
E
(
X
)
=
∫
?
∞
+
∞
x
f
(
x
)
d
x
E(X)=\int_{-\infty}^{+\infty}xf(x)dx
E(X)=∫?∞+∞?xf(x)dx
為
連
續
型
隨
機
變
量
為連續型隨機變數
為連續型隨機變量
X
X
X
的
數
學
期
望
，
的數學期望，
的數學期望，
\space\space\space\space
若
若
若
X
X
X
的
分
布
律
為
的分布律為
的分布律為
P
{
X
=
x
k
}
=
p
k
k
=
1
,
2...
,
且
∫
k
=
1
+
∞
g
(
x
k
)
p
k
P\{X=x_k\}=p_k \space\space\space k=1,2...,且\int_{k=1}^{+\infty}g(x_k)p_k
P{X=xk?}=pk? k=1,2...,且∫k=1+∞?g(xk?)pk?
絕
對
收
斂
，
則
函
數
絕對收斂，則函式
絕對收斂，則函數
Y
=
g
(
X
)
Y=g(X)
Y=g(X)
的
期
望
為
的期望為
的期望為
E
(
Y
)
=
E
[
g
(
X
)
]
=
∑
k
=
1
∞
g
(
x
k
)
p
k
E(Y)=E[g(X)]=\sum_{k=1}^{\infty}g(x_k)p_k
E(Y)=E[g(X)]=k=1∑∞?g(xk?)pk?
其
中
其中
其中
g
g
g
為
連
續
函
數
為連續函式
為連續函數，
\space\space\space\space
若
連
續
型
隨
機
變
量
若連續型隨機變數
若連續型隨機變量
X
X
X 的概率密度為
f
(
x
)
f(x)
f(x)
,
且
∫
?
∞
+
∞
f
(
x
)
d
x
,且\int_{-\infty}^{+\infty}f(x)dx
,且∫?∞+∞?f(x)dx
絕
對
收
斂
，
則
函
數
絕對收斂，則函式
絕對收斂，則函數
Y
=
g
(
X
)
Y=g(X)
Y=g(X)
的
期
望
為
的期望為
的期望為
E
(
Y
)
=
E
[
g
(
X
)
]
=
∫
?
∞
+
∞
g
(
x
)
f
(
x
)
d
x
E(Y)=E[g(X)]=\int_{-\infty}^{+\infty}g(x)f(x)dx
E(Y)=E[g(X)]=∫?∞+∞?g(x)f(x)dx
數學期望的性質：
- (線性法則)： E ( a X + b ) = a E ( X ) + b E(aX+b)=aE(X)+b E(aX+b)=aE(X)+b
- (加法法則): E ( X + Y ) = E ( X ) + E ( Y ) E(X+Y)=E(X)+E(Y) E(X+Y)=E(X)+E(Y)
- (乘法法則)：當隨機變數 X , Y X,Y X,Y 相互獨立時 E ( X Y ) = E ( X ) E ( Y ) E(XY)=E(X)E(Y) E(XY)=E(X)E(Y)
- (柯西-許瓦茲不等式)： ∣ E ( X Y ) ∣ 2 ≤ E ( X 2 ) E ( Y 2 ) |E(XY)|^2 \leq E(X^2)E(Y^2) ∣E(XY)∣2≤E(X2)E(Y2)
柯西-許瓦茲不等式證明程序
均值向量表示：
E
(
x
)
=
a
v
g
(
x
)
=
1
T
x
n
E(x)=avg(x)=\frac{1^Tx}{n}
E(x)=avg(x)=n1Tx?
去均值向量：
x
~
=
x
?
a
v
g
(
x
)
1
\tilde{x} = x-avg(x)1
x~=x?avg(x)1
去均值向量的特性：
a
v
g
(
x
~
)
=
0
avg(\tilde{x})=0
avg(x~)=0
例題5： 設 X X X 的分布律為
| X | -2 | -1 | 0 | 1 |
|---|---|---|---|---|
| p k p_k pk? | 1 4 \frac{1}{4} 41? | 1 8 \frac{1}{8} 81? | 1 2 \frac{1}{2} 21? | 1 8 \frac{1}{8} 81? |
求 Y = X 2 ? 1 Y=X^2 -1 Y=X2?1 的數學期望，
二. 方差的概念
定義1.4.2： 設 設 設 X X X 是 一 個 隨 機 變 量 ， 若 是一個隨機變數，若 是一個隨機變量，若 E { [ X ? E ( X ) ] 2 } E\{[X-E(X)]^2\} E{[X?E(X)]2} 存 在 ， 則 稱 存在，則稱 存在，則稱 E { [ X ? E ( X ) ] 2 } E\{[X-E(X)]^2\} E{[X?E(X)]2} 為 為 為 X X X 的 方 差 ， 記 做 的方差，記做 的方差，記做 D ( X ) D(X) D(X) 或 或 或 V a r ( X ) Var(X) Var(X) 或 或 或 σ x 2 \sigma_x^2 σx2? ， 即 ，即 ，即 D ( X ) = V a r ( X ) = E { [ X ? E ( X ) ] 2 } = σ x 2 D(X)=Var(X)=E\{[X-E(X)]^2\}=\sigma_x^2 D(X)=Var(X)=E{[X?E(X)]2}=σx2? 稱 稱 稱 σ x = σ ( X ) = D ( X ) \sigma_x=\sigma(X)=\sqrt{D(X)} σx?=σ(X)=D(X) ? 為 X X X 的 標 準 差 或 均 方 差 ， 的標準差或均方差， 的標準差或均方差，
由方差的性質易得： D ( X ) = E ( X 2 ) ? [ E ( X ) ] 2 D(X)=E(X^2)-[E(X)]^2 D(X)=E(X2)?[E(X)]2 E ( X 2 ) = D ( X ) + [ E ( X ) ] 2 E(X^2)=D(X)+[E(X)]^2 E(X2)=D(X)+[E(X)]2
證明程序： D ( X ) = E { [ X ? E ( X ) ] 2 } = E { X 2 ? 2 X E ( X ) + [ E ( X ) ] 2 } D(X)=E\{[X-E(X)]^2\}=E\{X^2-2XE(X)+[E(X)]^2\} D(X)=E{[X?E(X)]2}=E{X2?2XE(X)+[E(X)]2} 由期望的加法性質 E ( a X + b ) = a E ( x ) + b E(aX+b)=aE(x)+b E(aX+b)=aE(x)+b 可得 D ( X ) = E ( X 2 ) ? 2 E ( X ) E ( X ) + [ E ( X ) ] 2 = E ( X 2 ) ? [ E ( X ) ] 2 D(X)=E(X^2)-2E(X)E(X)+[E(X)]^2=E(X^2)-[E(X)]^2 D(X)=E(X2)?2E(X)E(X)+[E(X)]2=E(X2)?[E(X)]2
方差是反應資料疏散程度特征得量，方差大，說明資料疏散；方差小，說明資料集中，
方差的矩陣表示： D ( x ) = x ~ T x ~ n = < x ~ , x ~ > n = ∣ ∣ x ~ ∣ ∣ 2 2 n D(x)=\frac{\tilde{x}^T\tilde{x}}{n}=\frac{<\tilde{x},\tilde{x}>}{n}=\frac{||\tilde{x}||_2^2}{n} D(x)=nx~Tx~?=n<x~,x~>?=n∣∣x~∣∣22??
三. 協方差、相關系數
定義1.4.3： 設 設 設 ( X , Y ) (X,Y) (X,Y) 為 二 維 隨 機 變 量 ， 稱 為二維隨機變數，稱 為二維隨機變量，稱 C o v ( X , Y ) = E [ ( X ? E ( X ) ) ( Y ? E ( Y ) ) ] Cov(X,Y)=E[(X-E(X))(Y-E(Y))] Cov(X,Y)=E[(X?E(X))(Y?E(Y))] 為 為 為 X X X 與 與 與 Y Y Y 的 協 方 差 的協方差 的協方差，
由方差和協方差性質易得 D ( X + Y ) = D ( X ) + D ( Y ) + 2 C o v ( X , Y ) D(X+Y)=D(X)+D(Y)+2Cov(X,Y) D(X+Y)=D(X)+D(Y)+2Cov(X,Y) C o v ( X , Y ) = E ( X Y ) ? E ( X ) E ( Y ) Cov(X,Y)=E(XY)-E(X)E(Y) Cov(X,Y)=E(XY)?E(X)E(Y)
證明程序：
- C o v ( X , Y ) = E [ ( X ? E ( X ) ) ( Y ? E ( Y ) ) ] = E [ X Y ? Y E ( X ) ? X E ( Y ) + E ( X ) E ( Y ) ] = Cov(X,Y)=E[(X-E(X))(Y-E(Y))]=E[XY-YE(X)-XE(Y)+E(X)E(Y)]= Cov(X,Y)=E[(X?E(X))(Y?E(Y))]=E[XY?YE(X)?XE(Y)+E(X)E(Y)]= E ( X Y ) ? E ( Y ) E ( X ) ? E ( X ) E ( Y ) + E ( X ) ( Y ) = E ( X Y ) ? E ( X ) E ( Y ) E(XY)-E(Y)E(X)-E(X)E(Y)+E(X)(Y)=E(XY)-E(X)E(Y) E(XY)?E(Y)E(X)?E(X)E(Y)+E(X)(Y)=E(XY)?E(X)E(Y)
- D ( X + Y ) = E [ X + Y ? E ( X + Y ) ] 2 = E [ X ? E ( X ) + Y ? E ( Y ) ] 2 = D(X+Y)=E[X+Y-E(X+Y)]^2=E[X-E(X)+Y-E(Y)]^2= D(X+Y)=E[X+Y?E(X+Y)]2=E[X?E(X)+Y?E(Y)]2= ( E [ X ? E ( X ) ] + E [ Y ? E ( Y ) ] ) ( E [ X ? E ( X ) ] + E [ Y ? E ( Y ) ] ) = (E[X-E(X)]+E[Y-E(Y)])(E[X-E(X)]+E[Y-E(Y)])= (E[X?E(X)]+E[Y?E(Y)])(E[X?E(X)]+E[Y?E(Y)])= E [ X ? E ( X ) ] 2 + E [ Y ? E [ Y ] ] 2 ? 2 E [ X ? E ( X ) ] E [ Y ? E ( Y ) ] = D ( X ) + D ( Y ) ? 2 C o v ( X , Y ) E[X-E(X)]^2+E[Y-E[Y]]^2-2E[X-E(X)]E[Y-E(Y)]=D(X)+D(Y)-2Cov(X,Y) E[X?E(X)]2+E[Y?E[Y]]2?2E[X?E(X)]E[Y?E(Y)]=D(X)+D(Y)?2Cov(X,Y)
協方差得基本性質：
- C o v ( X , Y ) = C o v ( Y , X ) Cov(X,Y)=Cov(Y,X) Cov(X,Y)=Cov(Y,X)
- C o v ( a X , b Y ) = a b C o v ( Y , X ) Cov(aX,bY)=abCov(Y,X) Cov(aX,bY)=abCov(Y,X)
- C o v ( X 1 ± X 2 , Y ) = C o v ( X 1 , Y ) ± C o v ( X 2 , Y ) Cov(X_1\pm X_2,Y)=Cov(X_1,Y)\pm Cov(X_2,Y) Cov(X1?±X2?,Y)=Cov(X1?,Y)±Cov(X2?,Y)
- ∣ C o v ( X , Y ) ∣ ≤ D ( X ) D ( Y ) |Cov(X,Y)|\leq \sqrt{D(X)}\sqrt{D(Y)} ∣Cov(X,Y)∣≤D(X) ?D(Y) ?
- C o v ( X , X ) = D ( X ) Cov(X,X)=D(X) Cov(X,X)=D(X)
- 若 X X X 和 Y Y Y 相互獨立，則 C o v ( X , Y ) = 0 Cov(X,Y)=0 Cov(X,Y)=0
- C o v ( a X ± b , c Y ± d ) = a c C o v ( X , Y ) Cov(aX\pm b,cY\pm d)=acCov(X,Y) Cov(aX±b,cY±d)=acCov(X,Y)
協方差是反映量隨機變數 X X X 和 Y Y Y 相關關系的特征量，它與 X X X 與 Y Y Y 是同量綱的，而反應 X X X 與 Y Y Y 相關關系的無量綱的是相關系數，
協方差的矩陣表示： C o v ( a , b ) = a ~ T b ~ n = < a ~ , b ~ > n Cov(a,b)=\frac{\tilde{a}^T\tilde{b}}{n}=\frac{<\tilde{a},\tilde{b}>}{n} Cov(a,b)=na~Tb~?=n<a~,b~>?
定義1.4.4： 設 設 設 ( X , Y ) (X,Y) (X,Y) 為 二 維 隨 機 變 量 為二維隨機變數 為二維隨機變量， D ( X ) , D ( Y ) , C o v ( X , Y ) D(X),D(Y),Cov(X,Y) D(X),D(Y),Cov(X,Y) 分 別 為 分別為 分別為 ( X , Y ) (X,Y) (X,Y) 方 差 與 協 方 差 ， 稱 方差與協方差，稱 方差與協方差，稱 ρ X Y = C o v ( X , Y ) D ( X ) D ( Y ) \rho_{XY}=\frac{Cov(X,Y)}{\sqrt{D(X)}\sqrt{D(Y)}} ρXY?=D(X) ?D(Y) ?Cov(X,Y)? 為 隨 機 變 量 為隨機變數 為隨機變量 X X X 與 Y Y Y 相 關 系 數 ， 相關系數， 相關系數，
相關系數的性質：
- ∣ ρ X Y ∣ ≤ 1 |\rho_{XY}|\leq 1 ∣ρXY?∣≤1， ρ \rho ρ 是一個表征 ( X , Y ) (X,Y) (X,Y) 同線性相關緊密程度的量， ∣ ρ ∣ |\rho| ∣ρ∣ 較大表示 ( X , Y ) (X,Y) (X,Y) 線性相關程度較高，反之較低，
- 若 ( X , Y ) (X,Y) (X,Y) 相互獨立，且 D ( X ) , D ( Y ) > 0 D(X),D(Y)>0 D(X),D(Y)>0，則 ρ X Y = 0 \rho_{XY}=0 ρXY?=0，若 ( X , Y ) (X,Y) (X,Y) 的相關系數 ρ X Y = 0 \rho_{XY}=0 ρXY?=0，則稱 X X X 與 Y Y Y 不相關，
相關系數矩陣表示： ρ a b = a ~ T b ~ n a ~ T a ~ n b ~ T b ~ n = a ~ T b ~ a ~ T a ~ b ~ T b ~ = a ~ T b ~ ∣ ∣ a ~ ∣ ∣ 2 ∣ ∣ b ~ ∣ ∣ 2 = cos ? ∠ ( a ~ , b ~ ) \rho_{ab}=\frac{\frac{\tilde{a}^T\tilde{b}}{n}}{\sqrt{{\frac{\tilde{a}^T\tilde{a}}{n}}}\sqrt{{\frac{\tilde{b}^T\tilde{b}}{n}}}}=\frac{\tilde{a}^T\tilde{b}}{\sqrt{\tilde{a}^T\tilde{a}}\sqrt{\tilde{b}^T\tilde{b}}}=\frac{\tilde{a}^T\tilde{b}}{||\tilde{a}||_2||\tilde{b}||_2}=\cos\angle(\tilde{a},\tilde{b}) ρab?=na~Ta~? ?nb~Tb~? ?na~Tb~??=a~Ta~ ?b~Tb~ ?a~Tb~?=∣∣a~∣∣2?∣∣b~∣∣2?a~Tb~?=cos∠(a~,b~)
轉載請註明出處，本文鏈接：https://www.uj5u.com/qita/137508.html
標籤：其他
上一篇：JavaScript 語言通識 — 重學 JavaScript
下一篇：如果編程語言是一門武功絕學