多維隨機變數及其分布和隨機變數的數字特征課件

1.3 多維隨機變數及其分布

---

一、二維隨機變數

---

定義 1.3.1： 設 設 設 E E E 為 一 個 隨 機 試 驗 ， 其 樣 本 空 間 為一個隨機試驗，其樣本空間 為一個隨機試驗，其樣本空間 S = { e } , X = X ( e ) S=\{e\},X=X(e) S={e},X=X(e) 及 及 及 Y ( e ) Y(e) Y(e) 是定義在 S S S 上 的 兩 個 隨 機 變 量 ， 由 她 們 構 成 的 聯 合 隨 機 變 量 上的兩個隨機變數，由她們構成的聯合隨機變數 上的兩個隨機變量，由她們構成的聯合隨機變量 ( X , Y ) (X,Y) (X,Y) 稱 為 二 維 隨 機 變 量 或 二 維 隨 機 向 量 ， 稱為二維隨機變數或二維隨機向量， 稱為二維隨機變量或二維隨機向量，

分布函式： 設 設 設 ( X , Y ) (X,Y) (X,Y) 是 定 義 在 是定義在 是定義在 S 上 的 二 維 隨 機 變 量 ， 對 于 任 意 實 數 S上的二維隨機變數，對于任意實數 S上的二維隨機變量，對于任意實數 x , y , x,y, x,y, 二 元 函 數 ： 二元函式： 二元函數：
F ( x , y ) = P { X ≤ x , Y ≤ y } F(x,y) = P\{X \leq x,Y \leq y\} F(x,y)=P{X≤x,Y≤y}

---

例題1： 將 P { x 1 < X ≤ x 2 , y 1 < Y ≤ y 2 } P\{x_1<X\le x_2,y_1<Y \le y_2\} P{x1?<X≤x2?,y1?<Y≤y2?} 轉換為分布函式運算式

答案：
F ( x 2 , y 2 ) ? F ( x 1 , y 2 ) ? F ( x 2 , y 1 ) + F ( x 1 , y 1 ) F(x_2,y_2)-F(x_1,y_2)-F(x_2,y_1)+F(x_1,y_1) F(x2?,y2?)?F(x1?,y2?)?F(x2?,y1?)+F(x1?,y1?)

---

1. 二維分布函式的性質：

1. F ( x , y ) F(x,y) F(x,y) 是 變 量 是變數 是變量 x x x 和 和 和 y y y 的不減函式，即
   ? x 1 ≤ x 2 , F ( x 1 , y ) ≤ F ( x 2 , y ) \forall x_1 \leq x_2,F(x_1,y) \leq F(x_2,y) ?x1?≤x2?,F(x1?,y)≤F(x2?,y) ? y 1 ≤ y 2 , F ( x , y 1 ) ≤ F ( x , y 2 ) \forall y_1 \leq y_2,F(x,y_1) \leq F(x,y_2) ?y1?≤y2?,F(x,y1?)≤F(x,y2?)
2. 0 ≤ F ( x , y ) ≤ 1 0 \leq F(x,y) \leq 1 0≤F(x,y)≤1，且對固定的 x x x， F ( x , ? ∞ ) = 0 F(x,-\infty) = 0 F(x,?∞)=0且對固定的 y y y， F ( ? ∞ , y ) = 0 F(-\infty,y)=0 F(?∞,y)=0 且 F ( ? ∞ , ? ∞ ) = 0 F(- \infty,-\infty)=0 F(?∞,?∞)=0 F ( + ∞ , + ∞ ) = 1 F(+ \infty,+\infty)=1 F(+∞,+∞)=1
3. F ( x , y ) F(x,y) F(x,y) 關于變數 x x x 和 y y y 均是右連續的，即 ? x , y \forall x,y ?x,y 有 F ( x + 0 , y ) = F ( x , y ) = F ( x , y + 0 ) F(x+0,y)=F(x,y)=F(x,y+0) F(x+0,y)=F(x,y)=F(x,y+0)
4. 對于任意的 x 1 ≤ x 2 , y 1 ≤ y 2 x_1 \leq x_2,y_1 \leq y_2 x1?≤x2?,y1?≤y2?，下述不等式成立： F ( x 2 , y 2 ) ? F ( x 1 , y 2 ) ? F ( x 2 , y 1 ) + F ( x 1 , y 1 ) ≥ 0 F(x_2,y_2)-F(x_1,y_2)-F(x_2,y_1)+F(x_1,y_1) \geq0 F(x2?,y2?)?F(x1?,y2?)?F(x2?,y1?)+F(x1?,y1?)≥0

---

2. 二維離散型隨機變數：

---

定義 1.3.3： 若二維隨機變數 ( X , Y ) (X,Y) (X,Y) 的所有可能取值是有限對或可列多對： ( X , Y ) = ( x i , y i ) i , j = 1 , 2.... (X,Y)=(x_i,y_i) \space\space\space i,j=1,2.... (X,Y)=(xi?,yi?) i,j=1,2....

滿足以下性質：

1. p i j ≥ 0 i , j = 1 , 2.... p_{ij} \geq 0 \space\space\space\space i,j=1,2.... pij?≥0 i,j=1,2....
2. ∑ i = 1 ∞ ∑ j = 1 ∞ p i j = 1 \sum_{i=1}^{\infty}\sum_{j=1}^{\infty}p_{ij}=1 i=1∑∞?j=1∑∞?pij?=1

分布函式： F ( x , y ) = P { X ≤ x , Y ≤ y } = ∑ x i ≤ x ∑ y j ≤ y p i j F(x,y)=P\{X \leq x,Y\leq y\} = \sum_{x_i \leq x}\sum_{y_j \leq y}p_{ij} F(x,y)=P{X≤x,Y≤y}=xi?≤x∑?yj?≤y∑?pij?

X的邊緣分布律： p i . = P { X = x i } = ∑ j = 1 ∞ p i j i = 1 , 2... p_{i.}=P\{X=x_i\}=\sum_{j=1}^{\infty}p_{ij} \space\space\space i=1,2... pi.?=P{X=xi?}=j=1∑∞?pij? i=1,2...

X的邊緣分布函式： F X ( x ) = F ( x , + ∞ ) = ∑ x i ≤ x ∑ y j ≤ + ∞ p i j = ∑ x i ≤ x ( ∑ j = 1 ∞ p i j ) = ∑ x i ≤ x p i . F_X(x)=F(x,+\infty)=\sum_{x_i \leq x}\sum_{y_j \leq +\infty}p_{ij}=\sum_{x_i \leq x}(\sum_{j=1}^{\infty}p_{ij})=\sum_{x_i\leq x}p_{i.} FX?(x)=F(x,+∞)=xi?≤x∑?yj?≤+∞∑?pij?=xi?≤x∑?(j=1∑∞?pij?)=xi?≤x∑?pi.?

同理：

Y的邊緣分布律： p . j = P { Y = y j } = ∑ i = 1 ∞ p i j j = 1 , 2... p_{.j}=P\{Y=y_j\}=\sum_{i=1}^{\infty}p_{ij}\space\space\space j=1,2... p.j?=P{Y=yj?}=i=1∑∞?pij? j=1,2...

Y的邊緣分布函式： F Y ( y ) = F ( + ∞ , y ) = ∑ x i ≤ + ∞ ∑ y i ≤ y p i j = ∑ y j ≤ y ( ∑ i = 1 ∞ p i j ) = ∑ y j ≤ y p . j F_Y(y)=F(+\infty,y)=\sum_{x_i \leq +\infty}\sum_{y_i \leq y}p_{ij}=\sum_{y_j \leq y}(\sum_{i = 1}^{\infty}p_{ij})=\sum_{y_j\leq y}p_{.j} FY?(y)=F(+∞,y)=xi?≤+∞∑?yi?≤y∑?pij?=yj?≤y∑?(i=1∑∞?pij?)=yj?≤y∑?p.j?

---

例題2：

• 補滿下表

x\y	1	2	3	p i . p_{i.} pi.?
1	0	1 6 \frac{1}{6} 61?	1 12 \frac{1}{12} 121?
2	1 6 \frac{1}{6} 61?	1 6 \frac{1}{6} 61?	1 6 \frac{1}{6} 61?
3	1 12 \frac{1}{12} 121?	1 6 \frac{1}{6} 61?	0
p . j p_{.j} p.j?

x\y	1	2	3	p i . p_{i.} pi.?
1	0	1 6 \frac{1}{6} 61?	1 12 \frac{1}{12} 121?	1 4 \frac{1}{4} 41?
2	1 6 \frac{1}{6} 61?	1 6 \frac{1}{6} 61?	1 6 \frac{1}{6} 61?	1 2 \frac{1}{2} 21?
3	1 12 \frac{1}{12} 121?	1 6 \frac{1}{6} 61?	0	1 4 \frac{1}{4} 41?
p . j p_{.j} p.j?	1 4 \frac{1}{4} 41?	1 2 \frac{1}{2} 21?	1 4 \frac{1}{4} 41?	1

• 根據上表求 F X ( 2 ) , F Y ( 3 ) F_X(2),F_Y(3) FX?(2),FY?(3)

F X ( 2 ) = 3 4 , F Y ( 3 ) = 1 F_X(2)=\frac{3}{4},F_Y(3)=1 FX?(2)=43?,FY?(3)=1

---

3. 二維連續型隨機變數：

定義1.3.5： 設 二 維 隨 機 變 量 設二維隨機變數 設二維隨機變量 ( X , Y ) (X,Y) (X,Y) 的 分 布 函 數 為 的分布函式為 的分布函數為 F ( x , y ) F(x,y) F(x,y) 若 存 在 一 個 非 負 可 積 函 數 的 二 元 函 數 若存在一個非負可積函式的二元函式 若存在一個非負可積函數的二元函數 f ( x , y ) f(x,y) f(x,y)， 使 它 對 于 任 意 實 數 使它對于任意實數 使它對于任意實數 x , y x,y x,y 都有 F ( x , y ) = ∫ ? ∞ x ∫ ? ∞ y f ( x ) d x d y F(x,y)=\int_{-\infty}^x \int_{-\infty}^y f(x)dxdy F(x,y)=∫?∞x?∫?∞y?f(x)dxdy
則 稱 則稱 則稱 ( X , Y ) (X,Y) (X,Y) 為 二 維 連 續 隨 機 變 量 為二維連續隨機變數 為二維連續隨機變量， 函 數 函式 函數 f ( x , y ) f(x,y) f(x,y) 稱 為 二 維 隨 機 變 量 稱為二維隨機變數 稱為二維隨機變量 ( X , Y ) (X,Y) (X,Y) 的概率密度，或稱為隨機變數 X X X與 Y Y Y 的聯合概率密度，

滿足以下性質：

1. f ( x , y ) ≥ 0 ? ∞ < x , y < + ∞ f(x,y) \geq 0 \space\space\space -\infty < x,y < +\infty f(x,y)≥0 ?∞<x,y<+∞
2. ∫ ? ∞ + ∞ ∫ ? ∞ + ∞ f ( x ) d x d y = 1 \int_{-\infty}^{+\infty}\int_{-\infty}^{+\infty}f(x)dxdy=1 ∫?∞+∞?∫?∞+∞?f(x)dxdy=1
3. 若 f ( x , y ) f(x,y) f(x,y) 在點 ( x , y ) (x,y) (x,y) 連續，則 δ 2 F ( x , y ) δ x δ y = f ( x , y ) \frac{\delta^2F(x,y)}{\delta x\delta y}=f(x,y) δxδyδ2F(x,y)?=f(x,y)
4. 隨機點 ( X , Y ) (X,Y) (X,Y) 落在平面區域 D D D 內的概率 P { ( x , y ) ∈ D } = ∫ ∫ D f ( x , y ) d x d y P\{(x,y)\in D\}={\int\int}_Df(x,y)dxdy P{(x,y)∈D}=∫∫D?f(x,y)dxdy

---

例題3： 已知隨機變數 X X X 和 Y Y Y 的聯合概率密度為 f ( x , y ) = { C e ? ( 2 x + y ) x > 0 , y > 0 0 其 他 } f(x,y)=\begin{Bmatrix}Ce^{-(2x+y)} \space\space\space x>0,y>0 \\ 0 \space\space\space 其他 \end{Bmatrix} f(x,y)={Ce?(2x+y) x>0,y>00 其他?}

(1) 試求 C C C 的值
(2) P { X < Y } P\{X<Y\} P{X<Y}

答案：

(1)
由 1 = ∫ ? ∞ + ∞ ∫ ? ∞ + ∞ f ( x , y ) d x d y = ∫ 0 + ∞ ∫ 0 + ∞ C e ? ( 2 x + y ) d x d y = 1=\int_{-\infty}^{+\infty}\int_{-\infty}^{+\infty}f(x,y)dxdy=\int_{0}^{+\infty}\int_{0}^{+\infty}Ce^{-(2x+y)}dxdy= 1=∫?∞+∞?∫?∞+∞?f(x,y)dxdy=∫0+∞?∫0+∞?Ce?(2x+y)dxdy= C ∫ 0 + ∞ e ? 2 x d x ∫ 0 + ∞ e ? y d y = C ( ? 1 2 e ? 2 y ∣ 0 + ∞ ) ( ? e ? y ∣ 0 + ∞ ) = C 2 C\int_{0}^{+\infty}e^{-2x}dx\int_{0}^{+\infty}e^{-y}dy=C(-\frac{1}2{}e^{-2y}|_{0}^{+\infty})(-e^{-y}|_{0}^{+\infty})=\frac{C}{2} C∫0+∞?e?2xdx∫0+∞?e?ydy=C(?21?e?2y∣0+∞?)(?e?y∣0+∞?)=2C? 得 C = 2 C=2 C=2 即 f ( x , y ) = { 2 e ? ( 2 x + y ) x > 0 , y > 0 0 其 他 } f(x,y)=\begin{Bmatrix}2e^{-(2x+y)} \space\space\space x>0,y>0 \\ 0 \space\space\space 其他 \end{Bmatrix} f(x,y)={2e?(2x+y) x>0,y>00 其他?}

(2)
P { X < Y } = ∫ ∫ x < y f ( x , y ) d x d y = ∫ 0 + ∞ d x ∫ x + ∞ 2 e ? 2 x ? y d y = 2 ∫ 0 + ∞ e ? 2 x d x ∫ x + ∞ e ? y d y = P\{X<Y\}={\int\int_{x<y}}f(x,y)dxdy=\int_{0}^{+\infty}dx\int_{x}^{+\infty}2e^{-2x-y}dy=2\int_{0}^{+\infty}e^{-2x}dx\int_{x}^{+\infty}e^{-y}dy= P{X<Y}=∫∫x<y?f(x,y)dxdy=∫0+∞?dx∫x+∞?2e?2x?ydy=2∫0+∞?e?2xdx∫x+∞?e?ydy= 2 ∫ 0 + ∞ e ? 2 x d x ? ( ? e ? y ) ∣ x + ∞ = 2 ∫ 0 + ∞ e ? 2 x d x ? e ? x = 2 ∫ 0 + ∞ e ? 3 x d x = 2 ( ? 1 3 e ? 3 x ) ∣ 0 + ∞ = 2 3 2\int_{0}^{+\infty}e^{-2x}dx \space* (-e^{-y})|_{x}^{+\infty}=2\int_{0}^{+\infty}e^{-2x}dx \space * e^{-x}=2\int_{0}^{+\infty}e^{-3x}dx=2(-\frac{1}{3}e^{-3x})|_{0}^{+\infty}=\frac{2}{3} 2∫0+∞?e?2xdx ?(?e?y)∣x+∞?=2∫0+∞?e?2xdx ?e?x=2∫0+∞?e?3xdx=2(?31?e?3x)∣0+∞?=32?

---

X X X 邊緣概率密度函式： f X ( x ) = ∫ ? ∞ + ∞ f ( x , y ) d y f_X(x)=\int_{-\infty}^{+\infty}f(x,y)dy fX?(x)=∫?∞+∞?f(x,y)dy
故 X X X 的邊緣分布函式 F X ( x ) = ∫ ? ∞ x f X ( x ) d x F_X(x)=\int_{-\infty}^{x}f_X(x)dx FX?(x)=∫?∞x?fX?(x)dx

同理：

Y Y Y 邊緣概率密度函式： f Y ( y ) = ∫ ? ∞ + ∞ f ( x , y ) d x f_Y(y)=\int_{-\infty}^{+\infty}f(x,y)dx fY?(y)=∫?∞+∞?f(x,y)dx
故 Y Y Y 的邊緣分布函式 F Y ( y ) = ∫ ? ∞ y f Y ( y ) d y F_Y(y)=\int_{-\infty}^{y}f_Y(y)dy FY?(y)=∫?∞y?fY?(y)dy

---

二. 條件分布

---

1. 條件分布律

P { Y = y j ∣ X = x i } = P { X = x i , Y = y j } P { X = x j } = p i j p i . = p j ∣ i j = 1 , 2... P\{Y=y_j|X=x_i\}=\frac{P\{X=x_i,Y=y_j\}}{P\{X=x_j\}}=\frac{p_{ij}}{pi.}=p_{j|i}\space\space\space j=1,2... P{Y=yj?∣X=xi?}=P{X=xj?}P{X=xi?,Y=yj?}?=pi.pij??=pj∣i? j=1,2...
P { X = x i ∣ Y = y j } = P { X = x i , Y = y j } P { Y = y j } = p i j p . j = i ∣ j i = 1 , 2... P\{X=x_i|Y=y_j\}=\frac{P\{X=x_i,Y=y_j\}}{P\{Y=y_j\}}=\frac{p_{ij}}{p.j}=_{i|j}\space\space\space i=1,2... P{X=xi?∣Y=yj?}=P{Y=yj?}P{X=xi?,Y=yj?}?=p.jpij??=i∣j? i=1,2...

例題4： 設 ( X , Y ) (X,Y) (X,Y) 的概率分布如下表，試求 X = 2 X=2 X=2 的條件分布律

x\y	0	1	2
-1	1 10 \frac{1}{10} 101?	1 20 \frac{1}{20} 201?	7 20 \frac{7}{20} 207?
2	3 10 \frac{3}{10} 103?	1 10 \frac{1}{10} 101?	1 10 \frac{1}{10} 101?

答案：

• 首先計算 X = 2 X=2 X=2 的邊緣分布律為 1 2 \frac{1}{2} 21?，
• 當 X = 2 X=2 X=2 的條件分布律為 P { Y = 0 ∣ X = 2 } = 3 10 1 2 = 3 5 , P { Y = 1 ∣ X = 2 } = 1 10 1 2 = 1 5 , P { Y = 2 ∣ X = 2 } = 3 10 1 2 = 1 5 P\{Y=0|X=2\}=\frac{\frac{3}{10}}{\frac{1}{2}}=\frac{3}{5},P\{Y=1|X=2\}=\frac{\frac{1}{10}}{\frac{1}{2}}=\frac{1}{5},P\{Y=2|X=2\}=\frac{\frac{3}{10}}{\frac{1}{2}}=\frac{1}{5} P{Y=0∣X=2}=21?103??=53?,P{Y=1∣X=2}=21?101??=51?,P{Y=2∣X=2}=21?103??=51?

---

1.4 隨機變數的數字特征

---

一. 數學期望的概念

---

定義1.4.1： 設 離 散 型 隨 機 變 量 設離散型隨機變數 設離散型隨機變量 X X X 的 分 布 律 為 的分布律為 的分布律為 P { X = x k } = p k k = 1 , 2... , P\{X=x_k\}=p_k \space\space\space k=1,2..., P{X=xk?}=pk? k=1,2..., 若 級 數 收 斂 ， 則 稱 若級數收斂，則稱 若級數收斂，則稱 E ( X ) = ∑ k = 1 ∞ x k p k E(X)=\sum_{k=1}^{\infty}x_kp_k E(X)=k=1∑∞?xk?pk? 為 為 為 X X X 的 數 學 期 望 或 概 率 均 值 ， 簡 稱 均 值 或 期 望 的數學期望或概率均值，簡稱均值或期望 的數學期望或概率均值，簡稱均值或期望，
\space\space\space\space 設 連 續 型 是 隨 機 變 量 設連續型是隨機變數 設連續型是隨機變量 X X X 的概率密度為 f ( x ) f(x) f(x)， 若 積 分 ∫ ∞ + ∞ x f ( x ) d x 若積分\int_{\infty}^{+\infty}xf(x)dx 若積分∫∞+∞?xf(x)dx 絕 對 收 斂 絕對收斂 絕對收斂， 則 稱 則稱 則稱 E ( X ) = ∫ ? ∞ + ∞ x f ( x ) d x E(X)=\int_{-\infty}^{+\infty}xf(x)dx E(X)=∫?∞+∞?xf(x)dx 為 連 續 型 隨 機 變 量 為連續型隨機變數 為連續型隨機變量 X X X 的 數 學 期 望 ， 的數學期望， 的數學期望，
\space\space\space\space 若 若 若 X X X 的 分 布 律 為 的分布律為 的分布律為 P { X = x k } = p k k = 1 , 2... , 且 ∫ k = 1 + ∞ g ( x k ) p k P\{X=x_k\}=p_k \space\space\space k=1,2...,且\int_{k=1}^{+\infty}g(x_k)p_k P{X=xk?}=pk? k=1,2...,且∫k=1+∞?g(xk?)pk? 絕 對 收 斂 ， 則 函 數 絕對收斂，則函式 絕對收斂，則函數 Y = g ( X ) Y=g(X) Y=g(X) 的 期 望 為 的期望為 的期望為 E ( Y ) = E [ g ( X ) ] = ∑ k = 1 ∞ g ( x k ) p k E(Y)=E[g(X)]=\sum_{k=1}^{\infty}g(x_k)p_k E(Y)=E[g(X)]=k=1∑∞?g(xk?)pk? 其 中 其中 其中 g g g 為 連 續 函 數 為連續函式 為連續函數，
\space\space\space\space 若 連 續 型 隨 機 變 量 若連續型隨機變數 若連續型隨機變量 X X X 的概率密度為 f ( x ) f(x) f(x) , 且 ∫ ? ∞ + ∞ f ( x ) d x ,且\int_{-\infty}^{+\infty}f(x)dx ,且∫?∞+∞?f(x)dx 絕 對 收 斂 ， 則 函 數 絕對收斂，則函式 絕對收斂，則函數 Y = g ( X ) Y=g(X) Y=g(X) 的 期 望 為 的期望為 的期望為 E ( Y ) = E [ g ( X ) ] = ∫ ? ∞ + ∞ g ( x ) f ( x ) d x E(Y)=E[g(X)]=\int_{-\infty}^{+\infty}g(x)f(x)dx E(Y)=E[g(X)]=∫?∞+∞?g(x)f(x)dx

數學期望的性質：

1. (線性法則)： E ( a X + b ) = a E ( X ) + b E(aX+b)=aE(X)+b E(aX+b)=aE(X)+b
2. (加法法則): E ( X + Y ) = E ( X ) + E ( Y ) E(X+Y)=E(X)+E(Y) E(X+Y)=E(X)+E(Y)
3. (乘法法則)：當隨機變數 X , Y X,Y X,Y 相互獨立時 E ( X Y ) = E ( X ) E ( Y ) E(XY)=E(X)E(Y) E(XY)=E(X)E(Y)
4. (柯西-許瓦茲不等式)： ∣ E ( X Y ) ∣ 2 ≤ E ( X 2 ) E ( Y 2 ) |E(XY)|^2 \leq E(X^2)E(Y^2) ∣E(XY)∣2≤E(X2)E(Y2)

柯西-許瓦茲不等式證明程序

---

均值向量表示： E ( x ) = a v g ( x ) = 1 T x n E(x)=avg(x)=\frac{1^Tx}{n} E(x)=avg(x)=n1Tx?
去均值向量： x ~ = x ? a v g ( x ) 1 \tilde{x} = x-avg(x)1 x~=x?avg(x)1

去均值向量的特性： a v g ( x ~ ) = 0 avg(\tilde{x})=0 avg(x~)=0

---

例題5： 設 X X X 的分布律為

X	-2	-1	0	1
p k p_k pk?	1 4 \frac{1}{4} 41?	1 8 \frac{1}{8} 81?	1 2 \frac{1}{2} 21?	1 8 \frac{1}{8} 81?

求 Y = X 2 ? 1 Y=X^2 -1 Y=X2?1 的數學期望，

---

二. 方差的概念

---

定義1.4.2： 設 設 設 X X X 是 一 個 隨 機 變 量 ， 若 是一個隨機變數，若 是一個隨機變量，若 E { [ X ? E ( X ) ] 2 } E\{[X-E(X)]^2\} E{[X?E(X)]2} 存 在 ， 則 稱 存在，則稱 存在，則稱 E { [ X ? E ( X ) ] 2 } E\{[X-E(X)]^2\} E{[X?E(X)]2} 為 為 為 X X X 的 方 差 ， 記 做 的方差，記做 的方差，記做 D ( X ) D(X) D(X) 或 或 或 V a r ( X ) Var(X) Var(X) 或 或 或 σ x 2 \sigma_x^2 σx2? ， 即 ，即 ，即 D ( X ) = V a r ( X ) = E { [ X ? E ( X ) ] 2 } = σ x 2 D(X)=Var(X)=E\{[X-E(X)]^2\}=\sigma_x^2 D(X)=Var(X)=E{[X?E(X)]2}=σx2? 稱 稱 稱 σ x = σ ( X ) = D ( X ) \sigma_x=\sigma(X)=\sqrt{D(X)} σx?=σ(X)=D(X) ? 為 X X X 的 標 準 差 或 均 方 差 ， 的標準差或均方差， 的標準差或均方差，

由方差的性質易得： D ( X ) = E ( X 2 ) ? [ E ( X ) ] 2 D(X)=E(X^2)-[E(X)]^2 D(X)=E(X2)?[E(X)]2 E ( X 2 ) = D ( X ) + [ E ( X ) ] 2 E(X^2)=D(X)+[E(X)]^2 E(X2)=D(X)+[E(X)]2

證明程序： D ( X ) = E { [ X ? E ( X ) ] 2 } = E { X 2 ? 2 X E ( X ) + [ E ( X ) ] 2 } D(X)=E\{[X-E(X)]^2\}=E\{X^2-2XE(X)+[E(X)]^2\} D(X)=E{[X?E(X)]2}=E{X2?2XE(X)+[E(X)]2} 由期望的加法性質 E ( a X + b ) = a E ( x ) + b E(aX+b)=aE(x)+b E(aX+b)=aE(x)+b 可得 D ( X ) = E ( X 2 ) ? 2 E ( X ) E ( X ) + [ E ( X ) ] 2 = E ( X 2 ) ? [ E ( X ) ] 2 D(X)=E(X^2)-2E(X)E(X)+[E(X)]^2=E(X^2)-[E(X)]^2 D(X)=E(X2)?2E(X)E(X)+[E(X)]2=E(X2)?[E(X)]2

方差是反應資料疏散程度特征得量，方差大，說明資料疏散；方差小，說明資料集中，

---

方差的矩陣表示： D ( x ) = x ~ T x ~ n = < x ~ , x ~ > n = ∣ ∣ x ~ ∣ ∣ 2 2 n D(x)=\frac{\tilde{x}^T\tilde{x}}{n}=\frac{<\tilde{x},\tilde{x}>}{n}=\frac{||\tilde{x}||_2^2}{n} D(x)=nx~Tx~?=n<x~,x~>?=n∣∣x~∣∣22??

---

三. 協方差、相關系數

---

定義1.4.3： 設 設 設 ( X , Y ) (X,Y) (X,Y) 為 二 維 隨 機 變 量 ， 稱 為二維隨機變數，稱 為二維隨機變量，稱 C o v ( X , Y ) = E [ ( X ? E ( X ) ) ( Y ? E ( Y ) ) ] Cov(X,Y)=E[(X-E(X))(Y-E(Y))] Cov(X,Y)=E[(X?E(X))(Y?E(Y))] 為 為 為 X X X 與 與 與 Y Y Y 的 協 方 差 的協方差 的協方差，

由方差和協方差性質易得 D ( X + Y ) = D ( X ) + D ( Y ) + 2 C o v ( X , Y ) D(X+Y)=D(X)+D(Y)+2Cov(X,Y) D(X+Y)=D(X)+D(Y)+2Cov(X,Y) C o v ( X , Y ) = E ( X Y ) ? E ( X ) E ( Y ) Cov(X,Y)=E(XY)-E(X)E(Y) Cov(X,Y)=E(XY)?E(X)E(Y)

證明程序：

1. C o v ( X , Y ) = E [ ( X ? E ( X ) ) ( Y ? E ( Y ) ) ] = E [ X Y ? Y E ( X ) ? X E ( Y ) + E ( X ) E ( Y ) ] = Cov(X,Y)=E[(X-E(X))(Y-E(Y))]=E[XY-YE(X)-XE(Y)+E(X)E(Y)]= Cov(X,Y)=E[(X?E(X))(Y?E(Y))]=E[XY?YE(X)?XE(Y)+E(X)E(Y)]= E ( X Y ) ? E ( Y ) E ( X ) ? E ( X ) E ( Y ) + E ( X ) ( Y ) = E ( X Y ) ? E ( X ) E ( Y ) E(XY)-E(Y)E(X)-E(X)E(Y)+E(X)(Y)=E(XY)-E(X)E(Y) E(XY)?E(Y)E(X)?E(X)E(Y)+E(X)(Y)=E(XY)?E(X)E(Y)
2. D ( X + Y ) = E [ X + Y ? E ( X + Y ) ] 2 = E [ X ? E ( X ) + Y ? E ( Y ) ] 2 = D(X+Y)=E[X+Y-E(X+Y)]^2=E[X-E(X)+Y-E(Y)]^2= D(X+Y)=E[X+Y?E(X+Y)]2=E[X?E(X)+Y?E(Y)]2= ( E [ X ? E ( X ) ] + E [ Y ? E ( Y ) ] ) ( E [ X ? E ( X ) ] + E [ Y ? E ( Y ) ] ) = (E[X-E(X)]+E[Y-E(Y)])(E[X-E(X)]+E[Y-E(Y)])= (E[X?E(X)]+E[Y?E(Y)])(E[X?E(X)]+E[Y?E(Y)])= E [ X ? E ( X ) ] 2 + E [ Y ? E [ Y ] ] 2 ? 2 E [ X ? E ( X ) ] E [ Y ? E ( Y ) ] = D ( X ) + D ( Y ) ? 2 C o v ( X , Y ) E[X-E(X)]^2+E[Y-E[Y]]^2-2E[X-E(X)]E[Y-E(Y)]=D(X)+D(Y)-2Cov(X,Y) E[X?E(X)]2+E[Y?E[Y]]2?2E[X?E(X)]E[Y?E(Y)]=D(X)+D(Y)?2Cov(X,Y)

協方差得基本性質：

1. C o v ( X , Y ) = C o v ( Y , X ) Cov(X,Y)=Cov(Y,X) Cov(X,Y)=Cov(Y,X)
2. C o v ( a X , b Y ) = a b C o v ( Y , X ) Cov(aX,bY)=abCov(Y,X) Cov(aX,bY)=abCov(Y,X)
3. C o v ( X 1 ± X 2 , Y ) = C o v ( X 1 , Y ) ± C o v ( X 2 , Y ) Cov(X_1\pm X_2,Y)=Cov(X_1,Y)\pm Cov(X_2,Y) Cov(X1?±X2?,Y)=Cov(X1?,Y)±Cov(X2?,Y)
4. ∣ C o v ( X , Y ) ∣ ≤ D ( X ) D ( Y ) |Cov(X,Y)|\leq \sqrt{D(X)}\sqrt{D(Y)} ∣Cov(X,Y)∣≤D(X) ?D(Y) ?
5. C o v ( X , X ) = D ( X ) Cov(X,X)=D(X) Cov(X,X)=D(X)
6. 若 X X X 和 Y Y Y 相互獨立，則 C o v ( X , Y ) = 0 Cov(X,Y)=0 Cov(X,Y)=0
7. C o v ( a X ± b , c Y ± d ) = a c C o v ( X , Y ) Cov(aX\pm b,cY\pm d)=acCov(X,Y) Cov(aX±b,cY±d)=acCov(X,Y)

協方差是反映量隨機變數 X X X 和 Y Y Y 相關關系的特征量，它與 X X X 與 Y Y Y 是同量綱的，而反應 X X X 與 Y Y Y 相關關系的無量綱的是相關系數，

---

協方差的矩陣表示： C o v ( a , b ) = a ~ T b ~ n = < a ~ , b ~ > n Cov(a,b)=\frac{\tilde{a}^T\tilde{b}}{n}=\frac{<\tilde{a},\tilde{b}>}{n} Cov(a,b)=na~Tb~?=n<a~,b~>?

---

定義1.4.4： 設 設 設 ( X , Y ) (X,Y) (X,Y) 為 二 維 隨 機 變 量 為二維隨機變數 為二維隨機變量， D ( X ) , D ( Y ) , C o v ( X , Y ) D(X),D(Y),Cov(X,Y) D(X),D(Y),Cov(X,Y) 分 別 為 分別為 分別為 ( X , Y ) (X,Y) (X,Y) 方 差 與 協 方 差 ， 稱 方差與協方差，稱 方差與協方差，稱 ρ X Y = C o v ( X , Y ) D ( X ) D ( Y ) \rho_{XY}=\frac{Cov(X,Y)}{\sqrt{D(X)}\sqrt{D(Y)}} ρXY?=D(X) ?D(Y) ?Cov(X,Y)? 為 隨 機 變 量 為隨機變數 為隨機變量 X X X 與 Y Y Y 相 關 系 數 ， 相關系數， 相關系數，

相關系數的性質：

1. ∣ ρ X Y ∣ ≤ 1 |\rho_{XY}|\leq 1 ∣ρXY?∣≤1， ρ \rho ρ 是一個表征 ( X , Y ) (X,Y) (X,Y) 同線性相關緊密程度的量， ∣ ρ ∣ |\rho| ∣ρ∣ 較大表示 ( X , Y ) (X,Y) (X,Y) 線性相關程度較高，反之較低，
2. 若 ( X , Y ) (X,Y) (X,Y) 相互獨立，且 D ( X ) , D ( Y ) > 0 D(X),D(Y)>0 D(X),D(Y)>0，則 ρ X Y = 0 \rho_{XY}=0 ρXY?=0，若 ( X , Y ) (X,Y) (X,Y) 的相關系數 ρ X Y = 0 \rho_{XY}=0 ρXY?=0，則稱 X X X 與 Y Y Y 不相關，

---

相關系數矩陣表示： ρ a b = a ~ T b ~ n a ~ T a ~ n b ~ T b ~ n = a ~ T b ~ a ~ T a ~ b ~ T b ~ = a ~ T b ~ ∣ ∣ a ~ ∣ ∣ 2 ∣ ∣ b ~ ∣ ∣ 2 = cos ? ∠ ( a ~ , b ~ ) \rho_{ab}=\frac{\frac{\tilde{a}^T\tilde{b}}{n}}{\sqrt{{\frac{\tilde{a}^T\tilde{a}}{n}}}\sqrt{{\frac{\tilde{b}^T\tilde{b}}{n}}}}=\frac{\tilde{a}^T\tilde{b}}{\sqrt{\tilde{a}^T\tilde{a}}\sqrt{\tilde{b}^T\tilde{b}}}=\frac{\tilde{a}^T\tilde{b}}{||\tilde{a}||_2||\tilde{b}||_2}=\cos\angle(\tilde{a},\tilde{b}) ρab?=na~Ta~? ?nb~Tb~? ?na~Tb~??=a~Ta~ ?b~Tb~ ?a~Tb~?=∣∣a~∣∣2?∣∣b~∣∣2?a~Tb~?=cos∠(a~,b~)