主頁 > 後端開發 > 隨機變數專題及其python實作(概率分布,二項分布,正態分布,卡方分布,t分布,F分布及變數相關性分析等)

隨機變數專題及其python實作(概率分布,二項分布,正態分布,卡方分布,t分布,F分布及變數相關性分析等)

2021-04-26 19:05:14 後端開發

目錄

  • 1. 概率與概率分布
    • 1.1離散型隨機變數
      • 1.1.1概率質量函式(PMF)
      • 1.1.2 累計分布密度函式(CDF)
      • 1.1.3 Python的實作
    • 1.2 連續型隨機變數
  • 2. 期望值與方差
  • 3. 二項分布
    • 3.1二項分布概述及其與伯努利分布的差別
    • 3.2 Numpy生成二項分布亂數
    • 3.3 二項分布的PMF與CDF
      • 3.3.1 PMF及其影像繪制
      • 3.3.2 CDF及其影像繪制
      • 3.3.3 二項分布在金融市場的應用
  • 4. 正態分布
    • 4.1 正態分布概述
    • 4.2 Python正態分布相關函式
    • 4.3 正態分布在金融市場的應用
  • 5. 其他連續分布
    • 5.1 卡方分布
    • 5.2 t分布
    • 5.3 F分布
  • 6. 變數的關系
    • 6.1 聯合概率分布
    • 6.2變數的獨立性
    • 6.3 變數的相關性
    • 6.4 上證指數與深證成指相關性分析

統計分析是可以幫助人們認清、刻畫不確定性的方法,總體是某一特定事物可能發生結果的集合, 隨機變數(Random Variable) 則是一個不確定事件結果是數值函式(Function),也就是說,把不確定事件的結果用數值來表述,即得到隨機變數,隨機變數又分為 離散型隨機變數(Discrete Random Variable)連續型隨機變數(Continuous Radom Variable)

在這里插入圖片描述

1. 概率與概率分布

概率(Probability)是用于刻畫事物不確定性的一種測度(Measure),根據概率的大小,我們可以判斷不確定性的高低,

1.1離散型隨機變數

1.1.1概率質量函式(PMF)

假設X是一個離散型隨機變數,其所有可能取值為集合{ak},k=1,2,…,我們定義X的概率質量函式(Probability Mass Function) 為:
f X ( a k ) = P { X = a k } , k = 1 , 2 , ? \displaystyle {f_X}\relax{(a_k)}=P\{X=a_k\} , k=1,2,\cdots fX?(ak?)=P{X=ak?},k=1,2,?
概率質量函式可以量化地表達隨機變數X取每個數值可能性的大小

1.1.2 累計分布密度函式(CDF)

對于離散型隨機變數,累計分布函式可以用概率質量函式累加來獲得:
F X ( a ) = P { X ≤ a } = ∑ i : a i ≤ a f X ( a i ) \displaystyle {F_X}\relax{(a)}=P\{X\leq a\}=\sum_{i:a_i\leq a}{f_X}\relax{(a_i)} FX?(a)=P{Xa}=i:ai?a?fX?(ai?)

1.1.3 Python的實作

在Python中我們可以通過Numpy包的random模塊中的choice()函式來生成服從待定的概率質量函式的亂數,
choice()函式:

  • choice(a, size=None, replace=True, p=None)
    引數a: 隨機變數可能的取值序列,
    引數size: 我們要生成亂數陣列的大小,
    引數replace: 決定了生成亂數時是否是有放回的,
    引數p:為一個與x等長的向量,指定了每種結果出現的可能性,

計算頻數分布使用value_counts()函式

# 以陣列形式
import numpy as np
import pandas as pd

RandomNumber=np.random.choice([1,2,3,4,5],\
size=100, replace=True,\
p=[0.1,0.1,0.3,0.3,0.2])
pd.Series(RandomNumber).value_counts() # 計算頻數分布value_counts()函式
pd.Series(RandomNumber).value_counts()/100  #計算概率分布

結果呈現:
在這里插入圖片描述

  • 增大size引數,即生成亂數的數目,得到的結果則會更接近設定的概率,

1.2 連續型隨機變數

若隨機變數X是連續的,我們則不再能通過概率質量函式來刻畫隨機變數只隨機性,對任意ak都有 P { X = a k } = 0 \displaystyle P\{X=a_k\}=0 P{X=ak?}=0
連續型隨機變數沒有PMF,對于連續型隨機變數,累積分布函式

F X ( a ) = P { X ≤ a } \displaystyle {F_X}\relax{(a)}=P\{X\leq a\} FX?(a)=P{Xa}可以表達為:

F X ( a ) = ∫ ? ∞ a f X ( x ) d x \displaystyle {F_X}\relax{(a)}=\int _{-\infty}^{a}{f_X}\relax{(x)}dx FX?(a)=?a?fX?(x)dx

其中 f X = d F X ( x ) d x \displaystyle {f_X}=\frac{dF_X(x)}{dx} fX?=dxdFX?(x)?,被稱作概率密度函式
(Probability Density Function)(PDF)
,X的取值落在某個區間的概

率可以用概率密度函式在這個區間上的積分來求得,

演算法邏輯:

  • 使用stats模塊kde包中的gaussian_kde()可以估計資料的概率密度,在其中傳入我們要統計的Series型別的變數名即可,得到的是一個“scipy.stats.kde.gaussian_kde”型別的物件,我們暫先給其命名為density,
  • 然后設定好分割區間,設為陣列格式,暫將該物件命名為bins,
  • 注意,這次與以往繪圖不同,這次是以研究的物件資料為行進行繪圖,
  • 使用上邊得到的資料型別density,以 density(bins)格式的語法可以得到一個以設定的分割區間為界限的概率密度陣列,讓將density(bins)這個物件作為行傳入plot即可,
  • 如果要繪制累計分布函式圖,則只需在上邊的density(bins)物件后再呼叫一下cumsum()函式,對陣列資料進行累加后在傳入即可,

以2020年滬深300指數(399300.SZ)的收益率(日漲跌幅)資料為例:

# 調取資料
import numpy as np
import tushare as ts
import pandas as pd
token = 'Your Token'   # 輸入你的介面密匙,獲取方式及相關權限見Tushare官網,
pro = ts.pro_api(token)
df = pro.index_daily(ts_code='399300.SZ')  
df['trade_date'] = pd.to_datetime(df['trade_date'])  
df.set_index(['trade_date'], inplace=True)  # 將日期列作為行索引
df = df.sort_index() 
# 實作概率分布
import matplotlib.pyplot as plt
from scipy import stats
density = stats.kde.gaussian_kde(df.pct_chg['2020']) #研究資料格式化
bins=np.arange(-5,5,0.02)  # 設定分割區間

plt.rcParams['font.sans-serif'] = ['SimHei']
plt.rcParams['axes.unicode_minus'] = False
plt.subplot(211)
plt.plot(bins,density(bins))
plt.title('滬深300指數2020年收益率序列概率密度曲線圖')
plt.subplot(212)
plt.plot(bins,density(bins).cumsum())
plt.title('滬深300指數2020年收益率序列累積分布函式圖')
plt.show()

結果展示如下:
在這里插入圖片描述


2. 期望值與方差

可以用樣本資料的平均值來刻畫樣本的中心位置,期望(Expectation)是隨機變數所有可能取的結果的均值,用來呈現總體的中心位置,對于離散型隨機變數,期望是該隨機變數所有可能結果的取值與其概率的乘積之和:
E ( X ) = ∑ k a k f X ( a k ) = ∑ k a k P { X = a k } \displaystyle E\relax{(X)}=\sum_ka_kf_X\relax{(a_k)}=\sum_ka_kP\{X=a_k\} E(X)=k?ak?fX?(ak?)=k?ak?P{X=ak?}
方差(Variance)則是:
V a r ( X ) = E [ X ? E ] 2 = ∑ k [ a k ? E ( X ) 2 ] P { X = a k } \displaystyle Var\relax{(X)}=E\left[X-E\right]^2=\sum_k\left[a_k-E(X)^2\right]P\{X=a_k\} Var(X)=E[X?E]2=k?[ak??E(X)2]P{X=ak?}
對于一類特殊的離散型隨機變數:伯努利(Bernoulli Random Variable)隨機變數,伯努利隨機變數X只能取到兩個值,0或者1,對應的概率質量函式為:
f X ( a ) = P ( X = a ) = { p , a = 1 1 ? p , a = 0 \displaystyle f_X\relax{(a)}=P\relax{(X=a)}=\begin{cases}p,&a=1 \\1-p,&a=0\end{cases} fX?(a)=P(X=a)={p,1?p,?a=1a=0?

伯努利隨機變數的期望值 E ( X ) = p \displaystyle E(X)=p E(X)=p

方差為 V a r ( X ) = ( 1 ? p ) ? p \displaystyle Var(X)=(1-p)·p Var(X)=(1?p)?p

若隨機變數X為連續型隨機變數,其概率密度函式為 f X \displaystyle f_X fX?,則期望為: E ( X ) = ∫ ? ∞ ∞ a f X ( a ) d a \displaystyle E(X)=\int_{-\infty}^{\infty}af_X\relax{(a)}d\relax{a} E(X)=??afX?(a)da

方差為: V a r ( X ) = ∫ ? ∞ ∞ [ a ? E ( X ) ] 2 f X ( a ) d a \displaystyle Var\relax{(X)}=\int_{-\infty}^{\infty}\left[a-E\relax{(X)}\right]^2f_X\relax{(a)}d\relax{a} Var(X)=??[a?E(X)]2fX?(a)da
隨機變數可能的取值有很多(比如連續型隨機變數的取值為無窮),但其觀測值(實際值)個數有限,因此現實中隨機變數的概率分布、期望、方差等特征值通常是不可知的,推斷統計就是透過其觀測值的集合——樣本資料來刻畫這些特征的,


3. 二項分布

3.1二項分布概述及其與伯努利分布的差別

研究伯努利分布時,我們關注的期望是進行一次試驗結果的期望值,這樣的結果有兩種情況,所以伯努利分布也稱“兩點分布”,
而研究二項分布時,我們關注的是n次試驗的結果,這樣的結果有多種組合,
為直觀說明,假設二點分布結果0的概率為0.4,結果為1的概率為0.6;
二項分布結果為0的概率為0.4,結果為1的概率為0.6,且進行十次,
則:

n = 10
p1 = 0.6
p2 = 0.6
plt.rcParams['font.sans-serif'] = ['SimHei']
plt.rcParams['axes.unicode_minus'] = False
plt.subplot(221)
plt.bar(['0','1'], [1-p1,p1], width=0.5)
plt.title("二點分布PMF")
plt.subplot(222)
plt.plot(['0','0','1','1',' '], [0, 0.4, 0.4, 1.0,1.0])
plt.title("二點分布CDF")
plt.subplot(223)
b = [stats.binom.pmf(i,10,0.6) for i in range(0,11)]
plt.bar([str(i) for i in range(0,n+1)],b)
plt.title('二項分布PMF')
plt.subplot(224)
plt.title("二項分布CDF")
c = [str(i//2) for i in range(0,2*(n+1))]
c.append('')
d = [stats.binom.cdf(i//2,10,0.6) for i in range(0,22)]
d.insert(0,0)
plt.plot(c,d)
plt.show()

展示結果:
在這里插入圖片描述

當np≥10,n(1-p)≥10都滿足時,二項分布可以近似為正態分布,

3.2 Numpy生成二項分布亂數

在Numpy庫中可以使用binomial()函式來生成二項分布亂數,
形式為:binomial(n, p, size=None)
引數n是進行伯努利試驗的次數,引數p是伯努利變數取值為1的概率,size是生成亂數的數量,

np.random.binomial(100, 0.5, 20)

在這里插入圖片描述

3.3 二項分布的PMF與CDF

3.3.1 PMF及其影像繪制

# 求100次試驗,20次成功的概率,p=0.5
stats.binom.pmf(20,100,0.5)
# 求100次試驗,50次成功的概率,p=0.5
stats.binom.pmf(50,100,0.5)

在這里插入圖片描述
影像繪制

#傳入時n+1是因為10次實驗有十一種可能的結果組合,
n=10   # 十次試驗
p=0.5  
plt.rcParams['font.sans-serif'] = ['SimHei']
b = [stats.binom.pmf(i, n, p) for i in range(0,n+1)]
plt.bar([str(i) for i in range(0,len(b))],b)
plt.title('X~B({},{})二項分布PMF'.format(n,p))
plt.show()

在這里插入圖片描述

3.3.2 CDF及其影像繪制

可以直接用pmf()函式解決這個問題,

#stats.binom.pmf函式很神奇,傳入的第一個引數是數字(指定伯努利試驗成功的次數),生成結果就也是一個數字,如果傳入的第一個引數是陣列,則會將會以該陣列的shape輸出其中每個數字成功次數的條件下,對應的概率,
dd = stats.binom.pmf(np.arange(0, 21, 1), 100, 0.5)
dd

在這里插入圖片描述

# 然后對陣列求和即求出小于等于20次發生這一事件的概率
dd.sum()

在這里插入圖片描述
此外,也可以用binom中的cdf()函式來直接解決這個問題

# 依然100次試驗成功20次,每次p=0.5
stats.binom.cdf(20,100,0.5)

在這里插入圖片描述
影像繪制

n=10   # 十次試驗
p=0.5
plt.rcParams['font.sans-serif'] = ['SimHei']
plt.title('X~B({},{})二項分布CDF'.format(n,p))
c = [str(i//2) for i in range(0, 2*(n+1))]
c.append('')
d = [stats.binom.cdf(i//2, n, p) for i in range(0, 22)]
d.insert(0,0)
plt.plot(c,d)
plt.show()

在這里插入圖片描述

3.3.3 二項分布在金融市場的應用

二項分布常常用于描述金融市場中只有兩個結果的重復事件,
如研究平安銀行股票2020年資料:

# 匯入相關模塊
import numpy as np
import tushare as ts
import pandas as pd
from scipy import stats
# 設定好介面  注意這句不能照抄,需要輸入自己的介面密匙
token = 'Your token'   # 輸入你的介面密匙,獲取方式及相關權限見Tushare官網,
pro = ts.pro_api(token)
# 獲取資料
df = pro.daily(ts_code='000001.SZ')  # daily為tushare的股票日線資料介面,
df['trade_date'] = pd.to_datetime(df['trade_date'])  
df.set_index(['trade_date'], inplace=True)  # 將日期列作為行索引
df = df.sort_index() 
ret = df.pct_chg['2020']

# 估算平安銀行股價上漲的概率
p = len(ret[ret > 0]) / len(ret)
print(p)

# 估計十個交易日中,平安銀行有六個交易日上漲的概率
prob = stats.binom.pmf(6,10,p)
print(prob)

在這里插入圖片描述
在這里插入圖片描述


4. 正態分布

4.1 正態分布概述

正態分布(Normal Distribution)又名高斯分布(Gaussiam Distribution),是人們最常用的描述連續型隨機變數的概率分布,在金融學研究中,收益率等變數的分布假定為正態分布或者對數正態分布(取對數后服從正態分布),因為形狀的原因,正態分布曲線也被經常稱為鐘形曲線,
正態分布分布律: 若隨機變數X滿足服從一個數學期望為u, 方差為 σ 2 \displaystyle \sigma^2 σ2的正態分布,記為X ~ ( N , σ 2 ) \displaystyle(N,\sigma^2 ) (N,σ2),則X的取值范圍為( ? ∞ , + ∞ \displaystyle -\infty,+\infty ?,+),其概率密度為:

f X ( x ) = 1 2 π σ e x p [ ? ( x ? u ) 2 2 σ 2 ] \displaystyle f_X\relax{(x)}=\frac{1}{\sqrt{2\pi\sigma}}exp\left[\frac{-(x-u)^2}{2\sigma^2}\right] fX?(x)=2πσ ?1?exp[2σ2?(x?u)2?]
均值越大影像越靠右,方差越小影像越瘦高
服從正態分布的變數X滿足其線性變換aX+b~( a u + b , a 2 σ 2 \displaystyle au+b,a^2\sigma^2 au+b,a2σ2),
若令a = 1 σ \displaystyle\frac{1}{\sigma} σ1?,b = ? u σ \displaystyle\frac{-u}{\sigma} σ?u?,即可得到標準正態分布,該程序即標準化,數學式記作:

Z = X ? u σ \displaystyle Z=\frac{X-u}{\sigma} Z=σX?u? ~ N ( 0 , 1 ) \displaystyle(0,1) (0,1)
任何正態分布都可以進行標準化,轉變成標準正態分布,

4.2 Python正態分布相關函式

正態分布亂數的生成函式是normal(),其語法為:
normal(loc=0.0, scale=1.0, size=None)

  • 引數loc:表示正態分布的均值
  • 引數scale:表示正態分布的標準差,默認為1
  • 引數size:表示生成亂數的數量
# 生成五個標準正態分布亂數
Norm = np.random.normal(size=5)
# 求生成的正態分布亂數的密度值
stats.norm.pdf(Norm)
# 求生成的正態分布亂數的累積密度值
stats.norm.cdf(Norm)

在這里插入圖片描述
繪制正態分布PDF

# 注意這里使用的pdf和cdf函式是norm包里的
u=0  
sigma=1
plt.rcParams['font.sans-serif'] = ['SimHei']
plt.title('X~N({},{})正態分布PDF'.format(u,sigma**2))
x = np.linspace(-5,5,100000)  # 設定分割區間
y1 = stats.norm.pdf(x,u,sigma**2)
plt.plot(x,y1)
plt.tight_layout()  # 自動調整子圖,使之充滿畫布整個區域
plt.show()

影像效果:
在這里插入圖片描述

繪制正態分布CDF

plt.rcParams['font.sans-serif'] = ['SimHei']
plt.title('X~N({},{})正態分布CDF'.format(u,sigma**2))
x = np.linspace(-5,5,100000)  # 設定分割區間
y2 = stats.norm.cdf(x,u,sigma**2)
plt.plot(x,y2)
plt.tight_layout()  
plt.show()

影像效果:
在這里插入圖片描述

4.3 正態分布在金融市場的應用

VAR(Value at Risk),即在險價值,是指在一定概率水平(α%)下,某一金融資產或金融資產組合在未來特定一段時間內的最大可能的損失,該定義可表達為: P { X t < ? V a R } \displaystyle P\{X_t < -VaR\} P{Xt?<?VaR} = α%
其中,隨機變數Xt為金融資產或金融資產組合在持有期 Δ t \displaystyle \Delta t Δt內的損失,1-α%被叫做VaR的置信水平,
這里用到了ppf() 函式,來獲取指定分位數的累積密度值,
假設平安銀行股價2020年日收益率序列服從正態分布,下面用Python來求解當概率水平為5%時平安銀行股價日收益率在2021年初個交易日的VaR:

# 上邊已經定義過ret變數了,為平安銀行2020年股價日收益率資料,
# 這里直接接著使用
ret_mean = ret.mean()   # 求均值
ret_variance = ret.var()  # 求方差
# 查詢累積密度值為0.05的分位數
stats.norm.ppf(0.05, ret_mean, ret_variance**0.5)

在這里插入圖片描述
也就是說,在2021年的第一個交易日,有95%概率平安銀行股票的損失不會超過3.475523569%,
(雖然當天實際跌了3.83,產生了例外值,)


5. 其他連續分布

5.1 卡方分布

若Z1, Z2, … Zn,為n個服從標準正態分布的隨機變數,則變數:

X = Z 1 2 + Z 2 2 + ? + Z n 2 \displaystyle X=Z_1^2+Z_2^2+\cdots+Z_n^2 X=Z12?+Z22?+?+Zn2?
服從自由度(Degree of Freedom)為n的卡方分布,

通常表示為 X 2 \displaystyle X^2 X2~ χ 2 \displaystyle \chi^2 χ2

因為n的取值可以不同,所以卡方分布是一族分布而不是一個單獨的分布,根據X的運算式,服從卡方分布的隨機變數值不可能取負值,其期望值為n,方差為2n,

plt.plot(np.arange(0, 5, 0.002),\
stats.chi.pdf(np.arange(0, 5, 0.002), 3))
plt.title('卡方分布PDF(自由度為3)')

生成影像如下:
在這里插入圖片描述

卡方分布以0為起點,分布是偏斜的,即非對稱的,在自由度為3的卡方分布下,大多數值都小于8,查表可知只有5%的值大于7.82%,


5.2 t分布

若隨機變數 Z \displaystyle Z Z ~ N ( 0 , 1 ) \displaystyle N(0,1) N(0,1) Y \displaystyle Y Y ~ χ 2 ( n ) \displaystyle\chi^2(n) χ2(n),且二者相互獨立,
則變數 X = Z Y / n \displaystyle X=\frac{Z}{\sqrt{Y/n}} X=Y/n ?Z?服從自由度為n的t分布,

可以記作 X \displaystyle X X~ t ( n ) \displaystyle t(n) t(n)
類似卡方分布,t分布也是整整一族,自由度n不同t分布即不同,
t分布變數取值范圍為( ? ∞ , + ∞ \displaystyle -\infty,+\infty ?,+),其期望值與方差存在于否,取值大小均與t分布的自由度有關,

  • t(1)分布無有限期望值,
  • t(2)有有限期望值,但方差不存在,
  • n>2時,t(n)才同時有有限的期望值和方差,其中期望值為0,方差為n/(n-2),因此自由度越大,變數的方差越小,也就是說分布的離散程度越小,

下邊使用Python繪制不同自由度下的t分布的概率分布圖:

x = np.arange(-4,4.004,0.004)
plt.plot(x, stats.norm.pdf(x), label='Normal')
plt.plot(x, stats.t.pdf(x,5), label='df=5')
plt.plot(x, stats.t.pdf(x,30), label='df=30')
plt.legend()

結果如圖所示:
在這里插入圖片描述
t分布的pdf曲線是以0為中心,左右對稱的單峰分布,其形態變化與自由度n的大小有關,自由度越小,分布越分散;自由度越大,變數在其均值周圍的聚集程度越高,也越接近標準正態分布曲線,
自由度為30時,t分布已經接近標準正態分布曲線,相較于標準正態分布,t分布的密度函式呈現出“尖峰厚尾”的特點,在現實中資產收益率分布往往呈現這種形態,因此t分布在對實際抽樣結果的刻畫上更為精確,t分布是在推斷統計中常用的分布,
————

5.3 F分布

若Z,Y為兩個獨立的隨機變數,且 Z \displaystyle Z Z~ χ 2 ( m ) \displaystyle \chi^2(m) χ2(m) Y \displaystyle Y Y~ χ 2 ( n ) \displaystyle ~\chi^2(n) χ2(n)

則變數 X = Z / m Y / n \displaystyle X=\frac{Z/m}{Y/n} X=Y/nZ/m?服從第一自由度為m,第二自由度為n的F分布,

記作X~ F ( m , n ) \displaystyle F(m, n) F(m,n)

變數X是兩個卡方變數(非負)之比,因此X的取值范圍也為非負,其期望和方差存在于否取決于第二自由度n,

n > 2時,才存在期望,為 n n ? 2 \displaystyle \frac{n}{n-2} n?2n?

n > 4時,才存在方差,為 2 n 2 ( m + n ? 2 ) m ( n ? 2 ) 2 ( n ? 4 ) \displaystyle \frac{2n^2(m+n-2)}{m(n-2)^2(n-4)} m(n?2)2(n?4)2n2(m+n?2)?

plt.plot(np.arange(0,5,0.002),\
stats.f.pdf(np.arange(0,5,0.002), 4, 40))
plt.title('F分布PDF(df1=4, df2=40)')

它的概率密度函式形態如圖所示
在這里插入圖片描述


6. 變數的關系

我們面對的多個隨機變數,之間可能會有互相影響,

6.1 聯合概率分布

多個變數之間的聯合行為可以用聯合概率分布(Joint Probability Distribution)來刻畫,
若變數X, Y是離散的,其所有可能取值的集合為{ak}和{bk}, k=1,2,…,
則X,Y的聯合概率質量函式(Joint Probability Mass Function)為:
f X , Y ( a , b ) = P { X = a i 且 Y = b j } \displaystyle f_{X,Y}(a,b)=P\{X=a_i 且 Y=b_j\} fX,Y?(a,b)=P{X=ai?Y=bj?}, i,j=1,2…

雙變數X和Y的聯合累積分布函式(Joint Cumulative Distribution Function)為: F X , Y ( a , b ) = P { X ≤ a 且 Y ≤ b } \displaystyle F_X,Y(a,b)=P\{X \leq a 且 Y \leq b\} FX?,Y(a,b)=P{XaYb}

  • 當X和Y是離散型的:
    F ( X , Y ) ( a , b ) = ∑ i : a i ≤ a ∑ j : b j ≤ b P { X = a i 且 Y = b j } = ∑ i : a i ≤ a ∑ j : b j ≤ b f X , Y ( a i , b j ) \displaystyle F_{(X,Y)}(a,b)=\sum_{i:a_i \leq a} \sum_{j:b_j \leq b} P \{X=a_i且Y=b_j\}=\sum_{i:a_i \leq a} \sum_{j:b_j \leq b}f_{X,Y}(a_i,b_j) F(X,Y)?(a,b)=i:ai?a?j:bj?b?P{X=ai?Y=bj?}=i:ai?a?j:bj?b?fX,Y?(ai?,bj?)
  • 當X和Y是連續型的:
    F ( X , Y ) ( a , b ) = ∫ ? ∞ a ∫ ? ∞ b f X , Y ( x , y ) d x d y \displaystyle F_{(X,Y)}(a,b)=\int_{-\infty}^a\int_{-\infty}^bf_{X,Y}(x,y)dxdy F(X,Y)?(a,b)=?a??b?fX,Y?(x,y)dxdy

其中 f X , Y ( x , y ) d x d y \displaystyle f_{X,Y}(x,y)dxdy fX,Y?(x,y)dxdy是聯合概率密度函式(Joint Probability Density Function)>
若已知X和Y的聯合概率分布,則X的期望值為:
E ( X ) = ∑ i ∑ j a i f X , Y ( a i , b j ) \displaystyle E(X)=\sum_i \sum_ja_if_{X,Y}(a_i,b_j) E(X)=i?j?ai?fX,Y?(ai?,bj?)

= ∑ i a i ∑ j f X , Y ( a i , b j ) \displaystyle =\sum_i a_i\sum_jf_{X,Y}(a_i,b_j) =i?ai?j?fX,Y?(ai?,bj?)

= ∑ i a i f X ( a i ) \displaystyle =\sum_i a_if_X(a_i) =i?ai?fX?(ai?)

其中 f X ( a i ) = ∑ j f X , Y ( a i , b i ) \displaystyle f_X(a_i)=\sum_jf_{X,Y}(a_i,b_i) fX?(ai?)=j?fX,Y?(ai?,bi?)為變數X的邊際概率函式(Marginal Probability Function),代表的是變數X自己的概率分布,所以這里 f X ( a i ) \displaystyle f_X(a_i) fX?(ai?)依然滿足 f X ( a k ) = P { X = a k } \displaystyle {f_X}\relax{(a_k)}=P\{X=a_k\} fX?(ak?)=P{X=ak?}定義式,同理可得 E ( Y ) = ∑ j b j f Y ( b j ) \displaystyle E(Y)=\sum_j b_jf_Y(b_j) E(Y)=j?bj?fY?(bj?),其形式與單變數的形式無差別,方差求解亦是如此,


6.2變數的獨立性

如果隨機變數X和Y的聯合累積分布函式滿足:

F ( X , Y ) ( a , b ) = F X ( a ) F Y ( b ) \displaystyle F_{(X,Y)}(a,b)=F_X(a)F_Y(b) F(X,Y)?(a,b)=FX?(a)FY?(b)

則稱X和Y是獨立的,否則二者是相依的,

兩變數的獨立關系也可以表達成,

f X , Y ( a , b ) = f X ( a ) f Y ( b ) \displaystyle f_{X,Y}(a,b)=f_X(a)f_Y(b) fX,Y?(a,b)=fX?(a)fY?(b)

對于離散型隨機變數,此式等價于

P { X = a 且 Y = b } = P { X = a } P { Y = b } \displaystyle P\{X=a且Y=b\}=P\{X=a\}P\{Y=b\} P{X=aY=b}=P{X=a}P{Y=b}
變數之間的相互獨立是眾多統計分析的基本假設,也是變數之間的基本關系,


6.3 變數的相關性

隨機變數X和Y的協方差(Covariance)可以衡量二者之間的關系,描述的是兩隨機變數與各自期望的偏差共同的變動狀況,運算式為:
C o v ( X , Y ) = E [ ( X ? E ( X ) ) ( Y ? E ( Y ) ) ] Cov(X,Y)=E\left[(X-E(X))(Y-E(Y))\right] Cov(X,Y)=E[(X?E(X))(Y?E(Y))]
協方差為正說明,平均而言變數X、Y與各自期望的偏差呈同方向變動;如果為負,則為反方向變動,
協方差有如下性質:

  • C o v ( X , Y ) = C o v ( Y , X ) Cov(X,Y)=Cov(Y,X) Cov(X,Y)=Cov(Y,X)
  • C o v ( a X , b Y ) = a b C o v ( Y , X ) Cov(aX,bY)=abCov(Y,X) Cov(aX,bY)=abCov(Y,X) (a,b是常數)
  • C o v ( X 1 + X 2 , Y ) = C o v ( X 1 , Y ) + C o v ( Y , X 2 ) Cov(X_1+X_2,Y)=Cov(X_1,Y)+Cov(Y,X_2) Cov(X1?+X2?,Y)=Cov(X1?,Y)+Cov(Y,X2?)

第二個性質說明,協方差受比例影響,并不能準確地衡量兩變數相關性的大小,,不能直接衡量兩變數相關性強弱,對協方差進一步處理,清除比例的影響,于是就有了相關系數(Correlation Coefficient):

ρ X , Y = C o v ( X , Y ) σ X σ Y \displaystyle \rho_{X,Y}=\frac{Cov(X,Y)}{\sigma_X\sigma_Y} ρX,Y?=σX?σY?Cov(X,Y)?

相關系數取值范圍為[-1,+1]
ρ=0時,說明兩個變數是不相關的,
0<ρ<1時, 說明兩變數呈正向的線性關系
-1<ρ<0時,說明兩變數呈負向的線性關系,

aX和bX的相關性:

ρ a X , b Y = C o v ( a X , b Y ) V a r ( a X ) ( V a r ( b Y ) ) \displaystyle \rho_{aX,bY}=\frac{Cov(aX,bY)}{\sqrt{Var{(aX)}}\sqrt{(Var(bY))}} ρaX,bY?=Var(aX) ?(Var(bY)) ?Cov(aX,bY)?

= a b C o v ( X , Y ) ∣ a ∣ σ X ∣ b ∣ σ Y \displaystyle=\frac{abCov(X,Y)} {|a|\sigma_X|b|\sigma_Y} =aσX?bσY?abCov(X,Y)?

= ± ρ X , Y \displaystyle=\pm \rho_{X,Y} =±ρX,Y?

如果變數Y是X的線性變換,滿足Y=a+bX,則二者之間的相關系數為:‘
ρ X , Y = C o v ( X , a + b X ) σ X V a r ( a + b X ) \displaystyle \rho_{X,Y}=\frac{Cov(X,a+bX)}{\sigma_X\sqrt{Var(a+bX)}} ρX,Y?=σX?Var(a+bX) ?Cov(X,a+bX)?

b V a r ( X ) ∣ b ∣ V a r ( X ) = ± 1 \displaystyle \frac{b{Var(X)}}{|b|Var(X)}=\pm1 bVar(X)bVar(X)?=±1


6.4 上證指數與深證成指相關性分析

上證指數和深證成指是股票市場常用的反映股票市場情況的指數,我們認為兩個指數的日收益率可以存在相關的關系,代碼如下:

import numpy as np
import tushare as ts
import pandas as pd
token = 'Your Token'   # 輸入你的介面密匙,獲取方式及相關權限見Tushare官網,
pro = ts.pro_api(token)
# 深證成指
SZindex = pro.index_daily(ts_code='399001.SZ')
SZindex['trade_date'] = pd.to_datetime(SZindex['trade_date'])
SZindex.set_index(['trade_date'], inplace=True)
SZindex = SZindex.sort_index()
# 上證指數
SHindex = pro.index_daily(ts_code='000001.SH')
SHindex['trade_date'] = pd.to_datetime(SHindex['trade_date'])
SHindex.set_index(['trade_date'], inplace=True)
SHindex = SHindex.sort_index()

# 用2020年日收益率資料繪制散點圖
plt.rcParams['font.sans-serif'] = ['SimHei']
plt.rcParams['axes.unicode_minus'] = False
plt.scatter(SHindex.pct_chg['2020'],SZindex.pct_chg['2020'])
plt.title('上證指數與深證成指2020年收益率散點圖')
plt.xlabel('上證指數收益率')
plt.ylabel('深證成指收益率')
plt.show()

生成影像展示如下:
在這里插入圖片描述

# 計算上證綜指和深證成指收益率相關系數
SHindex.pct_chg['2020'].corr(SZindex.pct_chg['2020']) 

在這里插入圖片描述
相關系數為0.9308847411746248,可以認為二者存在較強的相關性,二者呈現正向的線性關系,


在這里插入圖片描述

轉載請註明出處,本文鏈接:https://www.uj5u.com/houduan/280366.html

標籤:python

上一篇:Python(七)之郵件處理

下一篇:jsonpath提取王者全英雄名字

標籤雲
其他(157675) Python(38076) JavaScript(25376) Java(17977) C(15215) 區塊鏈(8255) C#(7972) AI(7469) 爪哇(7425) MySQL(7132) html(6777) 基礎類(6313) sql(6102) 熊猫(6058) PHP(5869) 数组(5741) R(5409) Linux(5327) 反应(5209) 腳本語言(PerlPython)(5129) 非技術區(4971) Android(4554) 数据框(4311) css(4259) 节点.js(4032) C語言(3288) json(3245) 列表(3129) 扑(3119) C++語言(3117) 安卓(2998) 打字稿(2995) VBA(2789) Java相關(2746) 疑難問題(2699) 细绳(2522) 單片機工控(2479) iOS(2429) ASP.NET(2402) MongoDB(2323) 麻木的(2285) 正则表达式(2254) 字典(2211) 循环(2198) 迅速(2185) 擅长(2169) 镖(2155) 功能(1967) .NET技术(1958) Web開發(1951) python-3.x(1918) HtmlCss(1915) 弹簧靴(1913) C++(1909) xml(1889) PostgreSQL(1872) .NETCore(1853) 谷歌表格(1846) Unity3D(1843) for循环(1842)

熱門瀏覽
  • 【C++】Microsoft C++、C 和匯編程式檔案

    ......

    uj5u.com 2020-09-10 00:57:23 more
  • 例外宣告

    相比于斷言適用于排除邏輯上不可能存在的狀態,例外通常是用于邏輯上可能發生的錯誤。 例外宣告 Item 1:當函式不可能拋出例外或不能接受拋出例外時,使用noexcept 理由 如果不打算拋出例外的話,程式就會認為無法處理這種錯誤,并且應當盡早終止,如此可以有效地阻止例外的傳播與擴散。 示例 //不可 ......

    uj5u.com 2020-09-10 00:57:27 more
  • Codeforces 1400E Clear the Multiset(貪心 + 分治)

    鏈接:https://codeforces.com/problemset/problem/1400/E 來源:Codeforces 思路:給你一個陣列,現在你可以進行兩種操作,操作1:將一段沒有 0 的區間進行減一的操作,操作2:將 i 位置上的元素歸零。最終問:將這個陣列的全部元素歸零后操作的最少 ......

    uj5u.com 2020-09-10 00:57:30 more
  • UVA11610 【Reverse Prime】

    本人看到此題沒有翻譯,就附帶了一個自己的翻譯版本 思考 這一題,它的第一個要求是找出所有 $7$ 位反向質數及其質因數的個數。 我們應該需要質數篩篩選1~$10^{7}$的所有數,這里就不慢慢介紹了。但是,重讀題,我們突然發現反向質數都是 $7$ 位,而將它反過來后的數字卻是 $6$ 位數,這就說明 ......

    uj5u.com 2020-09-10 00:57:36 more
  • 統計區間素數數量

    1 #pragma GCC optimize(2) 2 #include <bits/stdc++.h> 3 using namespace std; 4 bool isprime[1000000010]; 5 vector<int> prime; 6 inline int getlist(int ......

    uj5u.com 2020-09-10 00:57:47 more
  • C/C++編程筆記:C++中的 const 變數詳解,教你正確認識const用法

    1、C中的const 1、區域const變數存放在堆疊區中,會分配記憶體(也就是說可以通過地址間接修改變數的值)。測驗代碼如下: 運行結果: 2、全域const變數存放在只讀資料段(不能通過地址修改,會發生寫入錯誤), 默認為外部聯編,可以給其他源檔案使用(需要用extern關鍵字修飾) 運行結果: ......

    uj5u.com 2020-09-10 00:58:04 more
  • 【C++犯錯記錄】VS2019 MFC添加資源不懂如何修改資源宏ID

    1. 首先在資源視圖中,添加資源 2. 點擊新添加的資源,復制自動生成的ID 3. 在解決方案資源管理器中找到Resource.h檔案,編輯,使用整個專案搜索和替換的方式快速替換 宏宣告 4. Ctrl+Shift+F 全域搜索,點擊查找全部,然后逐個替換 5. 為什么使用搜索替換而不使用屬性視窗直 ......

    uj5u.com 2020-09-10 00:59:11 more
  • 【C++犯錯記錄】VS2019 MFC不懂的批量添加資源

    1. 打開資源頭檔案Resource.h,在其中預先定義好宏 ID(不清楚其實ID值應該設定多少,可以先新建一個相同的資源項,再在這個資源的ID值的基礎上遞增即可) 2. 在資源視圖中選中專案資源,按F7編輯資源檔案,按 ID 型別 相對路徑的形式添加 資源。(別忘了先把檔案拷貝到專案中的res檔案 ......

    uj5u.com 2020-09-10 01:00:19 more
  • C/C++編程筆記:關于C++的參考型別,專供新手入門使用

    今天要講的是C++中我最喜歡的一個用法——參考,也叫別名。 參考就是給一個變數名取一個變數名,方便我們間接地使用這個變數。我們可以給一個變數創建N個參考,這N + 1個變數共享了同一塊記憶體區域。(參考型別的變數會占用記憶體空間,占用的記憶體空間的大小和指標型別的大小是相同的。雖然參考是一個物件的別名,但 ......

    uj5u.com 2020-09-10 01:00:22 more
  • 【C/C++編程筆記】從頭開始學習C ++:初學者完整指南

    眾所周知,C ++的學習曲線陡峭,但是花時間學習這種語言將為您的職業帶來奇跡,并使您與其他開發人員區分開。您會更輕松地學習新語言,形成真正的解決問題的技能,并在編程的基礎上打下堅實的基礎。 C ++將幫助您養成良好的編程習慣(即清晰一致的編碼風格,在撰寫代碼時注釋代碼,并限制類內部的可見性),并且由 ......

    uj5u.com 2020-09-10 01:00:41 more
最新发布
  • Rust中的智能指標:Box<T> Rc<T> Arc<T> Cell<T> RefCell<T> Weak

    Rust中的智能指標是什么 智能指標(smart pointers)是一類資料結構,是擁有資料所有權和額外功能的指標。是指標的進一步發展 指標(pointer)是一個包含記憶體地址的變數的通用概念。這個地址參考,或 ” 指向”(points at)一些其 他資料 。參考以 & 符號為標志并借用了他們所 ......

    uj5u.com 2023-04-20 07:24:10 more
  • Java的值傳遞和參考傳遞

    值傳遞不會改變本身,參考傳遞(如果傳遞的值需要實體化到堆里)如果發生修改了會改變本身。 1.基本資料型別都是值傳遞 package com.example.basic; public class Test { public static void main(String[] args) { int ......

    uj5u.com 2023-04-20 07:24:04 more
  • [2]SpinalHDL教程——Scala簡單入門

    第一個 Scala 程式 shell里面輸入 $ scala scala> 1 + 1 res0: Int = 2 scala> println("Hello World!") Hello World! 檔案形式 object HelloWorld { /* 這是我的第一個 Scala 程式 * 以 ......

    uj5u.com 2023-04-20 07:23:58 more
  • 理解函式指標和回呼函式

    理解 函式指標 指向函式的指標。比如: 理解函式指標的偽代碼 void (*p)(int type, char *data); // 定義一個函式指標p void func(int type, char *data); // 宣告一個函式func p = func; // 將指標p指向函式func ......

    uj5u.com 2023-04-20 07:23:52 more
  • Django筆記二十五之資料庫函式之日期函式

    本文首發于公眾號:Hunter后端 原文鏈接:Django筆記二十五之資料庫函式之日期函式 日期函式主要介紹兩個大類,Extract() 和 Trunc() Extract() 函式作用是提取日期,比如我們可以提取一個日期欄位的年份,月份,日等資料 Trunc() 的作用則是截取,比如 2022-0 ......

    uj5u.com 2023-04-20 07:23:45 more
  • 一天吃透JVM面試八股文

    什么是JVM? JVM,全稱Java Virtual Machine(Java虛擬機),是通過在實際的計算機上仿真模擬各種計算機功能來實作的。由一套位元組碼指令集、一組暫存器、一個堆疊、一個垃圾回收堆和一個存盤方法域等組成。JVM屏蔽了與作業系統平臺相關的資訊,使得Java程式只需要生成在Java虛擬機 ......

    uj5u.com 2023-04-20 07:23:31 more
  • 使用Java接入小程式訂閱訊息!

    更新完微信服務號的模板訊息之后,我又趕緊把微信小程式的訂閱訊息給實作了!之前我一直以為微信小程式也是要企業才能申請,沒想到小程式個人就能申請。 訊息推送平臺🔥推送下發【郵件】【短信】【微信服務號】【微信小程式】【企業微信】【釘釘】等訊息型別。 https://gitee.com/zhongfuch ......

    uj5u.com 2023-04-20 07:22:59 more
  • java -- 緩沖流、轉換流、序列化流

    緩沖流 緩沖流, 也叫高效流, 按照資料型別分類: 位元組緩沖流:BufferedInputStream,BufferedOutputStream 字符緩沖流:BufferedReader,BufferedWriter 緩沖流的基本原理,是在創建流物件時,會創建一個內置的默認大小的緩沖區陣列,通過緩沖 ......

    uj5u.com 2023-04-20 07:22:49 more
  • Java-SpringBoot-Range請求頭設定實作視頻分段傳輸

    老實說,人太懶了,現在基本都不喜歡寫筆記了,但是網上有關Range請求頭的文章都太水了 下面是抄的一段StackOverflow的代碼...自己大修改過的,寫的注釋挺全的,應該直接看得懂,就不解釋了 寫的不好...只是希望能給視頻網站開發的新手一點點幫助吧. 業務場景:視頻分段傳輸、視頻多段傳輸(理 ......

    uj5u.com 2023-04-20 07:22:42 more
  • Windows 10開發教程_編程入門自學教程_菜鳥教程-免費教程分享

    教程簡介 Windows 10開發入門教程 - 從簡單的步驟了解Windows 10開發,從基本到高級概念,包括簡介,UWP,第一個應用程式,商店,XAML控制元件,資料系結,XAML性能,自適應設計,自適應UI,自適應代碼,檔案管理,SQLite資料庫,應用程式到應用程式通信,應用程式本地化,應用程式 ......

    uj5u.com 2023-04-20 07:22:35 more