時間序列是按時間順序的一組真實的數字,比如股票的交易資料,通過分析時間序列,能挖掘出這組序列背后包含的規律,從而有效地預測未來的資料,在這部分里,將講述基于時間序列的常用統計方法,
1 用rolling方法計算移動平均值
當時間序列的樣本數波動較大時,從中不大容易分析出未來的發展趨勢的時候,可以使用移動平均法來消除隨機波動的影響,可以說,移動平均法是針對時間序列的常用分析方法,其基本思想是,根據時間序列樣本資料、逐步向后推移,依次計算指定視窗序列的平均值,
股票的移動平均線是個比較常見的范例,通過它可以分析未來股價的走勢,從技術上來講,可以通過pandas的rolling方法,以指定時間視窗的方式來計算移動均值,在如下的CalMA.py范例中,就將演示通過收盤價,演示通過rolling方法計算移動平均線的做法,
1 #coding=utf-8
2 import pandas as pd
3 import matplotlib.pyplot as plt
4 filename='D:\\work\\data\\ch9\\6007852019-06-012020-01-31.csv'
5 df = pd.read_csv(filename,encoding='gbk',index_col=0)
6 fig = plt.figure()
7 ax = fig.add_subplot(111)
8 df['Close'].plot(color="green",label='收盤價')
9 df['Close'].rolling(window=5).mean().plot(color="red",label='5日均線')
10 plt.legend(loc='best') # 繪制圖例
11 ax.grid(True) # 帶網格線
12 plt.title("演示時間序列的移動平均線")
13 plt.rcParams['font.sans-serif']=['SimHei']
14 plt.setp(plt.gca().get_xticklabels(), rotation=30)
15 plt.show()
在這個范例中,用到了matplotlib可視化控制元件,具體而言,在通過第5行的代碼從csv檔案得到資料后,先是通過第8行的plot方法,依次連接df物件里每天收盤價的點,從而繪制了描述“收盤價”的折線,
在第9行rolling方法里,通過window引數指定了移動分析的視窗是5天,再結合mean方法,繪制了基于收盤價的5天移動平均線,請注意在第8行和第9行繪制兩條折線時,均通過label引數設定了圖例,所以在之后的第10行里,能通過legend方法設定圖例效果,
另外值得注意的可視化細節還有,在第11行里,通過grid方法設定了網格線,通過第12行和第13行的代碼設定了中文標題,在第14行里指定了x軸坐標文字標簽需要旋轉30度,
運行上述代碼,大家能看到如下圖所示的效果,如果對比其中的收盤價和移動平均線,會發現后者平滑了許多,從中大家能感受到,基于時間序列的移動平均線能一定程度消除隨機性的波動,能更有效地展示樣本資料的波動趨勢,

2 收盤價基于時間序列的自相關性分析
相關性是指兩組資料間是否有關聯,即一組資料的變動是否會影響到另一組資料,而自相關性,則是指同一個時間序列上兩個不同點的變數間是否有關聯,
這里還是拿股票收盤價舉例,在這個場景里,自相關性是指兩個交易日的收盤價之間是否有關聯性,和相關性一樣,自相關性同樣是用-1到1的一個數來表示,其中0同樣表示不相關,1同樣表示完全相關,-1則表示完全反向相關,自相關性在統計學上有什么意義呢?
- 如果時間序列上,兩個相近的值不相關,即相關系數為0,則表示該時間序列上的各個點間沒有關聯,那么就沒有必要再通過觀察規律來預測未來的資料,具體在股票收盤價案例上,如果本交易日收盤價和上個交易日收盤價間沒有關聯,那么就沒必要再分析之前交易日的收盤價來預測未來交易日的收盤價,也就是說,只有當時間序列上不同點的值之間有相關性,才有必要分析過去的規律,以此來推算未來的值,
- 平穩序列的自相關系數應當很快會收斂(或叫衰減)到零,平穩序列是指,該時間序列里資料的變動規律會基本維持不變,這樣才可以用從過去資料里分析出的規律來推算出未來的值,在股票收盤價案例中,當天收盤價可以和未來一周內的收盤價有關聯,但在平穩序列里,當天收盤價和未來長遠的(假設是50天)某天收盤價沒關聯,相反則說明任何一天收盤價的變動會影響很長一段時間,榷訓月累,那么在預測未來某天收盤價時還要考慮過去太多影響時間很長的規律,那么該時間序列的變動規律就會變得過于復雜,從而會導致不可測,
也就是說,針對一個時間序列,只有當該序列里相近時間的資料有關聯,且間隔很長的資料間無關聯,該序列才有被統計分析的意義,自相關性的演算法不簡單,不過可以通過statsmodels庫里封裝的方法來計算時間序列里的自相關性,
在使用這個庫前,依然需要通過pip3 install statsmodels的命令來安裝,作者安裝的是當前最新的0.11.1版本,安裝后,為了能正確使用,還需要安裝mkl和scipy庫,在如下的AcfDemo.py范例中,將通過股票收盤價的案例,讓大家直觀地感受到時間序列里的自相關性,
1 #coding=utf-8
2 import pandas as pd
3 import statsmodels.api as stats
4 filename='D:\\work\\data\\ch9\\6007852019-06-012020-01-31.csv'
5 df = pd.read_csv(filename,encoding='gbk',index_col=0)
6 stats.graphics.tsa.plot_acf(df['Close'],use_vlines=True,lags=50, title = 'ACF Demo')
在第3行里,引入了計算自相關系數的statsmodels庫,在第5行里,從指定的檔案里讀到股票收盤價的資料,并在第6行,通過stats.graphics.tsa.plot_acf方法來計算并繪制收盤價的相關性系數的圖表,
該方法的use_vlines引數表示是否要設定點到x軸的連線,這里取值是True,表示需要設定,lags引數表示計算當天資料到后面50天的自相關系數,而title引數則表示該圖表的標題,運行本范例,能看到如下圖所示的效果,

從上圖中能看到,x軸的刻度從0到50,這和lags引數的取值相匹配,而y軸的刻度從-1到1,表示自相關性的系數,再進一步分析,從上圖里能看出如下的統計方面的意義,
- x軸取值為0的自相關系數是1,表示當天資料和自身完全相關,
- x軸靠近0的一些自相關系數非常接近1,再如,第13天和第14天第15天的自相關系數相對差別不大,這說明當天收盤價對未來近期的收盤價有一定的影響,
- 隨著x軸取值的變大,自相關系數是逐步衰減的,當在靠近40的位置基本衰減為0,這說明某天收盤價的變動不會對長遠未來的資料有影響,進而說明該序列是平穩的,
- 除了描述自相關系數的點和線之外,還有描述95%置信區間的藍色區域,從圖上看出,13天的自相關系數約是0.7,同時落在了藍色區域內,這表示第1天和第13天資料的自相關系數有95%的可信度,而之前沒達到95%的可信度,之前沒達到95%可信度的原因是,在本場景里的資料是從2019年6月1日開始的,實際場景里,該交易日的收盤價會受之前資料影響,但這里資料只從6月1日開始,所以就丟失了和之前資料的關聯,從而導致可信度下降,
- 再觀察落在95%置信區間里的第13、第14和第15天的自相關系數,它們的相對差別并不大,
綜上所述得出的結論是,基于時間序列的該股收盤價,在比較短的周期內具有一定的自相關性,且可信度達到或高于95%,且該序列是平穩的,所以有分析該股收盤價序列的必要,從中得到的規律能一定程度上預測未來的走勢,對于其它的時間序列,也可以照此步驟分析其自相關性,并能照此方式得出對應的結論,
3 收盤價基于時間序列的偏自相關性分析
從上例中可以看到,如果基于時間序列的資料具有自相關性,那么這種自相關性非常有可能會傳遞,即第n天的資料受第n-1天資料的影響,而第n-1天的資料受n-2天的影響,再以此類推,第n天的資料就有可能受之前若干資料的綜合影響,具體到收盤價的案例,即當天收盤價不僅會受前一個交易日的影響,更會間接地受之前若干個交易日的影響,
在某些統計場景里,需要剔除更早資料的間接影響,只衡量之前資料對當前資料的直接影響,這就可以用到“偏自相關系數”,
“偏自相關系數”的計算程序相當復雜,根據演算法,已經剔除其中自相關系數包含的“間接影響”,在實際應用中,也可以通過呼叫statsmodels庫里的相關方法來實作,在如下的PacfDemo.py范例中,就將演示計算并繪制偏自相關系數的做法,
1 #coding=utf-8
2 import pandas as pd
3 import statsmodels.api as stats
4 filename='D:\\work\\data\\ch9\\6007852019-06-012020-01-31.csv'
5 df = pd.read_csv(filename,encoding='gbk',index_col=0)
6 stats.graphics.tsa.plot_pacf(df['Close'],use_vlines=True,lags=50, title = 'PACF Demo')
本范例和之前求自相關性的范例很相似,差別是在第6行,呼叫了plot_pacf方法計算并繪制偏自相關系數,運行本范例,能看到如下圖所示的效果,

除去開始的兩個資料,大多數資料落在藍色的95%置信區間內,且偏自相關系數約在-0.15到0.15之間,這說明如果剔除更早交易日資料的影響,單純看當天和后一個交易日的收盤價,它們的相關度約在0.15左右,這個結論有95%的可信度,再綜合自相關系數,說明再預測未來的收盤價時,不能僅僅考慮前一個交易日的影響,還要引入更早交易日收盤價作為參考因素,
4 用熱力圖分析不同時間序列的相關性
之前是通過自相關系數和偏自相關系數來衡量單一時間序列里前后資料間的影響,在應用中,也會量化分析不同時間序列的相關性,
比如在制定股票的配對交易策略時,會量化計算不同股票收盤價之間的相關性,如果它們的正向相關性強,則說明它們的走勢規律非常相似,在本小節里,會以熱力圖的形式,向大家展示如下表所示的股票收盤價之間的的相關性,
表 分析相關性的股票資訊一覽表
| 股票代碼 | 股票名稱 | 所屬板塊 |
| 603005 | 晶方科技 | 半導體 |
| 600360 | 華微電子 | 半導體 |
| 600640 | 號百控股 | 互聯網傳媒 |
在如下CompareCorrByHeatMap.py范例中,將首先從網路介面里抓取指定股票的資料,在此基礎上計算股票間的相關度,并以熱力圖的形式直觀地展示不同時間序列間相關性的效果,
1 #coding=utf-8
2 import pandas as pd
3 import matplotlib.pyplot as plt
4 import pandas_datareader
5 # 603005 晶方科技 半導體
6 # 600360 華微電子 半導體
7 # 600640 號百控股 互聯網傳媒
8 stockCodes = ['603005', '600360', '600640']
9 start='2019-12-01'
10 end='2020-01-31'
11 stockCloseDF = pd.DataFrame()
12 for code in stockCodes:
13 thisClose = pandas_datareader.get_data_yahoo(code + '.ss', start, end)
14 stockCloseDF[code] = thisClose['Close'].values
15 #print(stockCloseDF) #可以觀察結果
16 fig = plt.figure()
17 ax = fig.add_subplot(111)
18 ax.set_xticklabels(stockCodes)
19 ax.set_xticks(range(len(stockCodes)))
20 ax.set_yticklabels(stockCodes)
21 ax.set_yticks(range(len(stockCodes)))
22 im = ax.imshow(stockCloseDF.corr(), cmap=plt.cm.hot_r)
23 # 添加顏色刻度條
24 plt.colorbar(im)
25 # 添加中文標題
26 plt.rcParams['font.sans-serif']=['SimHei']
27 plt.title("用熱力圖觀察股票間的相關性")
28 plt.xlabel('股票代碼')
29 plt.ylabel('股票代碼')
30 plt.show()
在第8行的stockCodes變數里,定義了待分析的股票代碼,這些股票的具體資訊請參考第5行到第7行的注釋,同時在第9行和第10行的代碼里,定義待分析股票的開始和結束日期,
隨后在第12行到第14行的for回圈里,依次遍歷股票代碼,并從網路介面得到對應的資料,并在第14行把三個股票的收盤價放入DataFrame型別的stockCloseDF物件里,至此完成資料的準備作業,大家也可以打開第15行的注釋,通過print陳述句觀察結果,
在得到資料后,會在第22行和第24行的代碼里,兩兩計算各股間的相關性,并繪制成熱力圖,并在右邊顯示圖例性質的顏色刻度條,運行本范例,能看到如下圖所示的效果,

從上圖里能看到,x軸和y軸刻度都是股票代碼,兩兩比對后,自身的相關性都是1,而603005(晶方科技)和600360(華微電子)均屬于半導體板塊,所以它們間的相關性比較高,而600640(號百控股)屬于互聯網傳媒板塊,所以它和其它兩個股票的相關性就很低,
本文出自我寫的書: Python爬蟲、資料分析與可視化:工具詳解與案例實戰,https://item.jd.com/10023983398756.html

請大家關注我的公眾號:一起進步,一起掙錢,在本公眾號里,會有很多精彩文章,

轉載請註明出處,本文鏈接:https://www.uj5u.com/houduan/259474.html
標籤:python
上一篇:Python自動化
下一篇:爬蟲之正則匹配
