淺談馬爾可夫預測
文章目錄
- 淺談馬爾可夫預測
- 前言
- 一、馬爾可夫鏈的定義
- 1.2 定義1：
- 馬氏鏈的兩個重要型別
- 1.2.1 正則鏈
- 1.2.2 吸收鏈
- 1.3 定義2：
- 二、轉移概率矩陣
- 2.1 定義3：
- 2.2 例子1
- 三、轉移矩陣的極限分布
- 3.1 定理1(柯爾莫哥洛夫—開普曼定理)
- 3.2 定理2
- 3.3 例子2
- 3.4 定義4
- 思考：
- 3.5 定理3
- 3.6 定理4
- 3.7 例子3
前言
某一系統在已知現在情況的條件下，系統未來時刻的情況只與現在有關，而與過去的歷史無直接關系，描述這類隨機現象的數學模型稱為馬爾可夫模型，簡稱馬氏模型
一、馬爾可夫鏈的定義
1.2 定義1：
{ξn，n=1,2,…}是一個隨機序列，狀態空間E為有限或可列集，對于任意的正整數m，n，
若i，j，ik∈E(k=1 , … , n-1),有
P{ξn+m=j | ξn=i，ξn-1=in-1，…，ξ1=i1}=P{ξn+m=j | ξn= i } （1）
則稱{ξn，n=1,2,…}是一個馬爾科夫鏈（簡稱馬氏鏈）, (1)式稱為馬氏性，
（對于(1)式的理解：我們可以先假設m=1，我們可以把它當成某種關于天數問題看，假設第一天是某種狀態，第二天是某種狀態，第n天是某種狀態，這個時候我們要求第n+1天是某種狀態的概率，我們就用P{ξn+m=j | ξn=i，ξn-1=in-1，…，ξ1=i1}來表達，
而P{ξn+m=j | ξn=i} 是只知道第n天的狀態，要求第n+1天的狀態，
對馬爾可夫來說，它是具有后無效性的，也就是說從第1天只要我到了第2天，那么第1天到第2天一天里面所有的情況，所有的狀態都跟未來沒有任何關系，我未來只跟第N天有關，當然我們可以利用這個數學歸納法，當m=1的時候成立，我們可以從m=1來推，如果m=1成立，那m=2也應該成立，所以我們就可以用數學歸納法推導，對于任意的正整數m這個事情都成立，）
馬氏鏈的兩個重要型別
1.2.1 正則鏈
從任一狀態出發經有限次轉移能以正概率到達另外任一狀態，
正則鏈 ? ?N，PN>0
正則鏈 ? ?w，a(n)→w(n→∞) w→穩態概率
（1）w滿足wP=w
例：
（2）w滿足
則w1+w2=1
得w=（7/9,2/9）
1.2.2 吸收鏈
存在吸收狀態（一旦到達就不會離開的狀態 i ，pij=1），且從任一非吸收狀態出發經有限次轉移能以正概率到達吸收狀態，
1.3 定義2：
設{ξn，n=1,2,…}是一個馬爾可夫鏈，如果(1)等式右邊的條件概率與n無關，即
P{ξn+m=j | ξn= i }=pij(m) （2）
則稱{ξn，n=1,2,…}為時齊的馬爾可夫鏈，
稱pij(m)為系統由狀態 i 經過m個時間間隔（或m步）轉移到狀態 j 的轉移概率，
（2）式稱為時齊性，它的含義是系統由狀態 i 經過到狀態 j 的轉移概率只依賴于時間間隔的長短，與起始的時刻無關，
二、轉移概率矩陣
2.1 定義3：
對于一個馬爾可夫鏈{ξn，n=1,2,…}，稱以m步轉移概率pij（m）為元素的矩陣P(m)=(pij(m))為馬爾可夫鏈的m步轉移矩陣，當m=1時，記P(1)=P稱為馬爾可夫鏈的一步轉移矩陣，或簡稱轉移矩陣，
它們具有下列三個基本性質：
（1）對一切 i ，j ∈E，0<=pij(m)<=1
（2）對一切 i ，j∈E，
（概率的基本性質）
（3）對一切 i ，j∈E，
當實際問題可以用馬爾可夫鏈來描述時，首先要確定它的空間狀態及引數集合，然后確定它的一步轉移概率，
關于這一概率的確定，可以由問題的內在規律得到，也可以由過去經驗給出，還可以根據觀測資料來估計，
2.2 例子1
設一隨機系統的狀態空間E={1，2，3，4}，記錄觀測系統所處狀態如下：
43214311232123443311
13321222442323112431
若該系統可用馬氏鏈模型描述，估計轉移概率pij，
解：首先將不同型別的轉移數nij統計出來分類記入下表
行和nj是系統從狀態 i 轉移到其他狀態的次數，nij是由狀態 i 到狀態 j 的轉移次數，
pij的估計值pij=nij/ni，
計算得：
三、轉移矩陣的極限分布
3.1 定理1(柯爾莫哥洛夫—開普曼定理)
設{ξn，n=1,2,…}是一個馬爾可夫鏈，其狀態空間E={1,2,…}，則對任意正整數m，n，有
3.2 定理2
設P是一步馬爾可夫鏈轉移矩陣(P的行向量是概率向量)，P(0)是初始分布行向量，
則第n步的概率分布為
P(n)=P(0)Pn
3.3 例子2
若顧客的購買是無記憶的，即已知現在顧客購買情況，未來顧客的購買情況不受過去的購買歷史的影響，而只與現在購買情況有關，
現在市場上供應A，B，C三個不同廠家生產的50g袋裝味精，若已知第一次顧客購買三個廠味精的概率依次為0.2，0.4，0.4，
還已知一般顧客的購買傾向（由表給出）
求顧客第四次購買各家味精的概率？
解：第一次購買的概率分布為
P(1)=[0.2,0.4,0.4]
一步狀態轉移矩陣為：
則顧客第四次購買各家味精的概率為
P(4)=P(1)P3=[0.7004,0.136,0.1636]
3.4 定義4
一個馬爾可夫鏈的轉移矩陣P是正則的，當且僅當存在正整數k，使Pk的每一元素都是正數，
（所有矩陣經過初等行變換以后都能變成分塊矩陣，其中一塊是一個 I 矩陣（單位矩陣），其他是0的分塊矩陣，這樣的分塊矩陣叫做正則矩陣，且該矩陣是正方矩陣,且它的逆矩陣也是存在的，）
思考：
當n增大，Pn是否會趨于某一固定矩陣？
當n->+∞時，且轉移矩陣P為
則有
若取u=[7/12 , 5/12]，則uP=u
uT為矩陣PT的對應于特征值 λ =1的特征（概率）向量
u也稱為P的不動點向量，
3.5 定理3
若P是一個馬爾可夫鏈的正則矩陣，則：
（1）P有唯一的不動點向量W，W的每個分量為正，
（2）P的n次冪Pn(n為正整數)隨著n的增加趨于矩陣 ?W ， ?W 的每一個向量均等于不動點向量W，
一般地，設時齊馬爾可夫鏈的狀態空間為E，如果對于所有 i，j∈E，轉移概率Pij(n)存在極限
則稱此鏈具有遍歷性，
3.6 定理4
設時齊馬爾可夫鏈{ξn，n=1,2,…}的狀態空間為E={a1, … , aN},P=(pij)是它的一步轉移概率矩陣，
如果存在正整數m，使對任意的ai，aj∈E,都有
pij(m)>0,i,j=1,2,…,N
則此鏈具有遍歷性，且有極限分布π=[π1, … ,πN]，它是方程組
π=πP
或
j=1，…，N
的滿足條件：
的唯一解，
3.7 例子3
根據例子2中給出的一般顧客購買三種味精傾向的轉移矩陣，預測經過長期的多次購買之后，顧客的購買傾向如何？
解：這個馬爾科夫鏈的轉移矩陣滿足定理4的條件，可以求出其極限概率分布，
為此，解下列方程：
求得p1=5/7，p2=11/84，p3=13/84，
這說明，無論第一次顧客購買的情況如何，
經過長期多次購買以后，A廠產的味精占市場的5/7，B，C兩廠產品分別占有市場的11/84，13/84，
轉載請註明出處，本文鏈接：https://www.uj5u.com/qita/262916.html
標籤：其他
上一篇：三十而立，人生新起點
下一篇：【作業系統原理】——行程