作者|Nathan Lambert
編譯|VK
來源|Towards Data Science
關于馬爾可夫決策程序的馬爾可夫是什么？
馬爾可夫是安德烈·馬爾科夫(Andrey Markov)，??他是著名的俄羅斯數學家，以其在隨機程序中的作業而聞名，
“馬爾可夫”通常意味著在當前狀態下，未來和過去是獨立的，
建立Markovian系統的關鍵思想是無記憶，無記憶是系統歷史不會影響當前狀態的想法，用概率表示法，無記憶性轉化為這種情況，考慮一系列動作產生的軌跡，我們正在尋找當前動作將帶給我們的位置，長的條件概率可能看起來像：
現在如果系統是Markovian，則歷史將全部包含在當前狀態中，因此，我們的第一步分配要簡單得多，
這一步是改變計算效率的規則，馬爾可夫性質是所有現代強化學習演算法的存在和成功的基礎，
馬爾可夫決策程序(MDP)
MDP由以下定義：
- 狀態集$s\in S，狀態是代理程式所有可能的位置，在下面的示例中，它是機器人位置，
- 一組動作\(a\in A\)，動作是代理可以采取的所有可能動作的集合，在下面的示例中，這些動作的下方是{北，東，南，西}，
- 轉換函式T(s，a，s')，T(s，a，s')保持MDP的不確定性，給定當前位置和給定動作，T決定下一個狀態出現的頻率，在下面的示例中，轉換函式可能是下一個狀態在80%的時間內處于目前動作方向，而在其他20%的情況下偏離了90度，在下面的示例中，機器人選擇了北，但每個機器人有10%的機會向東或向西移動，
- 獎勵函式R(s，a，s')，最大化報酬總額是任何代理的目標，此函式說明每個步驟可獲得多少獎勵，通常，為鼓勵快速解決方案，每個步驟都會有少量的負獎勵(成本)，而在最終狀態下會有較大的正面(成功的任務)或負面(失敗的任務)獎勵，例如下面的寶石和火坑，
- 開始狀態s0，也許是結束狀態，
這給了我們什么？
這個定義給我們提供了一個有限的世界，我們建立了前進的模型，我們知道每個轉換的確切概率，以及每個動作的效果，最終，該模型是一種方案，我們將在知道自己的操作可能會出現錯誤的情況下計劃如何采取行動，
如果機器人就在火坑旁邊，機器人是否應該總是選擇北方，但是北方有可能把它送到東邊掉入火坑？
不，最佳策略是西方，因為最終進入墻壁將(有20%的機會)向北移動，并使機器人駛向目標，
策略規定
學習如何在未知環境中行動是了解環境的最終目標，在MDP中，這稱為策略，
策略是一項函式，可讓你根據狀態執行操作，π*：S→A.
制定策略的方法很多，但是核心思想是值和策略迭代，這兩種方法都可以迭代地為狀態(可能是動作)的總效用建立估算，
狀態的效用是(折后)獎勵的總和，
一旦每個狀態都具有效用，那么高層的規劃和策略制定就會遵循最大效用的路線，
在MDP和其他學習方法中，模型會添加折扣因子γ來優先考慮短期和長期獎勵，折扣因素在直覺上是有道理的，通過將獎勵的總和轉換成幾何級數，折扣因子也帶來了巨大的計算收斂性，
原文鏈接：https://towardsdatascience.com/what-is-a-markov-decision-process-anyways-bdab65fd310c
歡迎關注磐創AI博客站：
http://panchuang.net/
sklearn機器學習中文官方檔案：
http://sklearn123.com/
歡迎關注磐創博客資源匯總站：
http://docs.panchuang.net/
轉載請註明出處，本文鏈接：https://www.uj5u.com/qita/21463.html
標籤：其他