作者|Nathan Lambert
編譯|VK
來源|Towards Data Science
研究價值迭代和策略迭代，
本文著重于對基本的MDP進行理解(在此進行簡要回顧)，將其應用于基本的強化學習方法，我將重點介紹的方法是"價值迭代"和"策略迭代"，這兩種方法是Q值迭代的基礎，它直接導致Q-Learning，
你可以閱讀我之前的一些文章(有意獨立)：
- 什么是馬爾可夫決策程序?(https://towardsdatascience.com/what-is-a-markov-decision-process-anyways-bdab65fd310c)
- 強化學習的線性代數(https://towardsdatascience.com/the-hidden-linear-algebra-of-reinforcement-learning-406efdf066a)
Q-Learning開啟了我們所處的深度強化學習的浪潮，是強化學習學生學習策略的重要一環，
回顧馬爾可夫決策程序
馬爾可夫決策程序(MDPs)是支持強化學習(RL)的隨機模型，如果你熟悉，你可以跳過這一部分，不過我增加了一些相關的解釋，
定義
-
狀態集\(s\in S，動作集\)a\in A$，狀態和動作是代理程式所有可能的位置和動作的集合，在高級強化學習中，狀態和動作是連續，所以這需要重新考慮我們的演算法，
-
轉換函式T(s，a，s')，給定當前位置和給定動作，T決定下一個狀態出現的頻率，在強化學習中，我們不訪問這個函式，因此這些方法試圖對采樣資料進行近似或隱式學習，
-
獎勵函式R(s，a，s')，此函式說明每個步驟可獲得多少獎勵，在強化學習中，我們不使用此函式，因此我們從采樣值r中學習，采樣值r使演算法探索環境，然后利用最優軌跡，
-
折扣因子γ(伽馬，范圍[0,1])可將下一步的值調整為將來的獎勵，在強化學習中，我們不使用此函式，γ(gamma)控制了大部分學習演算法和Bellman系優化的收斂性，
-
初始狀態s0，也可能是結束狀態，
重要價值
MDP有兩個重要的特征，狀態值和機會節點(chance node)的q值，任何MDP或RL值中的*表示最佳數量，
-
狀態值：狀態的值就是從狀態開始后獎勵的最優遞回和，
-
狀態的Q值，動作對：Q值是與狀態-動作對相關聯的折扣獎勵的最優和，
最佳值與最佳動作條件q值相關，然后，值和q值更新規則非常相似(加權轉換，獎勵和折扣因子)，頂部:值與q值的耦合；中部：Q值遞回：，底部：值的迭代，參考：https://inst.eecs.berkeley.edu/~cs188/sp20/
引領強化學習
值迭代
學習所有狀態的值，然后我們可以根據梯度來操作，值迭代直接從Bellman更新中學習狀態的值，在某些非限制性條件下，Bellman更新被保證收斂到最優值，
學習一項策略可能比學習一種價值觀更直接，學習一個值可能需要無限長的時間來收斂到一個64位浮點數的數值精度(考慮在每次迭代中一個常數的移動平均，在開始估計為0之后，它將永遠添加一個越來越小的非零數)，
策略迭代
學習與值相關的策略，策略學習增量地查看當前值并提取策略，由于動作空間是有限的，我們希望它能比值迭代收斂得更快，從概念上講，對操作的最后一次更改將發生在小的滾動平均更新結束之前，策略迭代有兩個步驟，
第一個稱為策略提取，就是如何從一個值轉換到一個策略，這策略使期望值最大化，
第二步是策略評估，策略評估采用策略，并以策略為條件進行值迭代，這些樣本永遠與策略相關，但是我們必須運行迭代演算法，以減少提取相關動作資訊的步驟，
與值迭代一樣，由于底層的Bellman更新，對于大多數合理的MDPs，策略迭代保證收斂，
Q值迭代
學習最優值的問題是很難從中提取出策略，argmax算子明顯是非線性的，很難進行優化，因此q值迭代法向直接策略提取邁出了一步，每個狀態下的最優策略就是那個狀態下的最大q值，
大多數指令以"值迭代"開頭的原因是，它自然地進入了Bellman更新中，Q值迭代需要一起替換兩個關鍵MDP值關系，這樣做之后，這是我們將要了解的Q-Learning的第一步，
大多數指令以值迭代開始的原因是，它可以更自然地插入Bellman更新，Q值迭代需要一起替換兩個關鍵的MDP值關系，這樣做之后，它就離我們將要了解的Q-learning一步之遙了，
這些迭代演算法是怎么回事？
讓我們確保你理解了所有的術語，本質上，每個更新由求和后的兩個項組成(也可能是由max來進行的選擇動作)，讓我們用括號括起來然后討論它們與MDP的關系，
第一項是T(s，a，s')R(s，a，s')乘積的總和，這一項表示潛在的值和給定狀態和轉換的可能性，T，或者說轉換，決定了從轉換中獲得給定回報的可能性(回想一下，一個元組s,a,s '決定了其中一個動作a將一個代理從一個狀態s帶到另一個狀態s')，這將做一些事情，這會做一些事情，例如權衡具有高獎勵的低概率狀態與權重較低的頻繁狀態，
下一項決定了這些演算法的“bellman特性”，它是迭代演算法V的最后一步的資料加權，上面的公式有一項，這從鄰近狀態獲取關于值的資訊，這樣我們就可以理解長期的轉變，將這一項看作遞回更新的主要發生位置，而第一項則是由環境決定的優先權重，
收斂條件
告知所有迭代演算法"在某些條件下收斂到最佳值或策略"，這些條件是：
-
狀態空間總覆寫率，條件是所有狀態、動作、next_state元組都是在條件策略下到達的，如果不這樣做，來自MDP的一些資訊將會丟失，并且值可能會停留在初始值上，
-
折扣因子γ < 1，否則造成無限回圈，并且最后趨于無窮大，
值得慶幸的是，在實踐中，這些條件很容易滿足，大多數探索都具有epsilon貪婪性，包括總有隨機動作的機會(因此任何動作都是可行的)，并且non-one折現因子會導致更佳的性能，最終，這些演算法可以在很多設定下作業，因此絕對值得一試，
強化學習
我們如何將我們所看到的變成強化學習問題？我們需要使用樣本，而不是真正的T(s，a，s')和R(s，a，s')函式，
基于樣本的學習-如何解決隱藏的MDP
MDPs中的迭代方法與解決強化學習問題的基本方法之間的惟一區別是，RL樣本來自MDP的底層轉換和獎勵函式，而不是將其包含在更新規則中，有兩件事我們需要更新，替換T(s,a,s ')和替換R(s,a,s ')
首先，讓我們將轉換函式近似為每個觀察元組的平均動作條件轉換，我們沒有看到的所有值都是用隨機值初始化的，這是基于模型的強化學習最簡單的形式(我的研究領域)，
現在，剩下的就是記住如何使用獎勵，但是，我們實際上每一步都有一個獎勵，所以我們可以不受懲罰(方法用許多樣本平均出正確的值)，考慮用采樣獎勵近似q值迭代方程，如下所示，
上面的等式是Q-Learning，我們從一些填充有隨機值的向量Q(s，a)開始，然后收集與世界的互動并調整alpha，Alpha是一種學習率，因此當我們認為演算法正在收斂時，我們將降低它，
結果表明，Q-learning與Q-value迭代非常相似，但我們只是在一個不完整的世界觀下運行這個演算法，
機器人和游戲中使用的Q-learning是在更復雜的特征空間中，神經網路近似于一個包含所有狀態-動作對的大表格，
原文鏈接：https://towardsdatascience.com/fundamental-iterative-methods-of-reinforcement-learning-df8ff078652a
歡迎關注磐創AI博客站：
http://panchuang.net/
sklearn機器學習中文官方檔案：
http://sklearn123.com/
歡迎關注磐創博客資源匯總站：
http://docs.panchuang.net/
轉載請註明出處，本文鏈接：https://www.uj5u.com/qita/3926.html
標籤：其他
上一篇：基于文本描述的事務聚類
下一篇：回歸分析中R方和調整R方的區別