目錄

• ML-Agents（八）PushBlock
  • 一、前言
  • 二、環境與訓練引數
  • 三、場景基本結構
  • 四、代碼分析
    • Agent腳本
      • Agent初始化
      • Agent重置
      • Agent動作反饋
    • 其他
  • 五、訓練
    • 訓練配置引數
    • 訓練程序
  • 六、總結

ML-Agents（八）PushBlock

一、前言

我們這次來學習一個新的實體——Push Block，這個示例的效果如下：

如圖可以看到，這個示例訓練的效果就是讓agent把白色的方塊推到場景中綠色條形區域就算完成任務，注意每完成一次任務，重置的時候地面會顯示綠色，表明此次agent成功將白色方塊推到目標區域，若失敗，則地面會顯示一下紅色，

我們可以先根據之前示例，想一下這個agent應該如何進行訓練，首先可能想到的應該是利用Viusal Observations來對這個功能進行訓練，其實本質上這個示例和Grid World有點相似，利用Render Texture Sensor或者Camera Sensor來對其進行訓練，實際上官方在Push Block示例中，也有個場景叫VisualPushBlock，這個場景就是想嘗試使用Camera Sensor來對agent進行訓練，你還會發現它使用的是第一人稱攝像機，當然官方并沒有把這個訓練完成（即沒有訓練模型），

這個示例主要我們可以學習到的就是如何利用射線傳感器進行資料采集，即Ray Perception Sensor，這個傳感器主要分為2D和3D兩個類別，分別適用于二維和三維，Push Block則采用了Ray Perception Sensor 3D型別，

下面老規矩，先來看看官方對該示例的引數，

二、環境與訓練引數

• 設定：在一個平臺環境中，agent可以推動方塊移動，

• 目標：Agent必須推動方塊到目標位置，

• Agents：一個訓練環境只包含一個agent，

• Agent獎勵設定：

  • 每走一步懲罰0.0025，
  • 如果白色方塊移動到目標位置，則獎勵1，

• 行為引數

  • 矢量觀測空間：（Continusous）70個觀測變數分別對應14個射線投射（ray-casts），每條射線探測三個可能的目標（墻、目標區域或方塊）之一，即一條射線要么啥都沒探測到，要么探測到的目標為墻、目標區域或方塊三者之一，注意這里的目標區域其實也是有一個Box Collider使得射線可以檢測到，

    這里有個疑問，70個觀測變數怎么來的= =，有知道的小伙伴可以留言討論一下~（在寫后面的時候突然發現怎么算出來的了，具體在三、場景基本結構中解釋Ray Perception Sensor Component 3D組件部分）

  • 矢量動作空間：Discrete Type，6個變數，分別對應小agent順時針、逆時針方向旋轉以及前、后、左、右四哥方向的移動，

  • 視覺觀察（可選）：使用第一人稱攝像機，示例在VisualPushBlock場景中，但是官方檔案也說了，Push Block的視覺觀察版本并不使用提供的默認訓練引數進行訓練，也就是說如果想利用視覺觀測值進行訓練，需要自己除錯一下訓練引數，

• 可變引數：4個

  • block_size：白方塊在x、z方向上的比例，通俗來說就是白色方塊的大小，越小的話肯定訓練開始使越難找到，
    • 默認：2
    • 推薦最小值：0.5
    • 推薦最大值：4
  • dynamic_friction：地面的動摩擦系數，即運動物體與地面之間的摩擦系數
    • 默認：0
    • 推薦最小值：0
    • 推薦最大值：1
  • static_friction：地面的靜摩擦系數，即靜止物體與地面的摩擦系數
    • 默認：0
    • 推薦最小值：0
    • 推薦最大值：1
  • block_drag：空氣阻力對方塊的影響
    • 默認：0.5
    • 推薦最小值：0
    • 推薦最大值：2000

  以上引數中后三個：dynamic_friction、static_friction和block_drag其實都是調整agent小藍塊推動白色方塊的難易程度，摩擦系數或者空氣阻力越大，那么agent就越難推動白色方塊，或者推動得越慢，

• 基準平均獎勵：4.5

三、場景基本結構

場景中包含了32個訓練單元，如下圖：

我們先從上到下介紹一下簡單的東西：SingleCam是場景渲染相機，即運行時觀察的場景；PuashBlockSettings是設定環境一些高級物理設定以及專對PushBlock的設定，例如agent的速度，旋轉速度等等；剩下就是UI、光源等，沒必要詳細介紹，

主要來看一下基本訓練單元Area的結構，如下圖：

其中：

• Agent

  是我們要訓練的代理，藍色的小方塊，它身上不僅有Push Agent Basic訓練腳本，還有兩個Ray Perception Sensor Component 3D組件，我們可以先來看一下射線組件是怎么樣的，如下圖：

  

  首先我們的agent身上是有兩個Ray Perception Sensor的，分為上層和下層，每一層上又有7條射線投射出，為什么分為兩層呢？我們來看一下圖就明白了：

  

  這里先忽略圖中的字樣，有繪制空心球的地方就是射線檢測碰撞到的地方，如果小藍只有底下一層Ray Sensor的話，當小藍推動小白時，小藍的前方射線勢必會被小白遮擋幾條，這就相當于小藍被帶了眼罩看不清前方，因此為了防止這種情況，我們給小藍的上方又加了一層ray sensor，這一層射線是永遠不會被小白遮擋的，所以小藍才有了兩層Ray Sensor的原因，

  除此之外，我發現官方做的Ray Sensor還有個小細節，就是在IDE下，射線檢測碰撞的距離遠近會影響到繪制的線條顏色變化，之前我以為只是單一的碰撞到檢測即變為紅色，仔細發現并不是，不過這個細節設計的難度應該不難，簡單想一下，應該是顯示的顏色=射線檢測的距離/射線可檢測的最大距離*顏色顯示的閾值范圍（RGB），我瞎猜的，估計差不多就這么算的，

  我們下面來看一下Ray Perception Sensor Component 3D組件的屬性各代表什么意思：

  

  • Sensor Name：該Sensor的名字，類似于ID，注意在小藍身上的兩個名字不同哦，一個是RayPerceptionSensor，另一個是OffsetRayPerceptionSensor，

  • Detectable Tags：設定射線能檢測到物體的Tag集合，這里設定了3個Tag，分別代表了場景中的目標小白塊、目標區域和墻體，

  • Rays Per Direction：射線的條數，為0的時候就只有一條向前的射線，詳情看下圖：

    

  • Max Ray Degrees：射線覆寫的角度范圍，可看下圖：

    

  • Sphere Cast Radius：設定碰撞空心線球的半徑，如下圖：

    

  • Ray Length：設定射線投射的最遠距離，

  • Ray Layer Mask：設定射線可以檢測到的Layer，

  • Observation Stacks：堆疊之前觀察的結果的數量，若設定為1則表示不堆疊以前的觀察，

    這里插一下，在看這個屬性的時候，突然發現前面環境與訓練引數中為啥是70個觀測變數引數了，具體在RayPerceptionSensorComponentBase腳本中有一個GetObservationShape()方法：

    

    這里numRays=7，numTags=3，則obsSize=(3+2)*7=35，而一個小藍身上又有兩個Sensor，則需要收集的觀測變數為35*2=70個，

  • Start Vertical Offset：調整射線發出的角度，如下圖：

    

  • End Vertical Offset：相對于上面的屬性，這里可以設定射線尾部的角度，如下圖：

    

  • Debug Gizmos中的Ray Hit Color和Ray Miss Color則是分別設定射線碰撞檢測到物體線條的顏色以及未檢測到時線條的顏色，

  好的，上面介紹了一下Ray Sensor 3D組件，我們繼續回來，來看看一個訓練單元Area上其他的物體，

• Goal

  目標區域，注意該區域并不只是地面顯示的顏色，而且還帶有一個碰撞體，來使得小藍辨認以及小白碰撞區域檢測，

• Block

  小白塊，上面有一個Goal Detect.cs腳本，用來檢測小白是否被推入目標區域，

• Ground和WallsOuter

  墻體和地面，沒什么好說的~

四、代碼分析

這個示例相對來說比較簡單，我們直接從小藍身上的Push Agent Basic開始看起，

Agent腳本

Agent初始化

using System.Collections;
using UnityEngine;
using MLAgents;

public class PushAgentBasic : Agent
{
    //地面，需要更根據任務完成情況更換地面材質
    public GameObject ground;

    //整個訓練單元，開局時可能隨機改變角度
    public GameObject area;

    [HideInInspector]
    public Bounds areaBounds;//地面碰撞體的邊界

    //Push Block示例的設定，設定小藍的速度、旋轉角度等
    PushBlockSettings m_PushBlockSettings;

    public GameObject goal;//目標區域
    public GameObject block;//小白塊

    [HideInInspector]
    public GoalDetect goalDetect;//小白塊上判定進入目標區域腳本

    public bool useVectorObs;//該選項應該是之前留下的，此代碼中無用

    Rigidbody m_BlockRb;  //小白塊剛體
    Rigidbody m_AgentRb;  //小藍剛體
    Material m_GroundMaterial; //地面原始材質

    //地面Renderer
    Renderer m_GroundRenderer;

    void Awake()
    {
        //找到Push Block初始配置
        m_PushBlockSettings = FindObjectOfType<PushBlockSettings>();
    }
    /// <summary>
    /// 初始化Agent
    /// </summary>
    public override void InitializeAgent()
    {
        base.InitializeAgent();
        //設定小白腳本里的agent為小藍
        goalDetect = block.GetComponent<GoalDetect>();
        goalDetect.agent = this;

        m_AgentRb = GetComponent<Rigidbody>();
        m_BlockRb = block.GetComponent<Rigidbody>();
        areaBounds = ground.GetComponent<Collider>().bounds;
        
        //拿到地面的的renderer，使得當小藍完成任務或未完成任務時替換地面材質
        m_GroundRenderer = ground.GetComponent<Renderer>();
        //快取地面原始材質
        m_GroundMaterial = m_GroundRenderer.material;
        //設定可變引數
        SetResetParameters();
    }
    /// <summary>
    /// 設定可變引數
    /// </summary>
    public void SetResetParameters()
    {
        //設定地面的兩個可變引數：動摩擦系數+靜摩擦系數
        SetGroundMaterialFriction();
        //設定小白塊的兩個可變引數：小白的X、Z方向的比例大小以及小白的所受空氣阻力
        SetBlockProperties();
    }
    /// <summary>
    /// 設定地面可變引數
    /// </summary>
    public void SetGroundMaterialFriction()
    {
        var resetParams = Academy.Instance.FloatProperties;
        var groundCollider = ground.GetComponent<Collider>();

        groundCollider.material.dynamicFriction = resetParams.GetPropertyWithDefault("dynamic_friction", 0);
        groundCollider.material.staticFriction = resetParams.GetPropertyWithDefault("static_friction", 0);
    }
	/// <summary>
    /// 設定小白可變引數
    /// </summary>
    public void SetBlockProperties()
    {
        var resetParams = Academy.Instance.FloatProperties;
        var scale = resetParams.GetPropertyWithDefault("block_scale", 2);
        //小白的比例
        m_BlockRb.transform.localScale = new Vector3(scale, 0.75f, scale);
        //小白的空氣摩擦阻力
        m_BlockRb.drag = resetParams.GetPropertyWithDefault("block_drag", 0.5f);
    }
}

以上代碼沒什么特別要講的，只用注意之前沒詳細講過的一個函式GetPropertyWithDefault(string key,float defaultValue)，這個函式一般用于可變引數的設定，第一個是你要設定的可變引數的key，這個與你要訓練的可變引陣列態檔中的部分一一對應，如下圖是當時在ML-Agents（四）3DBall補充の引入泛化中對3D Ball里的可變引數訓練檔案：

resampling-interval: 5000

mass:
    sampler-type: "uniform"
    min_value: 0.5
    max_value: 10

gravity:
    sampler-type: "uniform"
    min_value: 7
    max_value: 12

scale:
    sampler-type: "uniform"
    min_value: 0.75
    max_value: 3

里面的mass、gravity和scale就是在程式中設定的key一一對應，當然如果沒有訓練時，這個key所對應的值為空，則GetPropertyWithDefault(string key,float defaultValue)會取第二個默認引數，

Agent重置

重置代碼有一點有意思的地方，先上原始碼：

    /// <summary>
    /// Agent重置，在Done()時會自動呼叫
    /// </summary>
    public override void AgentReset()
    {
        //使整個平臺（訓練單元）隨機旋轉角度0，90，180，270
        var rotation = Random.Range(0, 4);
        var rotationAngle = rotation * 90f;
        area.transform.Rotate(new Vector3(0f, rotationAngle, 0f));
        //重置小白
        ResetBlock();
        //重置小藍
        transform.position = GetRandomSpawnPos();
        m_AgentRb.velocity = Vector3.zero;
        m_AgentRb.angularVelocity = Vector3.zero;
        //重置可變引數
        SetResetParameters();
    }
	/// <summary>
    /// 當小藍推動小白到目標區域時呼叫，注意這里呼叫是小白的腳本GoalDetect.cs呼叫的
    /// </summary>
    public void ScoredAGoal()
    {
        //到達目標區域，獎勵5
        AddReward(5f);
        //呼叫Agent的Done()函式，此時AgentReset()函式會自動執行
        Done();
        //設定地面亮綠色0.5秒
        StartCoroutine(GoalScoredSwapGroundMaterial
                       (m_PushBlockSettings.goalScoredMaterial, 0.5f));
    }
    /// <summary>
    /// 設定地面材質為綠色
    /// </summary>
    IEnumerator GoalScoredSwapGroundMaterial(Material mat, float time)
    {
        m_GroundRenderer.material = mat;//地面設定為綠色
        yield return new WaitForSeconds(time); //等待0.5s后，換回原先材質
        m_GroundRenderer.material = m_GroundMaterial;
    }
    /// <summary>
    /// 重置小白的位置和速度
    /// </summary>
    void ResetBlock()
    {
        //小白的位置隨機重置
        block.transform.position = GetRandomSpawnPos();
        //使小白的速度置零
        m_BlockRb.velocity = Vector3.zero;
        //使小白的角速度置零
        m_BlockRb.angularVelocity = Vector3.zero;
    }
	/// <summary>
    /// 利用地面的Bounds范圍以及碰撞關系來隨機生成小白以及小藍出現的位置
    /// </summary>
    public Vector3 GetRandomSpawnPos()
    {
        var foundNewSpawnLocation = false;
        var randomSpawnPos = Vector3.zero;
        while (foundNewSpawnLocation == false)
        {
            //隨機找兩個值X、Z，注意這里的m_PushBlockSettings.spawnAreaMarginMultiplier系數
            var randomPosX = Random.Range(-areaBounds.extents.x * m_PushBlockSettings.spawnAreaMarginMultiplier,
                areaBounds.extents.x * m_PushBlockSettings.spawnAreaMarginMultiplier);
            var randomPosZ = Random.Range(-areaBounds.extents.z * m_PushBlockSettings.spawnAreaMarginMultiplier,
                areaBounds.extents.z * m_PushBlockSettings.spawnAreaMarginMultiplier);
            //判斷隨機的位置附近是否存在碰撞體，若存在則繼續隨機生成位置，
            //直到生成的位置附近沒有其他碰撞體
            randomSpawnPos = ground.transform.position + new Vector3(randomPosX, 1f, randomPosZ);
            if (Physics.CheckBox(randomSpawnPos, new Vector3(2.5f, 0.01f, 2.5f)) == false)
            {
                foundNewSpawnLocation = true;
            }
        }
        return randomSpawnPos;
    }

以上代碼大部分都很簡單，每次訓練完成的條件就是小白被推入目標區域，然后呼叫小藍身上的ScoredAGoal()函式，使得整個訓練重置，

有意思的是最后一部分GetRandomSpawnPos()方法，即隨機生成小藍和小白位置方法，首先先看這個代碼前半部分，隨機的X、Z值除了隨機生成，還乘以了m_PushBlockSettings.spawnAreaMarginMultiplier引數，該引數是PushBlockSettings.cs腳本中的，有了它的相乘，則規定了小白和小藍出現的位置占場地的百分比，可以參考下圖來理解：

圖中的數字大概就是m_PushBlockSettings.spawnAreaMarginMultiplier引數的取值，原始碼中該值設定為0.5，則小藍和小白出現的位置就在場地中心50%方形區域范圍內，這里如果值越大，相應訓練的時間也就越長，也符合常理，

其次，在該代碼中還有一個while()回圈，這個回圈主要是判斷隨機生成的位置周圍是否有其它碰撞體（包括墻體等），

該段代碼使用了Physics.CheckBox(Vector3 center, Vector3 halfExtents, Quaternion orientation = Quaternion.identity, int layermask = DefaultRaycastLayers, QueryTriggerInteraction queryTriggerInteraction = QueryTriggerInteraction.UseGlobal)函式，當然這個函式引數很多，原始碼中就設定了前兩個值，意思就是在center位置生成一個碰撞盒，長寬高分別為halfExtents（x、y、z）的兩倍，如下圖：

如上圖，碰撞盒的尺寸為（5,0.02,5），若小白在圖示位置，而小藍一次隨機的位置在（0,0,0）點處，利用Physics.CheckBox()方法就檢測出了在(0,0,0)點處周圍有小白，因此此次生成的位置(0,0,0)并不能符合要求，然后就繼續while()去重新生成位置，知道小藍和小白離得足夠遠，

這里比較坑的時，注意不能把m_PushBlockSettings.spawnAreaMarginMultiplier這個值設定的太小，太小的話你會發現程式一運行就卡死，也可以想到，如果太小，while會變成死回圈，因為沒有足夠的距離使得小白和小藍的距離足夠遠而結束回圈，

Agent動作反饋

Agent動作反饋代碼較為簡單：

	/// <summary>
    /// Agent每步動作反饋
    /// </summary>
    public override void AgentAction(float[] vectorAction)
    {
        //利用矢量空間向量移動Agent
        MoveAgent(vectorAction);
        //每步都給予懲罰使得Agent迅速完成任務，這里是-1/5000每步
        AddReward(-1f / maxStep);
    }
    /// <summary>
    /// 根據矢量動作空間action[]來使得Agent作出反應
    /// </summary>
    public void MoveAgent(float[] act)
    {
        var dirToGo = Vector3.zero;//向前向量
        var rotateDir = Vector3.zero;//轉向向量
        var action = Mathf.FloorToInt(act[0]);//act[]取值范圍為0~6，則action取值范圍為0~6

        switch (action)
        {
            case 1:
                dirToGo = transform.forward * 1f;//向后
                break;
            case 2:
                dirToGo = transform.forward * -1f;//向前
                break;
            case 3:
                rotateDir = transform.up * 1f;//向右轉
                break;
            case 4:
                rotateDir = transform.up * -1f;//向左轉
                break;
            case 5:
                dirToGo = transform.right * -0.75f;//向右平移
                break;
            case 6:
                dirToGo = transform.right * 0.75f;//向左平移
                break;
        }
        transform.Rotate(rotateDir, Time.fixedDeltaTime * 200f);//旋轉方向
        m_AgentRb.AddForce(dirToGo * m_PushBlockSettings.agentRunSpeed,
            ForceMode.VelocityChange);//移動
    }

至此，Agent腳本分析完畢，

其他

剩下的腳本主要是在PushBlockSettings物體上的PushBlockSettings腳本，該腳本主要可以設定本示例的公共引數，

using UnityEngine;

public class PushBlockSettings : MonoBehaviour
{
    /// <summary>
    /// Agent的速度
    /// </summary>
    public float agentRunSpeed;
    /// <summary>
    /// Agent的旋轉速度
    /// </summary>
    public float agentRotationSpeed;
    /// <summary>
    /// 使用場地比例乘數，具體作用已在上一節中講述
    /// </summary>
    public float spawnAreaMarginMultiplier;
    /// <summary>
    /// 任務達成時，地面要更換的材質
    /// </summary>
    public Material goalScoredMaterial;
    /// <summary>
    /// 任務失敗時，地面要更換的材質（工程中未用到）
    /// </summary>
    public Material failMaterial;
}

五、訓練

訓練配置引數

基于上一篇ML-Agents（七）訓練指令與訓練組態檔，我們來大概研究一下Push Block的設定：

trainer_config.yaml

PushBlock:
    max_steps: 1.5e7
    batch_size: 128
    buffer_size: 2048
    beta: 1.0e-2
    hidden_units: 256
    summary_freq: 60000
    time_horizon: 64
    num_layers: 2

默認的引數就先不看，主要看PushBlock獨有的設定，

• max_steps：設定的很大，說明該次訓練應該還是比較費時間的，不過場景中也相應有32個訓練單元，所以也相應加快了訓練速度，
• batch_size：相比默認1024設定的較小，因為此次訓練的矢量動作空間是離散的（Discrete Type），所以設定范圍為32-512，
• buffer_size：是batch_size的倍數，范圍為2048-409600，
• beta：相比默認設定5.0e-3，該值設定更大，也就意味著在訓練程序中agent的行動更具隨機性，不過如果entropy的下降太慢，則要減小該值，
• hidden_units：默認設定為128，該值設定為256，原因是此示例相對來說觀察變數之間的互動復雜度更高，因此該值需要更大，
• summary_freq：該值設定多久保存一次統計資料，主要決定在tensorboard中顯示資料點的數量，由于該訓練max_steps較大，因此該值也相對默認值10000設定的大，
• time_horizon：如果在一個episode里，agent頻繁獲得獎勵或episode數量非常大的情況下，該值需要更小，對應于本示例訓練，由于每一步都懲罰agent，要使其盡快完成訓練，因此該值設定較小（PS.該值范圍為32-2048），
• num_layers：與默認相同，定義在觀察值輸入之后或在視覺觀察的CNN編碼后存在多少個隱藏層，對于簡單的問題，更少的層數可使得訓練更加迅速和高效，對于更加復雜的控制問題，可能需要更多的層（PS.該值的范圍為1-3），

關于組態檔更多的配置項可以看我上一篇文章~

訓練程序

我們先來使用官方不帶可變引數的配置來訓練一下，在命令列中輸入熟悉的訓練命令：

mlagents-learn config/trainer_config.yaml --run-id=PushBlock_Normal --train

進行訓練，如下圖：

剛開始小藍蠢的要死~還不知道自己來到這個世界上要干啥，，，訓練一會兒，看它能不能醒悟自己的任務，

等到一段時間后，會發現有些小藍好像明白了自己push小白的任務，但其實大多數小藍都只是把小白推到某個墻角就卡住了，這種情況下，初期的小藍就只能等到這一次的最大動作數5000步后，重置來進行下一次嘗試，

OK，我們還是等到訓練一段時間后在來看效果，

隨著時間的退役，我們可以觀察到越來越多的訓練單元達成了任務：

同時也可以從命令列中的Mean Reward值逐漸增加來看到學習的效果越來愈好，

訓練效果越來越好，表明引數基本設定沒啥大問題，現在只需要等待訓練完畢即可，訓練大概3小時后，訓練完畢，可以同時查看此次訓練的tensorboard，

將訓練模型放入Unity中，發現可以使小藍正確push小白到目標區域中，

六、總結

此次示例總體來說較為簡單，主要就是學習關于射線傳感器的應用，本篇文章就此結束，歡迎大家留言交流~

寫文不易~因此做以下申明：

1.博客中標注原創的文章，著作權歸原作者 煦陽（本博博主） 所有；

2.未經原作者允許不得轉載本文內容，否則將視為侵權；

3.轉載或者參考本文內容請注明來源及原作者；

4.對于不遵守此宣告或者其他違法使用本文內容者，本人依法保留追究權等，

標籤：其他

上一篇：從零開始實作放置游戲（十四）——實作戰斗掛機（5）地圖移動和聊天

下一篇：有個事正在悄然發生，估計誰都無法逆轉！只能積極擁抱