[2020.03]Unity ML-Agents v0.15.0（一）環境部署與試運行

[20200318更新]注意：之前關于下載CUDA與cuDNN的版本我寫錯了，首先道個歉，如果要想用Tensorflow利用GPU進行訓練，就需要Tensorflow、CUDA、cuDNN的版本對應一致，之前我弄錯了！我們后面用的Tensorflow的版本是2.0.1，所以對應CUDA的版本應該是CUDA v10.0，而相應的cuDNN v7.6.5即可，下面的截圖都是我之前錯誤的10.2.89版本，是不能用GPU進行訓練的（雖然還可以用CPU進行訓練）！！！但是安裝程序都是一樣的，因此后文修改一下文字內容，圖片就不改了，!一定要先看到這一行~別搞錯了！

目錄

• 一、ML-Agents簡介
• 二、環境部署及各軟體版本
• 三、安裝CUDA與cuDNN
  • 1、下載CUDA v10.0
  • 2、安裝CUDA
  • 3、安裝cuDNN v7.6.5 for CUDA 10.0
  • 4、設定環境變數和路徑
• 四、安裝Anaconda
  • 1、下載Anaconda3 2019.10
  • 2、Anaconda環境配置
• 五、ml-agents環境配置
  • 1、下載ml-agents原始碼
  • 2、Anaconda換源
  • 3、Anaconda創建環境
• 六、ML-Agents試運行
  • 1、Unity官方訓練示例
  • 2、訓練一個自己的模型出來

一、ML-Agents簡介

近期在學習Unity中的機器學習插件ML-Agents，做一些記錄，用以簡單記錄或交流學習，

先簡單說一下機器學習使用的環境場景：高視覺復雜度（Visual Complexity，例如星際爭霸、Dota2職業玩家與AI競技）、高物理復雜度（Physical Complexity，例如模擬兩足、四足生物行走，這里Unity ML-Agents官方也有相關例子）、高認知復雜度（Congnitive Complexity，例如AlphaGo），以上幾種場景利用傳統演算法較難搞，而利用機器學習，會更加容易解決這些問題，

而ML-Agents（Machine Learning Agents），則是Unity中使用的一款開源機器學習插件，利用該插件，可以實作一些游戲物件的智能操作，例如控制 NPC 行為（采用各種設定， 例如多個 agent 和對抗）、對游戲內部版本進行自動化測驗、以及評估不同游戲設計決策的預發布版本等等，

ML-Agents中主要有兩種學習方法：強化學習（Reinforcement Learning）和模仿學習（Imitation Learning），它們各自特點如下：

• 強化學習：通過獎勵（Reward）學習；試錯；超高速模擬；代理（Agent）在任務中趨向“最優”，官方最開始幾個例子都是強化學習，

  

  如上圖，其中Agent就是在游戲物件上的代理，通過外部環境（這里在訓練的時是利用外部PythonAPI，或是使用訓練好的TensorFlow模型）根據Agent的行為（Action）來回傳激勵（狀態或是獎勵），Agent接收到激勵后，再改變自己的行為反饋給外部環境，從而形成倍訓學習程序，

• 模仿學習：通過示例（demonstration）學習；沒有獎勵的必要；實時互動；代理（Agent）在任務中趨向“人一樣的行為”，

AI會借助特定模仿物件的行為學習，實際操作中AI會實時收集老師的示范操作，幫助學習，在實時互動的程序中，讓AI更趨向人的行為，

更多ML-Agents的介紹會在之后記錄，例如ML-Agents的架構等等，

二、環境部署及各軟體版本

主要下載這么幾個東西（附帶版本號，近期入手的，所以版本都整最新的搞起【2020.03.08】）：

• Unity 2019.2.0f1 (64-bit)，這里用的是Unity2019.2版本，其他版本應該也行，最好2018保底，

• ml-agents v0.15.0，官方ml-agents更新有點快，因為我最近學，所以也上最新master的了，但并不是穩定版本，與之前ml-agents有所區別，而且發現不需要在場景中建立附加Academy腳本的物體了，這玩意在最新版里搞成單例了，

• CUDA v10.0，這個主要和Tensorflow-GPU版本有關系，我們后面用到的是TensorFlow2.0.1，所以下載CUDA對應為v10.0，

• cuDNN v7.6.5，這個又是和CUDA進行匹配的，cuDNN v7.6.5 for CUDA 10.0，

• Anaconda3 v2019.10，另外我建立的工程中，Python版本是v3.7.6，TensorFlow的版本對應是2.0.1，

下面一一講解如何對這些進行安裝，

三、安裝CUDA與cuDNN

CUDA與cuDNN是干啥的，貼網上兩段話：“CUDA是NVIDIA推出的CUDA運算平臺的工具集，CUDA提供了一個強大的開發環境，用于開發高性能的GPU加速應用，通過CUDA，你能開發、優化和部署你的應用在多種平臺，例如GPU加速嵌入式系統、桌面作業站，企業資料中心，云平臺和HPC超級計算機，”、“cuDNN專門針對深度神經網路框架設計的一套GPU計算加速方案，全世界的深度學習研究者和框架開發者都使用CUDNN來增強GPU計算性能，”這里其實不太清楚對A卡是咋適配的，所以我默認使用的都是N卡，，，

簡而言之，這兩個東西就是給顯卡配置環境的，讓你的顯卡具有機器計算的環境，話不多說，直接開始：

1、下載CUDA v10.0

地址：https://developer.nvidia.com/cuda-10.0-download-archive?target_os=Windows&target_arch=x86_64

現在點進去應該直接就是10.0版本的下載，不是的話點擊“Legacy Releases”找，也可以直接下載最新的試試看，我是Windows系統，因此以Windows為例（別的系統，，還是自己再找找有沒有別的配置方案），

點擊之后出現如下畫面，可以照我的選，

這里面Version是選系統的版本，Installer Type就是選擇安裝型別，如果選擇exe（local），那就是要下載CUDA完整包，前面的exe（network）會利用官方的下載器下載，兩個都可以試試，看哪個快，我是用下載器下載比較快，

2、安裝CUDA

注意：開始安裝CUDA前，需要關閉任何正在運行的Unity和Visual Studio程式，

如果下載network型別的話，下載好后直接打開，解壓地址隨意選擇，點OK，出現如下畫面，

注意：這里會檢查系統的兼容性，如果不兼容的話，它會有Warning的提示，要是沒有直接顯示同意NVIDIA軟體許可協議的話，就要注意了，這里應該是CUDA的版本與你的顯卡不兼容，所以可以試著換個低版本的CUDA下載安裝，

如果CUDA版本與顯卡版本匹配的話直接顯示許可協議同意，如下圖，

后面的可以都默認，一路“下一步”，裝完就OK，

3、安裝cuDNN v7.6.5 for CUDA 10.0

地址：https://developer.nvidia.com/cudnn

在頁面中選擇“Download cuDNN”，

點擊后，會出現以下畫面，這里我們需要有一個NVIDIA的賬號，有的話直接登錄，沒有的話花2分鐘注冊一個登錄即可，

我這里直接登錄，出現的畫面中點擊“I Agree to the Terms of the……”，

這里我們選擇和之前CUDA對應的版本來下載，之前我們下載的是CUDA 10.0，因此選擇第三個，打開選項后選擇對應系統版本進行下載，我們這里選擇Win10，

下載之后是一個壓縮包，如下，

解壓之后，將解壓檔案中的“bin”、“include”、“lib”三個檔案夾覆寫到之前CUDA安裝的路徑下，如果之前CUDA安裝時未改路徑的話，應該是這個路徑：C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v10.0

至此，CUDA和cuDNN安裝完畢，下面還要對“環境變數”進行配置，

4、設定環境變數和路徑

在開始選單中，搜索“envir”，總之進入“編輯系統環境變數”，

點擊“環境變數”，

然后在“系統變數”中點擊“新建”，按下圖輸入，

注意，上面是用戶的環境變數，下面是系統的環境變數，我之前沒注意，都把這些變數加到上面去了，不過應該只要用自己的用戶登錄都行，大家可以把變數加到下面去，

然后還要在在系統變數的“Path”中加入兩個路徑，

以上就是CUDA和cuDNN的環境變數配置，之后裝AnaConda3還需要進行環境變數配置，之后會有寫到，

再次提醒！！！！我們上面的圖片上雖然下載的是CUDA v10.2，但是實際上我們要用的是CUDA v10.0版本的，要對應我們Tensorflow的版本才行！！！希望大家對應文字來下載配置，隨機應變，不要只是看圖了，我們這里用CUDA v10.0哦，不是10.2！！！！！！

四、安裝Anaconda

1、下載Anaconda3 2019.10

地址：https://www.anaconda.com/distribution/

進入網站后，找到下面的截圖，按自己的系統需要下載，

下載好后，進行安裝，

一路下一步就行，最好選擇默認路徑進行安裝，里面的選項選不選也隨意，然后Install就行，

2、Anaconda環境配置

這一步應該不是必須的，但以防萬一，還是配置一下，還是進入“編輯系統環境變數”，在系統變數（或用戶變數）的Path里新建以下四個地址（這里的地址是根據之前Anaconda安裝路徑來設定的，我這里的路徑是默認路徑）：

五、ml-agents環境配置

1、下載ml-agents原始碼

下載地址：https://github.com/Unity-Technologies/ml-agents

我下的是master分支上的，也就是2020年3月5號左右，版本是0.15.0，

當然，在git上下載太慢了，而且下下來可能壓縮包還包含錯誤，坑的呀批，所以建議利用碼云下載，快捷方便，具體可以看下面網址的教程：

https://blog.csdn.net/TeFuirnever/article/details/99110367

下載好后在任意地方解壓，如下，

以上原始碼下載好后，以作備用，下面先配置Anaconda，

2、Anaconda換源

在用Anaconda創建環境時，會自動下載相應的依賴庫，包括python、tensorflow、pip、wheel等等，雖然我也不知道這些是干啥的，，，但是默認用國外的地址下載慢的要死，而且很有可能在創建環境時失敗！

所以需要換下載這些庫的地址，方法很多，網上很多是敲命令列，我這里直接修改組態檔來換源，找到C:\Users\<你的用戶名>檔案下，有一個名為“.condarc”檔案，則是Anaconda的組態檔，打開進行編輯，

可以直接按我的進行配置，我配置的是清華的鏡像源，里面好像還亂入了個中科大的，

https://mirrors.ustc.edu.cn/anaconda/pkgs/free/
https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/main/
https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/free/

然后保存，進行下面的步驟，

3、Anaconda創建環境

Anaconda的環境創建可以用Anaconda Prompt，也就是命令列來建立，也可以利用Anaconda Nvigator來創建，后者主要是可視化的創建程序，這玩意其實就是搭建訓練平臺，之后Unity中的專案訓練通過socket和Anaconda中你搭建好的mlagents環境進行通信，實作訓練程序，

首先找到“Anaconda Navigator”運行，

運行后找到“Environments”，新裝的里面只有一個“base(root)”，我這里之前已經建立好了一個ML_Agents，不用管它，我們新建一個，點擊“Create”，如下圖：

點擊后，出現如下對話框，其中Name隨意寫，Python版本就選3.7，

然后建立，會等一會兒，可以看到右下角有進度條不停滑動，如果這里滑動半天，最后提示失敗，那就說明是因為依賴庫沒有下載下來，那你就需要參考前面的“Anaconda換源”來換個鏡像地址試試看，

這里如果成功的話，我們進行下一步，

建立成功后，例如我建立的環境叫“EnvirExample”，然后點擊三角符號，“Open Terminal”，這個時候我們就進入命令臺模式了，之后都需要在這里輸入命令進行操作，

到這里后，我們cd到之前下好ml-agents原始碼解壓的地方，例如我這里是桌面地址，則輸入如下命令：cd /d C:\Users\Xu\Desktop\ml-agents ，然后回車，

然后，下面需要恢復ml-agents需要的庫，這里需要裝兩個檔案夾里的東西，分別是ml-agents-envs和ml-agents，

因此，下一步我們在命令列里先敲： pip install -e ml-agents-envs ，如下：

按理來說，這里會進行就會自動下載依賴檔案了，結果我在這里卡了好久，可能會出現以下錯誤：

整了半天，還有各種別的錯誤出現，最后總結出來的原因是，因為鏡像站太慢或者是沒有相對應的庫，因此找到了解決方案：

http://www.manongjc.com/detail/8-newslizewxdvgby.html

上面的地址是解決方法，也可以不用看，在這一步，我們只需要修改命令為：

pip install -e ml-agents-envs -i http://pypi.douban.com/simple/ --trusted-host pypi.douban.com

這樣的話，就可以通過豆瓣鏡像下載庫了，這里大坑，成功后的樣子：

然后，用同樣的方法下載ml-agents檔案架下的庫，命令如下：

pip install -e ml-agents -i http://pypi.douban.com/simple/ --trusted-host pypi.douban.com

若成功則顯示如下：

上面的樣子可能長得不一樣，總之如果安裝成功，那命令列里肯定沒有類似黃色、紅色的字體，就說明這兩個檔案夾中的環境配置成功了！最麻煩的配置已經過去了，下面我們就可以開始使用了！！激動激動~

六、ML-Agents試運行

1、Unity官方訓練示例

我們這里直接用一個ml-agents官方的實體來實驗一下，先打開Unity，打開官方的專案，官方專案就在ml-agents原始碼的“Project”檔案夾中，如下圖：

我用2019直接打開，會提示我源工程版本較老，自動升級一下就行，

打開專案后，我們在Project->Assets->ML-Agents->Examples->3DBall->Scenes->中找到3DBall場景，如下：

這里我們可以直接運行，可以看到12個小平臺努力不讓球掉落，這里每個平臺的Agent已經有官方訓練好的Model了，后綴名為.nn，如下圖：

我們用ml-agents中的強化學習時，其實就是預先沒有這個訓練模型（即這個.nn檔案），我們自己需要訓練一個出來，

2、訓練一個自己的模型出來

Unity先停止運行，

打開我們之前在Anaconda中的控制臺，之前安裝完環境應該還沒關，當然要是關了重新打開的話，記的還是要選擇我們創建的環境，我的是“EnvirExample”，然后打開Terminal，同時還要cd到ml-agents的目錄去，我的在桌面，則輸入：cd /d C:\Users\Xu\Desktop\ml-agents ，

總之需要滿足前面括號里是你創建的環境，后面是ml-agents原始碼目錄，

然后輸入以下命令，準備開始訓練：

mlagents-learn config\trainer_config.yaml --run-id=test01 --train

這里第二個“config\trainer_config.yaml”就是源檔案中對此次訓練的組態檔，

出現畫面后，切換到Unity上開始運行專案，就可以進行訓練啦~

這個例子應該會訓練500000步，訓練完后，會輸出相應的模型檔案，

這里就是訓練出的模型，可以替換Unity中的模型檔案，試試看自己訓練出的資料，

在控制臺里，還可以輸入一下命令查看訓練圖：

tensorboard --logdir=summaries

然后在瀏覽器里復制地址，我這里的是http://localhost:6006/，打開之后就可以看到訓練統計資料了~

至此，ml-agents的配置和初運行就大功告成啦~！

參考：https://www.bilibili.com/video/av49257917?from=search&seid=5553688680482591789

https://blog.csdn.net/u014361280/article/details/102782486#一、ML-Agents 介紹

https://mp.weixin.qq.com/s?__biz=MzU5MjQ1NTEwOA==&mid=2247490308&idx=1&sn=083e136e78c03836b766703bd33447ac&chksm=fe1e2fafc969a6b930497cf39727158072a688cfa6dcea7b9061c4b3aa2c005bb6a9f72c0302&scene=21#wechat_redirect

https://github.com/Unity-Technologies/ml-agents/

寫文不易~因此做以下申明：

1.博客中標注原創的文章，著作權歸原作者 煦陽（本博博主） 所有；

2.未經原作者允許不得轉載本文內容，否則將視為侵權；

3.轉載或者參考本文內容請注明來源及原作者；

4.對于不遵守此宣告或者其他違法使用本文內容者，本人依法保留追究權等，

標籤：其他

上一篇：DirectX11--深入理解Effects11、使用著色器反射機制(Shader Reflection)實作一個復雜Effects框架

下一篇：Unity CommandBuffer