前言
最近在學深度學習HyperLPR專案時,由于一直沒有比較合適的設備訓練深度學習的模型,所以在網上想找到提供模型訓練,經過一段時間的搜索,最終發現了一個谷歌的產品--Google Colaboratory,它幾乎可以實作零成本玩轉深度學習,達到快速訓練模型的目的,
Google Colaboratory是谷歌開放的一款深度學習的研究工具,主要用于深度學習的開發和研究,這款工具現在是可以免費使用,但是暫時還是無法確定是不是永久免費,Google Colab最大的好處是給廣大的AI開發者提供了免費的GPU和TPU使用!GPU型號是Tesla K80!你可以在上面輕松地跑例如:Keras、Tensorflow、Pytorch等框架,
Google Colab基本操作
網站:Google Colab
進入Google Colab網站-》新建專案
?新建專案創建完專案之后我們就可以進入Colab的主界面了,
?添加代碼塊
現在,我們就可以在代碼框中輸入一些代碼,這里注意,如果我們直接輸入代碼,系統會當作是Python代碼執行,例如我們輸入:
a = 1print(a)運行之后輸出框中會列印出"1",
?運行結果
如果想去執行系統命令,只需要在命令前加感嘆號!,例如我們輸入:
!ls運行結果如下:
?運行結果
執行之后輸出框中會顯示當前目錄下的所有檔案夾,這是不是很像Linux下的命令列操作?
其實在Google Colab中連接的云端的那臺虛擬機正是使用的Ubuntu作業系統,我們可以將自己在Google Colab中的一切操作看作是在用命令列控制云端的那臺Ubuntu虛擬機,你可以用它來直接跑代碼,也可以使用一些系統命令(我們后面要安裝第三方軟體都需要借助一系列的系統命令),
前期配置
1. 修改筆記本環境
每新建一個Colab專案,都需要先對筆記本環境進行配置,運行型別選擇是Python2還是Python3,硬體型別選擇CPU、GPU或者TPU,(其中Python2是2.7版本,Python3是3.6版本)
?筆記本設定修改完后點擊保存即可,
2. 安裝必要的包和軟體
在代碼段中輸入以下代碼:
!apt-get install -y -qq software-properties-common python-software-properties module-init-tools!add-apt-repository -y ppa:alessandro-strada/ppa 2>&1 > /dev/null!apt-get update -qq 2>&1 > /dev/null!apt-get -y install -qq google-drive-ocamlfuse fusefrom google.colab import authauth.authenticate_user()from oauth2client.client import GoogleCredentialscreds = GoogleCredentials.get_application_default()import getpass!google-drive-ocamlfuse -headless -id={creds.client_id} -secret={creds.client_secret} < /dev/null 2>&1 | grep URLvcode = getpass.getpass()!echo {vcode} | google-drive-ocamlfuse -headless -id={creds.client_id} -secret={creds.client_secret}運行代碼,運行中會提示輸入驗證碼,點擊程式給出的網址進行驗證即可,
3. 掛載Google Drive
其實完成前面的操作我們就可以在Google Colab中敲寫代碼或者輸入一些系統命令了,但是我們現在連接的虛擬機是和Google Drive脫離的,也就是說我們跑的程式無法使用谷歌云盤里的檔案,這就非常受限制了,所以我們一般需要將谷歌云盤看作是虛擬機中的一個硬碟掛載,這樣我們就可以使用虛擬機輕松訪問谷歌云盤,
掛載Google Drive代碼:
!mkdir -p drive!google-drive-ocamlfuse drive運行掛載Google Drive代碼會出現應認證的鏈接
?裝載Google Drive點擊鏈接獲得應用認證碼
?應用認證碼將應用認證碼復制輸入到下面的文本框中,點擊回車鍵即可
?輸入應用認證碼加載成功之后在左邊的檔案中多了一個dirve檔案夾
?加載成功
掛載完后在虛擬機中會多出一個檔案夾"drive",我們可以用
!ls命令查看,
更改作業目錄
在Colab中cd命令是無效的,切換作業目錄使用chdir函式,
import osos.chdir("drive")執行以上代碼,當前作業目錄會進入到drive檔案夾下,我們再使用!ls命令會發現系統輸出的是drive檔案夾下的目錄,
回到上級目錄:
os.chdir('../')運行自己的代碼
好了,各種準備作業都做好了,我們如何在Colab上直接運行自己寫好的代碼呢?其實很簡單,就跟在自己電腦上一樣,使用命令
!python XXX.py就可以了!詳細步驟如下:
1. 將.py檔案和其它必要的檔案上傳到Google Drive
上傳速度很快,不用擔心網速問題~
2. 將作業目錄切換到.py檔案所在目錄
import osos.chdir('drive/Colab/Your project folder')如果不放心的話切換完之后用!ls命令看一下是不是到了指定目錄下,
3. 運行代碼
!python XXX.py
4. 注意事項
Linux系統下檔案路徑使用'/'而不是'\'
總結
可以把Google Colab看成是一臺帶有GPU或者TPU的Ubuntu虛擬機,只不過我們只能用命令列的方式操作它,你可以選擇執行系統命令,也可以直接撰寫運行python代碼,
掛載完Google Drive,會在虛擬機里生成一個drive檔案夾,直接將Google Drive當成是一塊硬碟即可,訪問drive檔案夾里的檔案,就是在訪問你的Google Drive里的檔案,
Colab最多連續使用12小時,超過時間系統會強制掐斷正在運行的程式并識訓占用的虛擬機,(好像再次連接到虛擬機后,虛擬機是被清空的狀態,需要重新配置和安裝庫等等)
請使用科學-上網方式,
好了,Google Colab的使用方法就先介紹到這里了,筆者也是剛接觸不久,寫下了這篇使用總結的文章與大家分享,文中若有問題之處,還請大家多多包涵,可以在評論區指出我的錯誤,互相學習,
?
zeusee.com 智云視圖
轉載請註明出處,本文鏈接:https://www.uj5u.com/qita/63767.html
標籤:其他
