摘要:PyCharm在AI專案開發提供了優秀的代碼編輯、除錯、遠程連接和同步能力,在開發者中廣受歡迎,
使用PyCharm插件配合ModelArts:
- 一鍵幫助用戶配置遠程ModelArts Notebook,免去用戶手工配置
- 按需使用Notebook資源,啟動停止,隨心所欲
- 本地代碼提交至ModelArts訓練任務,沉浸式AI開發體驗
ModelArts是華為云一站式AI開發平臺,“一站式”是指AI開發的各個環節,包括資料處理、演算法開發、模型訓練、模型部署都可以在ModelArts上完成,從技術上看,ModelArts底層支持各種異構計算資源,開發者可以根據需要靈活選擇使用,而不需要關心底層的技術,同時,ModelArts支持Tensorflow、PyTorch、MindSpore等主流開源的AI開發框架,也支持開發者使用自研的演算法框架,匹配您的使用習慣,
AI模型開發的程序,稱之為Modeling,一般包含兩個階段:
- 開發階段:準備并配置環境,除錯代碼,使代碼能夠開始進行深度學習訓練,推薦在ModelArts開發環境中除錯,
- 實驗階段:調整資料集、調整超參等,通過多輪實驗,訓練出理想的模型,推薦在ModelArts訓練中進行實驗,
兩個程序可以相互轉換,如開發階段代碼穩定后,則會進入實驗階段,通過不斷嘗試調整超參來迭代模型;或在實驗階段,有一個可以優化訓練的性能的想法,則會回到開發階段,重新優化代碼
1. 實操體驗 How to Use
1.1 插件安裝和登錄
1.1.1 插件安裝
選擇File>Settings>Plugins,在Marketplace里搜索“ModelArts”,點擊Install即可完成安裝,
1.1.2 插件登錄
安裝完插件后,會在IDE選單欄出現ModelArts,點擊后選擇Edit Credential,出現如下頁面

點擊插件的How to get AK/SK,跳轉到華為云檔案去按照指導獲取AK/SK,把AK/SK填入登錄框中,點擊OK,即可完成登錄,
1.2 訓練代碼和資料準備
在本博客中,通過附件進行下載獲取,
獲取完代碼和資料中,需要把訓練資料上傳至OBS中,為下一步提交訓練作業做好準備,
進入到OBS控制臺中,如果沒有OBS桶,需要創建一個,如果已有桶,在該桶下新建一個data檔案夾,把已下載好的訓練資料上傳至該OBS檔案夾中,
和data檔案夾同級,創建一個job檔案夾,用來存放提交的訓練作業,
首先獲取OBS桶地址,在網頁端進行點擊獲取,地址類似為obs://3xdata
通過拼接獲取到data和job檔案夾OBS地址分別為:
data:obs://3xdata/data/
job:obs://3xdata/job/
1.3 提交訓練作業
通過PyCharm把下載好的訓練檔案打開,點擊插件的Training Job進行訓練作業提交
在打開的頁面中,選擇和填入如下引數:
- Engine必須選擇tensorflow_2.1.0
- 啟動檔案和目錄必須位于當前打開專案
- OBS Path為上一步獲得地址
- Specifications可以選擇免費規格或者CPU/GPU規格
填寫無誤后,點擊Apply and Run, 等待訓練作業運行完成即可看到如下圖日志輸出
點擊日志中的網站鏈接地址,可以在網頁端看當訓練作業相關詳情,完成網頁端資訊截圖即可
恭喜大家,至此,我們的在ModelArts上進行模型開發的體驗就順利完成了,
2. 更多探索 Learn More
如果擁有PyCharm專業版,還可以體驗更多豐富功能,使用Notebook進行開發除錯后,再進行訓練作業提交,可以參考https://support.huaweicloud.com/devtool-modelarts/devtool-modelarts_0016.html
本文作者小馬老師將在10月11日直播詳細介紹【試駕PyCharm“混動”AI開發初體驗】,歡迎各位點擊此處參與,
點擊關注,第一時間了解華為云新鮮技術~
轉載請註明出處,本文鏈接:https://www.uj5u.com/qita/513043.html
標籤:其他
上一篇:手把手教你使用LabVIEW OpenCV dnn實作物體識別(Object Detection)含原始碼
下一篇:如何從初級程式員變成高級程式員?
