雜談：淺談作業環境配置

• 雜談：淺談作業環境配置
  • 0. 引言
  • 1. 環境的安裝
    • 1. miniconda的下載與安裝
    • 2. miniconda虛擬環境的創建和洗掉
    • 3. miniconda虛擬環境的使用
  • 2. jupyter notebook的使用
    • 1. jupyter安裝
    • 2. jupyter使用
    • 3. jupyter加載環境
  • 3. 其他常用shell命令
    • 1. 基礎命令
    • 2. 查看gpu狀態
    • 3. screen命令
    • 4. python環境相關
    • 5. 檔案壓縮 & 解壓
  • 4. 參考鏈接

0. 引言

故事起源于作業中需要一個tf1.15的環境，然后我平時用的是2.3或者1.14，就得自己再重新安裝一個tf1.15的環境，然后發現每一次安裝環境都得去google一下命令，嗯，不要問為什么，問就是用的少，記性差，嗯，一定是的，，，

so，干脆這里就自己寫個小文章，把常用的這些指令都在這里簡單的羅列說明一下好了，

大致會包括：

1. 安裝miniconda以及基于miniconda創建虛擬環境
2. 將虛擬環境加載到jupyter notebook當中并遠程呼叫
3. 其他一些常用命令列命令

需要注意的是，因為這里大部分都是我在作業中遇到的一些常用命令的整理，因此邏輯大致會有一些，系統性卻一定會有所欠缺，

另外就是，由于我作業中主要使用的就是linux系統，基本不涉及windows系統，因此這里的內容主要針對linux系統，在windows系統中可能出現不匹配的情況，還煩請讀者諒解，

1. 環境的安裝

眾所周知，python有許許多多的外部工具包，而不同的環境有著不同的包和版本的需求，因此，很多情況下要在一個環境中兼容不同的包事實上還是一個比較坑爹的事，

但是，運氣比較好的事，python的語言特性事實上也就意味著他的運行方式就是一個虛擬機，因此，事實上我們可以將整個環境進行打包創建一個自定義的虛擬環境進行環境的隔離和自定義，

要實作這種功能，常用方式的就是使用anaconda，這里，我們介紹他的迷你版本，miniconda的使用，

1. miniconda的下載與安裝

miniconda的下載其實也蠻簡單的，只要去官網下載相應版本的miniconda然后進行安裝就行了，

給出miniconda的官網鏈接如下：

• https://docs.conda.io/en/latest/miniconda.html

當然，如果太慢的話也可以從清華源當中進行miniconda的下載：

• https://mirrors.tuna.tsinghua.edu.cn/anaconda/miniconda/

2. miniconda虛擬環境的創建和洗掉

基于miniconda創建和洗掉虛擬環境事實上也就各自一行命令的事，我們直接給出其對應的命令如下：

1. 創建虛擬環境

   miniconda創建虛擬環境的命令如下，

   conda create -n name python=3.6*
   

   其中，-n欄位用于指定創建的虛擬環境的名稱，而最后的python=3.6*用于指定該虛擬環境的python版本為python3.6，

   一個典型的例子如下：

   conda create -n py3 python=3.6*
   

   當然，和大多數使用場景相一致，-n也可以使用全名--name進行替換，

2. 洗掉虛擬環境

   miniconda洗掉虛擬環境的命令如下：

   conda remove -n name
   

   例：

   conda remove -n py3
   

3. miniconda虛擬環境的使用

miniconda虛擬環境的使用方法也比較簡單，要用的時候激活環境就行了，

一些常用的命令包括：

1. 查看當前安裝的虛擬環境串列

   conda info --envs
   

2. 啟動虛擬環境

   source activate py3
   

3. 關閉虛擬環境

   source deactivate
   

不過，在4.4版本之后的miniconda當中，貌似source命令已經被conda命令進行替換了，但是本質上也沒啥差別，

2. jupyter notebook的使用

1. jupyter安裝

jupyter的安裝事實上沒啥好多說的，因為他已經被納入到了pip包當中，因此，我們可以簡單的通過pip安裝命令進行jupyter的安裝，

安裝命令如下：

pip install jupyter

2. jupyter使用

jupyter的使用如果是在本地就極其簡單，只需要呼叫下述命令即可，

jupyter notebook

電腦就會自動啟動默認瀏覽器然后進入到jupyter notebook頁面，

當然，如果不使用notebook的話也可以使用jupyter lab，他的命令大同小異，即為：

jupyter lab

但是，需要注意的是，實際在作業中，我們真實的作業環境往往是在服務器上，因此，我們事實上需要在服務器端啟動jupyter notebook，然后在本地端進行服務的呼叫，

要實作這個功能事實上也比較簡單，就和tensorboard命令一樣，指定一下外部可以訪問即可，

唯一的區別在于，tensorboard指定外部埠可以通過ip進行訪問的方式為：

tensorboard --logdir=<saved_model_path> --host=0.0.0.0 --port=6006

而jupyter notebook的相應命令為：

tensorboard notebook --ip=0.0.0.0 --port=7007

3. jupyter加載環境

在啟動了notebook之后，我們就可以創建一個jupyter notebook進行代碼寫作和實驗，但是，需要為其選擇一個環境，

因此，這里，我們還需要一個額外的步驟就是將conda創建的虛擬環境加載到notebook當中，

要實作這個功能，首先，我們需要安裝一下ipykernel，安裝命令如下：

pip install ipykernel

而后，呼叫下述命令將環境加載到jupyter當中即可，

python -m ipykernel install --user --name py3 --display-name py3

其中，--name欄位表示需要加載的虛擬環境的名稱，--display-name表示jupyter當中對應環境的顯示名稱，通常情況下，建議兩者相同，

3. 其他常用shell命令

最后，我們在來看一下一些我作業中時常用到的shell命令，扔在這里做個備忘，省的以后長時間不用給忘了，，，

當然，這部分內容就會很凌亂，算是一個備忘錄吧，大家看看也就行了😂

1. 基礎命令

1. ls/ll:查看目錄下檔案，其中ll命令建議使用ll -h；
2. vim/vi：編輯檔案；
3. top/htop：查看服務器當前行程 & 資源使用情況；
4. export：設定環境變數；
5. cp/mv/rm：復制、剪切&洗掉檔案，其中，對檔案夾操作需要加上-r指定；
6. chmod ：修改檔案權限；
7. grep：字串匹配，常用樣例pip list | grep tensor；
8. wc -l：查看檔案行數；
9. head -n 10 file：查看檔案前10行內容；
10. cd：進入檔案夾；
11. >：將螢屏中的輸出寫入到檔案當中，例如pip list > r.txt

2. 查看gpu狀態

1. nvidia-smi
2. gpu-stat

3. screen命令

1. screen -s：創建一個screen視窗；
2. screen -r：恢復screen視窗；

4. python環境相關

1. which：查看命令的完整路徑，例如which python
2. pip list show：查看當前環境中安裝的第三方庫；

5. 檔案壓縮 & 解壓

1. tar -zcvf filepath filename.tgz：檔案壓縮；
2. tar -xcvf filename.tgz：檔案解壓

4. 參考鏈接

1. miniconda安裝
2. Miniconda安裝及使用–小白上路
3. jupyter中添加conda虛擬環境
4. Linux權限詳解
5. Linux Bash Shell入門教程