最近在Linux服務器上配置專案,專案需要使用GPU版本的pytorch和TensorFlow,而且該專案內會同時使用TensorFlow的GPU和CPU,
在服務器上裝環境,如果重新開始,就需要下載很多依賴包,而且如果直接在系統上安裝包,可能會和服務器上的其他包發生沖突,因此使用Anaconda創建虛擬環境來管理專案的依賴包,Anaconda的安裝可以去清華大學的鏡像下載,速度比較快,選擇對應的版本就可以了 https://mirrors.tuna.tsinghua.edu.cn/anaconda/archive/ ,我需要下載python3.6對應的Anaconda可以對照下面這張圖片來查看,選擇Anaconda3-5.2.0版本就可以了,(但是其實我下載成了anaconda2,不過并不影響后續使用)
Anaconda下載之后會在~/.bashrc中添加一潭訓境變數,如果首次運行conda命令找不到,就source ~/.bashrc,
配置好Anaconda后,如果要創建虛擬環境,重新下載包也需要很麻煩的操作,而且需要對照以前的專案進行一一下載,這太撈了,我們考慮直接將本地專案的anaconda環境打包好上傳到服務器上,就可以使用本地的虛擬環境了,具體做法是,首先到本地的Anaconda環境目錄下,我的是/home/timber/anaconda2/envs ,這個目錄下就是用戶創建的anaconda環境,直接打包
tar -cvf name.tar your_env_name/
然后將這個檔案用scp上傳到服務器下的(anaconda2_dir)/envs下,
scp name.tar remote_username@remote_ip:anaconda_dir/envs
接著在服務器的anaconda的envs目錄下解壓name.tar
tar -xvf name.tar
環境就移植到服務器上了,可以在服務器上通過conda env list檢驗是否有我們剛移植的環境,
本地安裝的環境是cpu版本的pytorch和TensorFlow,首先將pytorch卸載
conda activate project #激活環境 conda uninstall pytorch
然后去清華大學的鏡像下下載pytorch(因為官方下載超級慢),需要首先配置清華大學鏡像,
依次運行以下命令
conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/free/ conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/main/ conda config --set show_channel_urls yes conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud/pytorch/
上面三條是配置清華鏡像源,下面一條是配置pytorch源,然后去到官網,選擇你對應的pytorch版本,找到下載命令,比如,最新版本的Pytorch在cuda10下面的官方下載命令是
conda install pytorch torchvision cudatoolkit=10.1 -c pytorch
但是,不要用這條命令,由于添加了鏡像源,我們去掉上面命令的-c pytorch,運行
conda install pytorch torchvision cudatoolkit=10.1
就可以用清華鏡像下載了,如果要下載歷史版本的pytorch,以1.0為例,就用
conda install pytorch==1.0 torchvision cudatoolkit=10.1 -c pytorch
安裝好之后,torchvision不一定能配套使用,因為Torch已經更換了,所以可能會存在版本不一致的問題,卸載torchvision,然后下載對應版本的torchvision,
出現的第一個問題是torchvision下沒有totensor,重裝0.2.0的torchvision,
第二個問題是This application failed to start because it could not faind or load the Qt platform plugin "xcb" in "".
Reinstalling the application may fix the problem.這個提示告訴我們在Qt平臺插件中找不到XCB,提示我們重裝,那我們就重裝唄,重裝pyqt
conda uninstall pyqt conda uninstall qt conda install pyqt
我的專案使用了GPU版本的Tensorflow,需要裝GPU版本的TensorFlow,
這里還有個問題是,人臉識別和車輛檢測都使用了TensorFlow,一個是CPU版本,一個是GPU版本,會有沖突嗎,TensorFlow的GPU版本是可以跑cpu的,所以先把之前的TensorFlow卸載掉,下載了GPU版本的
conda install tensorflow-gpu==1.12.0
但是這里同時下載了cuda的9.0的toolkit,之前下載torch的時候使用了cuda10的toolkit,不知道會怎么樣,測驗之后發現沒有沖突,
現在在這個專案下,有一個GPU的版本,有一個cpu的版本,同時也有兩套對應的anaconda環境與之對應,當執行GPU版本時,需要切換到anaconda的GPU環境,這種切換可以是在命令列中
conda activate gpu
也可以是在pycharm中進行project intepreter設定,選中anaconda/envs/project/bin/python3.6,就是選中了該環境,
至此,還剩最后一個問題,GPU版本的TensorFlow是默認使用gpu版本,但是GPU版本的專案有一塊是需要使用cpu版本的tensorflow的,那么應該如何設定?
轉載請註明出處,本文鏈接:https://www.uj5u.com/caozuo/141628.html
標籤:Linux
上一篇:LAMP環境搭建+配置虛擬域名
下一篇:1) nginx編譯安裝
