Ubuntu20.04+cuda11.1+yolo3 目標檢測 深度學習系統 真正從0搭建 包含各種可能遇到的錯誤

本篇文章包含內容較多，請參照目錄瀏覽,在每一部分結束或,有該部分可能遇到的問題

0、開始本教程前請先備份電腦中的重要檔案！！！！

1、Ubuntu20.04 搭建

更詳細的內容請參照該博客：https://www.cnblogs.com/masbay/p/10745170.html

我的電腦為UEFI新式bios+雙硬碟（SSD固態硬碟+機械硬碟）模式，其他情況請參照上述博客

1.1 為Ubuntu準備空間

1.1.1 在 WIN10系統下創建空白磁盤磁區

1.1.1.1 回到桌面，滑鼠右鍵點擊此電腦，選擇管理，結果如下:

1.1.1.2 進入然后選擇磁盤管理，結果如下：

1.1.1.3 選擇主磁區，一般是最大的磁區，右鍵，點擊“壓縮”，壓縮出500M即可

壓縮完得到大小500M的可用空間，記住你設定的大小，這里是500M

1.1.2 準備一塊Ubuntu系統的主空間

上面的500M 相當于C盤，我們給500M即可，接下來我們要為系統準備主空間，將一塊硬碟磁區直接當作空間，在安裝時格式化，也可以使用 DiskGenius 重新劃分磁區，W

下載地址：https://www.diskgenius.cn/download.php

1.2、制作Ubuntu的U盤安裝檔案

1.2.1 下載安裝并打開軟碟通，插上 U 盤，并且最好備份你的 U 盤，因為之后需要格式化

下載地址 https://cn.ultraiso.net/xiazai.html

1.2. 2 進入軟碟通，進行如下操作 選擇檔案，并且打開你下載的 ubuntu 所在的目錄，選擇 unbuntu 鏡像

1.2.3 在軟碟通界面選單欄選擇啟動，選擇寫入硬碟映像，如圖所示:

1.2.4 檢查以下內容：

• 看你的硬碟驅動器是否對應的是你的 U 盤（必須是） ，一般默認是
• 看映像檔案是否對應你的 ubuntu 鏡像
• 如果上述均沒有錯誤，選擇格式化，之后就會格式化你的 U 盤
• 在 U 盤格式化完畢之后，選擇寫入，之后就是慢慢等待了，等待寫入完畢

1.3 U盤安裝系統

1.3.1 確認自己電腦主板bios怎么進入,我的是聯想筆記本,開機時按F12即可,其他筆記本可參考下圖(如果連bios都不會進,那本篇教程可能不適合你,先學學基礎知識吧)

1.3.2 進入bios這里要干兩件事情,都非常重要!

1.3.2.1 關閉在boot manager里關secure boot!（有些secure boot在另外的位置，自己找找）

如果不關可能導致顯卡驅動安裝出現問題

1.3.2.2 設定計算機啟動順序,選擇usb啟動,然后重啟

1.3.3 進入Ubuntu安裝系統,選擇中文,接下來都是一些常見的設定,根據自己情況設定,直到遇見"安裝型別"選項

可以選擇不聯網,節約安裝時間,在安裝中途聯網也是可以跳過的

1.3.3 在安裝型別這里選擇"其他型別"!!非常重要!!可能界面有所區別,但內容不會差很多

1.3.4 進行手動磁區,還記得我們整理出來的安裝系統的500M嗎?選擇它,并在掛載點中選擇/boot 如果遇到無法選擇的情況,在左下角有+和-,可以重新劃分

1.3.5 在 我們預留的主磁區中,選擇掛載點 / 如果遇到無法選擇的情況,在左下角有+和-,可以重新劃分

1.3.6 接下來就選擇開始安裝了,按你需要設定，也可以直接繼續，不影響,最后是設定系統用戶，自己設定輸入就可以了

1.3.7 接下來等待安裝完成即可,安裝完成應當如圖

1.3.8 重啟電腦,開機時會進入grub,windows boot manager 為原來的windows系統,選擇相應的系統即可

1.4 可能遇到的問題

1.4.1 DiskGenius重新劃分磁區時遇到"$Bitmap 有標記已使用的未用簇"

解決辦法 使用管理員運行cmd,在命令列中輸入“chkdsk /f /x c:”,最后的c:替換為需要檢查的盤符,
如遇到"已被占用,不能卸載",則會提示在開機是進行檢查,確定并重啟即可

1.4.2 windows boot manager 無法進入系統,進入后來到哦系統恢復界面,且點擊"繼續啟動windows"回圈這一程序.

這里的情況比較復雜,但很可能是windows的引導程式出現問題.
可以嘗試以下方法:

1. 制作windows的啟動盤.這里可以試試老毛桃,傻瓜式安裝,而且后面的引導修復工具也可以用到.下載完整版https://www.laomaotao.net/
2. 與1.3.1 方法相同,進入win pe
3. 可以使用老毛桃的引導區一鍵修復

2.安裝NVIDIA 驅動

這里采用的是分開安裝驅動和cuda的方式,首先確定自己顯卡的型號和支持的cuda版本!!
可以參考 https://jingyan.baidu.com/article/6fb756ec4fabc4241858fbf7.html
沒有NVIDIA控制面板就去在windows下安裝驅動

2.1 從官網下載驅動.run 檔案

https://www.nvidia.com/Download/index.aspx?lang=cn

2.2 打開終端輸入以下命令洗掉舊驅動

sudo apt-get purge nvidia*

2.3 禁用nouveau

2.3.1 首先利用命令列打開blacklist.conf,在檔案末端加入內容

sudo gedit /etc/modprobe.d/blacklist.conf

2.3.2 在檔案末端加入以下內容

blacklist nouveau
options nouveau modeset=0

2.3.3 然后更新

 sudo update-initramfs -u

2.3.4 最后重啟

終端下輸入命令 lsmod | grep nouveau 查看是否被禁用,沒有任何輸出說明禁用成功

2.4 安裝相關依賴

sudo apt-get install libprotobuf-dev libleveldb-dev libsnappy-dev libopencv-dev libhdf5-serial-dev protobuf-compiler
sudo apt-get install --no-install-recommends libboost-all-dev
sudo apt-get install libopenblas-dev liblapack-dev libatlas-base-dev
sudo apt-get install libgflags-dev libgoogle-glog-dev liblmdb-dev

2.5 禁用圖形界面

使用
crtl+alt+f1~f6 打開tty界面,輸入用戶名密碼登錄
使用

sudo service lightdm stop

禁用圖形界面，

2.6 賦予.run檔案執行權

sudo chmod 775 ****.run

2.7 運行安裝檔案,基本上一路OK就好,注意不要安裝opengl相關

sudo sh ./NVIDIA-Linux-***.run --no-opengl-files

2.8 掛在驅動

modprobe nvidia

2.9 安裝完成，驗證

sudo nvidia-smi

出現以下樣子說明安裝成功

2.10 可能遇到的問題

2.10.1 提示注冊secure boot相關

退出安裝,進入bios,關閉secure boot,具體可以參見1.3.2.1

3 安裝cuda11.1

3.1 首先確認自己顯卡支持的cuda版本并下載

cuda下載地址: https://developer.nvidia.com/zh-cn/cuda-downloads

3.2 運行.run檔案

sudo sh cuda_9.0.176_384.81_linux.run

3.3 有些會讓你輸入accept 有些是選擇yes,基本一路統一就好

3.4設定環境變數

3.4.1打開.bashrc檔案

vim .bashrc

3.4.2 文末添加如下

export LD_LIBRARY_PATH=$LD_LIBRARY_PATH:/usr/local/cuda-9.0/lib64
export PATH=$PATH:/usr/local/cuda-9.0/bin
export CUDA_HOME=$CUDA_HOME:/usr/local/cuda-9.0

3.4.3退出vim重繪環境變數

source ~/.bashrc

3.5 驗證安裝

輸入

nvcc --version

如果出現下圖說明安裝成功了

4 安裝cudnn

cudnn的安裝非常簡單

4.1 下載安裝檔案

按需求下載cudnn的安裝檔案：https://developer.nvidia.com/rdp/cudnn-archive

4.2 解壓縮,可以看到名為cuda 的檔案夾,在當前目錄打開終端，執行如下命令

sudo cp cuda/include/cudnn.h /usr/local/cuda/include/
 
sudo cp cuda/lib64/libcudnn* /usr/local/cuda/lib64/
 
sudo chmod a+r /usr/local/cuda/include/cudnn.h
 
sudo chmod a+r /usr/local/cuda/lib64/libcudnn*

4.3 驗證安裝,在終端輸入

cat /usr/local/cuda/include/cudnn.h | grep CUDNN_MAJOR -A 2

如看到下圖說明安裝成功

5安裝opencv

5.1 安裝cmake

sudo apt-get install cmake

5.2 安裝依賴環境

sudo apt-get install build-essential libgtk2.0-dev libavcodec-dev libavformat-dev libjpeg-dev libswscale-dev libtiff5-dev
sudo apt-get install libgtk2.0-dev
sudo apt-get install pkg-config

5.3 下載自己需要的opencv版本

我是Ubuntu20.04+NVIDIA drive 460.39+cuda11.1,在安裝opencv-2.4.11時遇到了嚴重的問題！！無法解決，通過重新安裝opencv-3.4.13解決了，無特殊版本需求的話可以先考慮opencv-3.4.13，

下載地址：https://opencv.org/releases/
點擊Sources進行下載自己需要的版本

5.4 解壓檔案并進入檔案夾

5.5 進入檔案夾后新建名為build的檔案夾并進入

mkdir build
cd build

5.6 cmake(這一步可能會遇到很多問題,見這一部分后面的常見問題)

sudo cmake -D CMAKE_BUILD_TYPE=Release -D CMAKE_INSTALL_PREFIX=/usr/local..

5.7 進行編譯,需要的時間會比較長,可以使用多執行緒

sudo make -j8

5.8 進行安裝

sudo make install

5.9 配置環境

gedit打開/etc/ld.so.conf

sudo gedit /etc/ld.so.conf

gedit打開/etc/ld.so.conf執行此命令后打開的可能是一個空白的檔案，不用管，只需要在檔案末尾添加

/usr/local/lib  

gedit打開/etc/ld.so.conf

sudo ldconfig  

配置bash

sudo gedit /etc/bash.bashrc  

在最末尾添加

PKG_CONFIG_PATH=$PKG_CONFIG_PATH:/usr/local/lib/pkgconfig  
export PKG_CONFIG_PATH  

保存，執行如下命令使得配置生效

source /etc/bash.bashrc  

更新

sudo updatedb  

5.10驗證安裝

cd到opencv-3.4.1/samples/cpp/example_cmake目錄下,順序執行以下命令

cmake .
make
./opencv_example

即可看到打開了攝像頭，在左上角有一個hello opencv ，即表示配置成功，

5.11 可能遇到的問題

在安裝opencv-2.4.11遇到了以下問題,解決后依舊不能正確安裝,版本更換至opencv-3.4.13后不再有任何問題

5.11.1 sys/videoio.h not found

到在usr/include中執行下面命令

sudo mkdir sys

在sys檔案夾中添加網上找的videoio.h，或者直接新建一個videoio.h檔案，內容可以為空，即可解決

5.11.2 linux/videodev.h not found

sudo ln -s /usr/include/libv4l1-videodev.h /usr/include/linux/videodev.h

5.11.3 ffmpeg/avformat.h not found

sudo ln -s /usr/local/include/libavformat ffmpeg

6 安裝darknet

6.1 下載darknet

git clone https://github.com/pjreddie/darknet     下載代碼

6.2 下載yolo3組態檔

wget https://pjreddie.com/media/files/yolov3.weights

6.3 進入到下載下來的darknet檔案夾下，打開Makefile，對如下幾個地方進行修改

這里的ARCH= -gencode arch=compute_61,code=[sm_61,compute_61]根據自己的GPU型號的計算能力進行設定，可以通過下面鏈接查找GPU的計算能力，GTX1080Ti的計算能力是6.1，所以設定為61，其他型號的對照修改吧，
https://developer.nvidia.com/cuda-gpus

6.5 編譯

make -j8

6.6 檢驗,在darknet目錄下打開終端，輸入

./darknet detect cfg/yolov3.cfg yolov3.weights data/dog.jpg

出現下圖說明成功