將最近的作業做個記錄，方便日后學習回顧：
1.針對專案需求開發滿足任務的模型，拿到任務就要去選相應的演算法，由于是工程應用型，必須找填坑多的演算法，這樣遇到問題可參考的資料多，
2.做好以后，還要將開發的演算法進行封裝集成，要交付的是一個相對成熟的產品，所以涉及到演算法和模型的部署，而不是每個應用場景都需要像開發環境一樣去構建開發環境，
3.在本次模型的部署中遇到了各種各樣的問題，有些細小問題無法全面記錄，本次只按開發流程記錄必要步驟，
4.主要涉及環境配置、模型訓練、模型編譯、模型部署、產品測驗，
5.包含tensorRT模型加速、Triton模型推理、ubuntu18.04、GPU1080\2080\3080\3090上的不同處理、cuda、NVIDIA驅動、linux作業系統（不同設備上部署各環境要嚴格遵守官網建議、否則極易失敗……）

1.yolo模型訓練

網上有各種版本的訓練教程，自己找一個完成訓練即可，我這里所采用的是yolov5，具體訓練可參看《yolov5訓練自己的資料集（一文搞定訓練）》，

2.tensorRT模型編譯

由于我們訓練的網路模型引數較多，模型較大，且需要部署到其他機器，會導致模型加載及推理的速度降低，為了提高模型的速度，我們利用tensorRT對訓練好的模型進行優化，tensorRT是C++庫，故需要對現有模型進行轉換，github上有各種模型的tensorRT專案:tensorRT.
在build之前，要按照自己的訓練引數對應的進行修改，如yolov5.cpp中的cuda版本，class_map……，yololayer.h中的輸入影像的長寬等所有和訓練有關的引數，此外，還要在編譯之前就要完全按照你之后所用到的對應版本triton的配套環境進行配置（前后不匹配的話，就會和我一樣遇到好多問題）這里可以回頭再進行tensorRT模型的編譯（重復失敗幾次就熟悉了……），
build程序其實很容易，就看環境那些的不報錯就行，主要操作看官網的readme，即：

在yolov5中將訓練好的pt模型利用gen_wts.py轉換成.wts檔案并復制到tensorRT專案下
然后：
mkdir build
cd build
cmake …
make
sudo ./yolov5 -s

通過上面步驟就會在build檔案夾下生成yolov.engine 和libmyplugins.so，這兩個檔案后面有用！

這里是我自己的環境配置(ubuntu18.04)：

GPU1080\2080上面：
triton20.8\9
tensorRT7.1.3
NVIDIA driver 450.51
cuda11.0
opencv3.4

GPU3080\3090上面：
triton20.11
tensorRT7.2.1
NVIDIA driver 460.84
cuda11.1
opencv4.0.1

#其中在該環境下編譯可能會遇到上圖報錯，需要將yolov5.cpp檔案做修改：所有的CV_FOURCC_MACRO(‘M’, ‘P’, ‘4’, ‘V’)換為cv::VideoWriter::fourcc(‘M’,‘P’,‘4’,‘V’)

關于驅動、cuda的安裝可以參看：ubuntu18.04下cuda9.0-cudnn7.6安裝與多版本cuda共存及切換，
tensorRT下載鏈接，各版本對應的環境依賴，
opencv安裝（這個適用于部署機器，若是開發進行模型編譯時最好利用build得方式安裝opencv，這個網上可參考的案例很多，但是在有些情況下不同版本的opencv編譯的坑不同，在3080上3.4版本的我就沒編譯成功，最后換成了4.0.1，直接就成功了，具體操作自行查找）：

sudo add-apt-repository ppa:timsc/opencv-3.4
sudo apt-get update
sudo apt install libopencv-dev

如果你安裝opencv3.4.1中遇到了問題可參考：
ubuntu18.04安裝opencv3.4.3遇到問題解決方法 ubuntu18.04
安裝OpenCV3.4.1踩坑程序

3.triton-inference-server

Triton 推理服務器,提供針對 CPU 和 GPU 進行優化的云和邊緣推理解決方案，Triton 支持 HTTP/REST 和 GRPC 協議，允許遠程客戶端請求對服務器管理的任何模型進行推理，對于邊緣部署，Triton 可用作帶有 C API 的共享庫，允許將 Triton 的全部功能直接包含在應用程式中，github專案地址：https://github.com/triton-inference-server/server
關于如何triton的介紹及使用可到官方github上仔細研讀，其中強調一點就是要必須遵守官方檔案中的各版本所依賴的環境，其中若是在ubuntu18.04下使用的話、使用版本20系列，20.08，20.09可在GPU1080\2080上運行，在GPU3080\3090上沒成功：

在GPU3080\3090上使用20.11版本，
關于各版本所依賴的環境可見：support-matrix：

重點關注NVIDIA驅動、cuda、tensorRT三者的依賴關系，

具體使用教程參見：Quickstart
需要安裝docker，NVIDIA Container Toolkit，
拉取所需要的triton，

#其中 <xx.yy> 是您要拉取的 Triton 版本，
docker pull nvcr.io/nvidia/tritonserver:<xx.yy>-py3 
#例如  docker pull nvcr.io/nvidia/tritonserver:20.08-py3 

創建自己的模型庫，就是一個存放自己模型的檔案夾，其檔案存放的示例見docs/examples/model_repository 中，其中config.pbtxt檔案是模型的輸入輸出的一些引數，

啟動服務：

docker run --gpus=1 --rm -p8000:8000 -p8001:8001 -p8002:8002 -v/full/path/to/docs/examples/model_repository:/models nvcr.io/nvidia/tritonserver:<xx.yy>-py3 tritonserver --model-repository=/models

也可按照指示獲取客戶端示例，具體看官方檔案，

4.模型部署

將模型在別的機器上進行部署，所部署的機器不需要擁有模型的開發環境，只需配置模型的運行環境即可，

4.1環境安裝

4.1.1 適用于gpu1080/2080

cuda11.0-tensorRT7.1.3-opencv3.4-triton20.8 所對應的驅動大于450
這里必須先安裝cuda再裝tensorRT，且安裝方式要一致，我用的是deb安裝

對于該環境安裝起來比較簡單，直接運行腳本sh install_server_env.sh 檔案具體內容如下

#!/bin/bash
# install cuda
cd package/  #存放對應deb安裝包的檔案夾
sudo dpkg -i cuda-repo-ubuntu1804-11-0-local_11.0.3-450.51.06-1_amd64.deb
sudo apt-key add /var/cuda-repo-ubuntu1804-11-0-local/7fa2af80.pub
sudo apt-get update
sudo apt-get install cuda

# install tensorrt
sudo dpkg -i nv-tensorrt-repo-ubuntu1804-cuda11.0-trt7.1.3.4-ga-20200617_1-1_amd64.deb
sudo apt-get update
sudo apt-get install tensorrt

# install opencv
sudo add-apt-repository ppa:timsc/opencv-3.4
sudo apt-get update
sudo apt install libopencv-dev

# install docker
sudo apt-get install \
    apt-transport-https \
    ca-certificates \
    curl \
    gnupg-agent \
    software-properties-common
curl -fsSL https://download.docker.com/linux/ubuntu/gpg | sudo apt-key add -
sudo add-apt-repository \
   "deb [arch=amd64] https://download.docker.com/linux/ubuntu \
   $(lsb_release -cs) \
   stable"
sudo apt-get update
sudo apt-get install docker-ce docker-ce-cli containerd.io

sudo groupadd docker
sudo gpasswd -a ${USER} docker
sudo systemctl restart docker

sudo cp ./daemon.json /etc/docker/daemon.json
sudo systemctl daemon-reload
sudo systemctl restart docker

# install NVIDIA Container Toolkit
distribution=$(. /etc/os-release;echo $ID$VERSION_ID) \
   && curl -s -L https://nvidia.github.io/nvidia-docker/gpgkey | sudo apt-key add - \
   && curl -s -L https://nvidia.github.io/nvidia-docker/$distribution/nvidia-docker.list | sudo tee /etc/apt/sources.list.d/nvidia-docker.list
sudo apt-get update
sudo apt-get install -y nvidia-docker2
sudo systemctl restart docker

# install tritonserver
docker pull nvcr.io/nvidia/tritonserver:20.08-py3

echo "server env installed successfully!"

4.1.2 適用于GPU1080\2080\3080\3090

該環境主要是為了在30系列顯卡上進行模型的部署，所需要的環境比較新，所以有很多的坑，下面是我花了好多時間測驗出來的能夠在30系列上部署成功的方法，由于我開發是在GPU1080上進行的，如果用我自己的環境編譯出來的模型就會加載失敗：

所以得在30的卡上單獨編譯適用于30的環境，

測驗下來triton20.11支持GPU3080\3090但其依賴cuda11.1
相比上面一種傻瓜式安裝，這種安裝需要我們一步步逐步安裝，
1.升級ubuntu內核 linux kernel change to 5.9+(cuda 11.1 require)
2.卸載原有驅動及cuda，重新安裝cuda11.1+cudnn8.0.5
3.安裝tensorRT7.2.1
4.升級NVIDIA驅動（這一步必須在安裝完cuda11.1和tensorRT后進行，原因是為了滿足tensorRT安裝的依賴，我們的cuda必須和tensorRT采用相同的deb安裝方式安裝，而這種方式安裝的cuda是自帶驅動的）
5.安裝opencv4.0.1
6.剩下的與上一種腳本安裝基本一樣

1. 升級ubuntu內核
參考：Ubuntu 18.04 內核升級
按照作者教程，下載對應的deb包，下載網址https://kernel.ubuntu.com/~kernel-ppa/mainline/，升級至5.9：

sudo dpkg -i *.deb
#重啟
reboot

2.卸載原有驅動及cuda，重新安裝cuda11.1+cudnn8.0.5

sudo apt-get --purge remove nvidia*
sudo apt autoremove
sudo apt-get --purge remove "*cublas*" "cuda*"
sudo apt-get --purge remove "*nvidia*"

官網下載cuda11.1deb安裝檔案：

wget https://developer.download.nvidia.com/compute/cuda/repos/ubuntu1804/x86_64/cuda-ubuntu1804.pin
sudo mv cuda-ubuntu1804.pin /etc/apt/preferences.d/cuda-repository-pin-600
wget https://developer.download.nvidia.com/compute/cuda/11.1.0/local_installers/cuda-repo-ubuntu1804-11-1-local_11.1.0-455.23.05-1_amd64.deb
sudo dpkg -i cuda-repo-ubuntu1804-11-1-local_11.1.0-455.23.05-1_amd64.deb
sudo apt-key add /var/cuda-repo-ubuntu1804-11-1-local/7fa2af80.pub
sudo apt-get update
sudo apt-get -y install cuda

安裝cudnn8.0.5
這里若是cudnn與cuda版本不匹配或者不安裝或者安裝沒有進行鏈接，都會在tensorRT模型編譯的時候報錯：

這里建議采用deb安裝方式（tar解壓并替換檔案的方式我試了，沒成功）
參考：NVIDIA cuDNN v8 deb方法安裝和卸載教程(Linux/Ubuntu)進行安裝，
官網下載下面三個檔案：


使用如下陳述句依次安裝：

sudo dpkg -i libcudnn8_8.0.5.39-1+cuda11.1_amd64.deb
sudo dpkg -i libcudnn8-dev_8.0.5.39-1+cuda11.1_amd64.deb
sudo dpkg -i libcudnn8-samples_8.0.5.39-1+cuda11.1_amd64.deb

查看cudnn版本：

dpkg -l | grep cudnn

3.安裝tensorRT7.2.1

wget https://developer.nvidia.com/compute/machine-learning/tensorrt/secure/7.2.1/local_repos/nv-tensorrt-repo-ubuntu1804-cuda11.1-trt7.2.1.6-ga-20201007_1-1_amd64.deb
sudo dpkg -i nv-tensorrt-repo-ubuntu1804-cuda11.1-trt7.2.1.6-ga-20201007_1-1_amd64.deb
sudo apt-get update
sudo apt-get install tensorrt

4.升級NVIDIA驅動

參考網上安裝驅動教程，需要禁用源，然后下載最新的nvidia驅動檔案：

sudo sh NVIDIA-Linux-x86_64-460.84.run

5.opencv4.0.1安裝
參考：Linux下安裝OpenCV4（適用于Ubuntu等）
官網下載安裝包，并解壓，
在解壓的檔案夾里新建一個檔案夾用來編譯OpenCV：

cd opencv-4.0.1
mkdir release
cd release
cmake -DCMAKE_BUILD_TYPE=Release -DOPENCV_GENERATE_PKGCONFIG=ON -DCMAKE_INSTALL_PREFIX=/usr/local ..
make -j7
sudo make install
cd /etc/ld.so.conf.d/
sudo touch opencv4.conf
sudo sh -c 'echo "/usr/local/lib" > opencv4.conf'
sudo ldconfig

6.其余環境安裝，直接用上一節中的腳本將triton換為20.11安裝即可

運行腳本sh install_server_env.sh其具體內容如下：

# install docker
sudo apt-get install \
    apt-transport-https \
    ca-certificates \
    curl \
    gnupg-agent \
    software-properties-common
curl -fsSL https://download.docker.com/linux/ubuntu/gpg | sudo apt-key add -
sudo add-apt-repository \
   "deb [arch=amd64] https://download.docker.com/linux/ubuntu \
   $(lsb_release -cs) \
   stable"
sudo apt-get update
sudo apt-get install docker-ce docker-ce-cli containerd.io

sudo groupadd docker
sudo gpasswd -a ${USER} docker
sudo systemctl restart docker

sudo cp ./daemon.json /etc/docker/daemon.json
sudo systemctl daemon-reload
sudo systemctl restart docker

# install NVIDIA Container Toolkit
distribution=$(. /etc/os-release;echo $ID$VERSION_ID) \
   && curl -s -L https://nvidia.github.io/nvidia-docker/gpgkey | sudo apt-key add - \
   && curl -s -L https://nvidia.github.io/nvidia-docker/$distribution/nvidia-docker.list | sudo tee /etc/apt/sources.list.d/nvidia-docker.list
sudo apt-get update
sudo apt-get install -y nvidia-docker2
sudo systemctl restart docker

# install tritonserver
docker pull nvcr.io/nvidia/tritonserver:20.11-py3

echo "server env installed successfully!"

至此就完成了所有環境在GPU3080上的安裝，我們要用該環境編譯使用于30的模型，故在這之后重新build
tensorRT模型（見第二節），這里說下編譯好的模型如何建立triton模型庫，編譯將生成的yolov5.engin改名為model.plan，另外還有生成的libmyplugins.so檔案，按照下面tree放置：

其中config.pbtxt檔案：

4.2啟動triton服務

sh run_triton_model.sh啟動，檔案內容如下（其中在30系列上是tritonserver:20.11，20.08啟動一樣，改個版本換個模型即可）：

#!/bin/bash
docker run --gpus all \    
	--rm --shm-size=1g \    
	--ipc=host --ulimit memlock=-1 \    
	--ulimit stack=67108864 -p8000:8000 -p8001:8001 -p8002:8002 \    
	-v$(pwd)/triton_deploy/models:/models \    
	-v$(pwd)/triton_deploy/plugins:/plugins \    
	--env LD_PRELOAD=/plugins/libmyplugins.so nvcr.io/nvidia/tritonserver:20.11-py3 tritonserver \    
	--model-repository=/models \    
	--grpc-infer-allocation-pool-size=16 --log-verbose 1

4.3啟動封裝好的客戶端界面

部署后的檢測幀率在每秒50幀左右：

5總結

本來在1080\2080直接就部署成功的，但是在部署3080設備時遇到了很多不兼容的問題，經過不斷的嘗試終于一步步走了下去，真的是每進行一步都有各種大大小小的問題，在解決問題中有的直接就可以找到處理方法，但是有的網上搜不到，只能自己嘗試解決，這個程序相當痛苦，前前后后搞了將近一周，熬夜加班，有時候也想放棄，但是回頭來看，總結幾點吧，官方檔案一定要仔細看，多參考別人躺過的坑，還有就是心態不能亂！