完成時間：2022 年 2 月 24 日
最后修改：---
為什么要寫這篇博客（此部分可以跳過）
因為一些原因，要用到 TensorRT 對訓練好的模型進行推理加速，官網的檔案全英文看得累啊，想找找現成的中文檔案看看，搜了一圈，要么安裝的版本都太老了，要么直接上來就一頓操作猛如虎，也不說為什么要這么做，寫的也不是很全，安裝程序中我也碰到了各種奇奇怪怪的坑，我已經掉進去了一次，坑里有我一個就夠了 -_-|||
因為主要用的是 Python，所以這里是在 Ubuntu 20.04 LTS 上的 Anaconda 虛擬環境里安裝 TensorRT 的 Python API，如果有時間，還是推薦直接看一手的官方檔案
什么是 TensorRT
TensorRT 是英偉達推出的一個工具，可以用來加速網路模型的推理，一般的使用程序是從 TensorFlow 或 Pytorch 等的模型，轉換為 ONNX 格式的模型，再生成 TensorRT 的模型，ONNX 是微軟聯合 Facebook 開發的一種通用的模型格式，可以作為中間的橋梁，讓其他的深度學習框架也能讀取我們已經訓練好的模型，
安裝的環境
TensorRT 官網介紹了許多種安裝方式，Windows 下用的是 zip 包的方式，linux 下就有很多種了，可以使用 tar 包安裝，這種方式可以多版本共存，這里使用的是 pip wheel 的安裝方式，目前只支持 linux 系統，Ubuntu 系統還可以使用 deb 包的方式安裝，但只能同時安裝一個版本，不同版本間不能共存，這種方式也有一堆的坑 → _→
作業系統是 Ubuntu 20.04 LTS，安裝的 TensorRT 版本是 8.2，TensorRT 支持 Python API 和 C++ API，使用 deb 或 tar 包的方式兩種 API 介面都會被包括，
必要的組件
首先，最重要的是要有一塊英偉達的顯卡，而且正確的安裝了驅動，沒驅動和沒顯卡貌似在 TensorRT 看來都是一樣的，安裝時會提示找不到合適的版本，因為是在 Anaconda 的虛擬環境中安裝，這里我們不需要在系統上安裝 CUDA，conda 會自動在虛擬環境中安裝一個 CUDA 包，這個包只是完整 CUDA 庫的一個子集，
Ubuntu 下安裝英偉達的顯卡驅動很方便，直接打開一個芯片圖案的程式 Additional Drivers，在里面把開源驅動切換成英偉達的驅動就好了，舊版本的 Ubuntu 需要重啟，似乎是要給內核里寫點東西，可以根據說明操作，
開始安裝
目前 pip wheel 的方式只支持 Python 3.6 - 3.9，CUDA 11.x，因為我們不是在系統的 Python 里安裝，CUDA 版本暫時不用管，安裝前需要先確認 setuptools 和 pip 已經安裝，可以用 conda 的 list 命令列出特定的包：
1 conda list -f pip
2 conda list -f setuptools
官方檔案上是先使用命令 python3 -m pip install --upgrade setuptools pip 升級它們，但有時候可能升級失敗，導致 pip 先被卸載，但新版本沒能安裝成功，后面使用 pip 時就會提示 "pip-script.py is not present"，這個時候要重新安裝 pip，可以使用 easy_install 或 conda 命令安裝：
1 easy_install pip
之后需要安裝 nvidia-pyindex 包，這其實是一個 pip 源，用來連接英偉達的服務器下載我們需要的各種包，所以如果安裝的時候，pip 下載很慢也只能等著，只能從英偉達的服務器下載，pip 換源也沒用，安裝 nvidia-pyindex 包用下面這條命令：
1 pip install nvidia-pyindex
安裝裝好之后，就可以開始安裝 TensorRT 了，使用下面的命令：
1 pip install --upgrade nvidia-tensorrt
這條命令會安裝或者更新已有的 TensorRT，同時會自動下載安裝 CUDA 和 cuDNN，它們是 TensorRT 的依賴包，因為安裝的時候沒有指定版本號，這里默認都會安裝最新的版本，CUDA 的版本可能比我們實際支持的版本更高，在終端輸入 nvidia-smi 可以查看顯卡狀態，上面會顯示支持的 CUDA 版本，使用 deb 方式安裝時，要在系統里安裝 CUDA，要和這里的版本號一致，安裝在虛擬環境里時就不需要了，
安裝的時候如果出現下面的錯誤資訊，說明沒用被正確的安裝，除了可能是 Python 版本不對外，也有可能是驅動沒裝上
1 This package can be installed as:
2 ```
3 $ pip install nvidia-pyindex
4 $ pip install nvidia-tensorrt
5 ```
裝好后，可以測驗一下：
1 python3
2 >>> import tensorrt
3 >>> print(tensorrt.__version__)
4 >>> assert tensorrt.Builder(tensorrt.Logger())
如果安裝正確，print() 函式會列印出 TensorRT 的版本，后面的 assert 命令不會有任何輸出，
總結
使用 pip wheel 安裝 TensorRT 算是最簡單的一種方式了，目前只支持 linux 系統和 Python 3.6 - 3.9 的版本，只需要正確的安裝了顯卡驅動程式就可以，其他的依賴包都會自動安裝，英偉達官方提供了許多的例子，如果需要運行它們，還要安裝 onnx 或 pycuda 等組件，因為虛擬環境里的 CUDA 可能不是完整的包，不支持 nvcc，就需要在系統里安裝完整的 CUDA，并且要求 pycuda 在它之后再安裝，不然 pycuda 無法找到 CUDA API，
轉載請註明出處，本文鏈接：https://www.uj5u.com/qita/431420.html
標籤：其他