TensorRT 安裝教程
〇、準(zhǔn)備工作
安裝教程主要針對 Linux (Ubuntu 20.04)
在安裝前首先需要保證 CUDA 已安裝(查看往期教程)
一、使用 docker 鏡像(推薦)
tensorrt 鏡像
二、TensorRT 官方文檔安裝教程
以下安裝分別對應(yīng)官方文檔
4.1. Debian Installation(推薦)
下載
nv-tensorrt-repo-ubuntu2004-cuda11.6-trt8.4.1.5-ga-20220604_1-1_amd64.deb
sudo?apt-get?update
sudo?apt-get?install?tensorrt?#?官方教程下載了對應(yīng)版本,也會根據(jù)這個命令安裝最新版本
apt?install?./nv-tensorrt-repo-ubuntu2004-cuda11.6-trt8.4.1.5-ga-20220604_1-1_amd64.deb
由于官方教程下載了對應(yīng)版本,也會根據(jù)這個命令安裝最新版本
嘗試以下方法安裝指定版本
apt-get?install?libnvinfer8=8.4.1-1+cuda11.6?-y
apt-get?install?libnvinfer-plugin8=8.4.1-1+cuda11.6
apt-get?install?libnvparsers8=8.4.1-1+cuda11.6
apt-get?install?libnvonnxparsers8=8.4.1-1+cuda11.6
apt-get?install?libnvinfer-bin=8.4.1-1+cuda11.6
apt-get?install?libnvinfer-dev=8.4.1-1+cuda11.6
apt-get?install?libnvinfer-plugin-dev=8.4.1-1+cuda11.6
apt-get?install?libnvparsers-dev=8.4.1-1+cuda11.6
apt-get?install?libnvonnxparsers-dev=8.4.1-1+cuda11.6
apt-get?install?tensorrt-dev=8.4.1.5-1+cuda11.6
#?安裝完成可通過以下命令檢測
dpkg?-l?|?grep?TensorRT
#?安裝完成后便可運(yùn)行命令行工具
/usr/src/tensorrt/bin/trtexec
4.5. pip Wheel File Installation
https://pypi.org/project/nvidia-tensorrt/
pip?install?nvidia-tensorrt
只支持 python 接口,目前只有 8.4.1.5版本
4.6. Tar File Installation
下載
TensorRT-8.4.1.5.Linux.x86_64-gnu.cuda-10.2.cudnn8.4.tar.gz
解壓
配環(huán)境變量
預(yù)先編譯好的版本,需要環(huán)境匹配
4.7. Zip File Installation
同上,windows 使用