TensorRT是一個高性能的深度學習推理優(yōu)化器，可以為深度學習應用提供低延遲、高吞吐率的部署推理。TensorRT可用于對超大規(guī)模數(shù)據中心、嵌入式平臺或自動駕駛平臺進行推理加速。TensorRT現(xiàn)在已能支持TensorFlow、Caffe、Mxnet、Pytorch等幾乎所有的深度學習框架，將TensorRT和NVIDIA的GPU結合起來，能在幾乎所有的框架中進行快速和高效的部署推理。目前的TensorRT庫支持C ++或者Python API部署。

為什么對推理過程進行優(yōu)化

深度學習模型一般分為訓練（training）和 推理（inference）兩個部分：

1. 訓練：?訓練包含了前向傳播和后向傳播兩個階段，針對的是訓練集。訓練時通過誤差反向傳播來不斷修改網絡權值。

2. 推理：?推理只包含前向傳播一個階段，針對的是除了訓練集之外的新數(shù)據?？梢允菧y試集，但不完全是，更多的是整個數(shù)據集之外的數(shù)據。其實就是針對新數(shù)據進行預測，預測時，速度是一個很重要的因素。