自動(dòng)駕駛之心cuda與TEnsorRT部署實(shí)戰(zhàn)課程
TensorRT包括 推理優(yōu)化(inference optimization) 和 runtime 兩部分,類似于 MicroSoft 提出的?ONNX Runtime
,但?ONNX Runtime
?一般只能接收?ONNX
?格式的模型,而TensorRT可以接受包括ONNX
,Pytorch
,?Tensorflow
等基本上所有框架的模型

TensorRT在對(duì)模型優(yōu)化時(shí)主要進(jìn)行了5個(gè)調(diào)整:

1. Layer and tensor fusion

標(biāo)簽: