TensorRT工作流程

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-kqws7AXJ-1624787886267)(1-1 TensorRT精华总结.assets/image-20210625122719532.png)]

1、转换和部署模型5个基本步骤

step1：获取模型

step2：选择batchsize

step3：选择精度

step4：模型转换

step5：模型部署

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-rFvf7Qh2-1624787886269)(1-1 TensorRT精华总结.assets/image-20210622144024833.png)]

2、转换模型的3个主要选择

使用TF-TRT

易于使用，可以避免自己写插件层，未达到最佳效率,TF-TRT 通常比直接使用 ONNX 或 C++ API 慢

使用trtexec转换 ONNX

最高效，使用trtexec，不支持的层要自己写插件层

使用TensorRT网络定义 API

用C++ API 或 Python API 手动构建网络具有最佳性能和可定制性

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-osDwIpRS-1624787886271)(1-1 TensorRT精华总结.assets/image-20210613130036232.png)]

3、部署模型的3个主要选择

使用Tensorflow部署

TF-TRT 通常比直接使用 ONNX 或 C++ API 慢

使用独立的 TensorRT 运行时 API

C++ API 通常是运行 TensorRT 引擎的性能最高的选项，开销最少

Python API您可以接受一些性能开销，主要好处是数据预处理和后处理 易于使用，因为您可以使用各种库，如 NumPy 和 SciPy。

使用 NVIDIA Triton 推理服务器

您想通过 HTTP 或 gRPC 为您的模型提供服务

4、选择合适的工作流程

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-NfdytjAg-1624787886272)(1-1 TensorRT精华总结.assets/image-20210621161717919.png)]

# 深度学习 # 神经网络 # pytorch # tensorflow # caffe
Logo
CSDN学习社区

CSDN联合极客时间，共同打造面向开发者的精品内容学习社区，助力成长！

更多推荐

嵌入式作业（七）：基于Ardunio的STM32串口通信

嵌入式作业（七）0作业要求1Ardunio 完成STM32的串口通信（1）安装Ardunio IDE（2）stm32串口通信2关于 stduino IDE0作业要求安装 Ardunio IDE 和相关软件支持库，在Ardunio 完成STM32板子的串口通信程序：（1）持续向串口输出“Hello world！”；（2）当接收到“stop!”时，停止输出。网上有一个国人版的MCU集成开发平台， st

avatar CSDN学习社区

JDBC详解

JDBC文章目录JDBC什么是JDBC?JDBC驱动程序:Java使用JDBC访问数据库的步骤:设置classpath:Oracle连接字符串的书写格式:简单的例子:常用数据库的驱动程序及JDBC URL:Oracle数据库:SQL Server数据库MySQL数据库Access数据库PreparedStatement接口:JNDI-数据源（Data Source）与连接池（Connection

avatar CSDN学习社区

“模式识别与机器学习”学习笔记no2.再谈感知机

接**上篇：上篇主要进行了PLA，Pocket算法的理论过程分析和在给定数据集上利用pocket算法对数据集进行分类学习，得到错分数量最少的分类面。上篇中pocket算法的过程已经进行了编程和测试，框架已经建立了起来，这一篇主要上篇中没有提到或涉及不深的几个问题。1.数据集的构造。上篇是直接使用了题目给的向量，这次来根据正态分布来产生数据集。np.random.normal函数可以根据均值和方差生

avatar CSDN学习社区