diff --git a/deploy/EXPORT_ONNX_MODEL.md b/deploy/EXPORT_ONNX_MODEL.md index e1f4027833973a9c37fb9f144e77beeead3acb41..8c756c88c710bbe217cc97b588d7f4b74e87fd41 100644 --- a/deploy/EXPORT_ONNX_MODEL.md +++ b/deploy/EXPORT_ONNX_MODEL.md @@ -110,3 +110,13 @@ python deploy/third_engine/onnx/infer.py --onnx_file faster_rcnn.onnx \ --image_file demo/000000014439.jpg ``` + +## TensorRT部署优化策略 + +Paddle2ONNX已经支持导出TensorRT DynamicBatchNMS插件。开发者在导出类似PPYOLOE+、PPYOLOE、PicoDet等模型,Paddle2ONNX会自动将其中的NMS转成DynamicBatchNMS,从而实现GPU的后处理,大幅提升端到端的部署性能。 + +导出过程需要注意以下几点: +- 1. 导出检测模型时,不要去除最后的NMS操作,不要添加--trt等参数,以确保NMS为模型的最后一个OP +- 2. Paddle2ONNX版本高于或等于1.0.2,转换时添加参数`--deploy_backend tensorrt` + +此方式导出的模型支持批量预测。