From a5997590548597ec6809b18f452e8547bfcfc556 Mon Sep 17 00:00:00 2001
From: Jason <jiangjiajun@baidu.com>
Date: Thu, 10 Nov 2022 15:07:05 +0800
Subject: [PATCH] Export ONNX with TensorRT BatchNMS plugin enabled

---
 deploy/EXPORT_ONNX_MODEL.md | 10 ++++++++++
 1 file changed, 10 insertions(+)

diff --git a/deploy/EXPORT_ONNX_MODEL.md b/deploy/EXPORT_ONNX_MODEL.md
index e1f402783..8c756c88c 100644
--- a/deploy/EXPORT_ONNX_MODEL.md
+++ b/deploy/EXPORT_ONNX_MODEL.md
@@ -110,3 +110,13 @@ python deploy/third_engine/onnx/infer.py
             --onnx_file faster_rcnn.onnx \
             --image_file demo/000000014439.jpg
 ```
+
+## TensorRT部署优化策略
+
+Paddle2ONNX已经支持导出TensorRT DynamicBatchNMS插件。开发者在导出类似PPYOLOE+、PPYOLOE、PicoDet等模型，Paddle2ONNX会自动将其中的NMS转成DynamicBatchNMS，从而实现GPU的后处理，大幅提升端到端的部署性能。
+
+导出过程需要注意以下几点：
+- 1. 导出检测模型时，不要去除最后的NMS操作，不要添加--trt等参数，以确保NMS为模型的最后一个OP
+- 2. Paddle2ONNX版本高于或等于1.0.2，转换时添加参数`--deploy_backend tensorrt`
+
+此方式导出的模型支持批量预测。
-- 
GitLab