未验证 提交 adc3a3bd 编写于 作者: S Sing_chan 提交者: GitHub

add deploy and infer (#5481)

* add deploy and infer

* modify according to comment
上级 7b5ce481
......@@ -172,7 +172,51 @@ python tools/predict.py --pretrained=./mobilenet_v3_small_pretrained.pdparams --
## 3. 模型推理部署
coming soon!
Paddle Inference 是飞桨的原生推理库, 作用于服务器端和云端,提供高性能的推理能力。相比于直接基于预训练模型进行预测,Paddle Inference可使用MKLDNN、CUDNN、TensorRT进行预测加速,从而实现更优的推理性能。
更多关于Paddle Inference推理引擎的介绍,可以参考[Paddle Inference官网教程](https://www.paddlepaddle.org.cn/documentation/docs/zh/guides/05_inference_deployment/inference/inference_cn.html)
本小节教程主要基于Paddle Inference的mobilenet_v3_small模型推理。假定已安装好PaddlePaddle,当前路径为 `xx/models/tutorials/mobilenetv3_prod/Step6`
### 3.1 模型动转静导出
使用下面的命令,将1.3小节中下载的`mobilenet_v3_net`模型参数进行动转静导出。
```bash
#生成推理模型
python tools/export_model.py --pretrained=./mobilenet_v3_small_pretrained.pdparams --save-inference-dir="./mobilenet_v3_small_infer" --model=mobilenet_v3_small
```
`mobilenet_v3_small_infer/`文件夹下会生成下面的3个文件。
```
alexnet_infer
|----inference.pdiparams : 模型参数文件
|----inference.pdmodel : 模型结构文件
|----inference.pdiparams.info: 模型参数信息文件
```
### 3.2 模型推理
```bash
python deploy/inference_python/infer.py --model-dir=./mobilenet_v3_small_infer/ --img-path=./images/demo.jpg
```
对于下面的图像进行预测
<div align="center">
<img src="../../images/demo.jpg" width=300">
</div>
在终端中输出结果如下。
```
image_name: ./images/demo.jpg, class_id: 8, prob: 0.9091264605522156
```
表示预测的类别ID是`8`,置信度为`0.909`,该结果与基于训练引擎的结果完全一致。
<a name="4"></a>
......
Markdown is supported
0% .
You are about to add 0 people to the discussion. Proceed with caution.
先完成此消息的编辑!
想要评论请 注册