diff --git a/tutorials/mobilenetv3_prod/Step6/docs/windows_train_infer_python.md b/tutorials/mobilenetv3_prod/Step6/docs/windows_train_infer_python.md index b05e466aaf75885c431d56449780e9d96804164e..a013069e5db8a87d6d16cd04362315c0fa26ad84 100644 --- a/tutorials/mobilenetv3_prod/Step6/docs/windows_train_infer_python.md +++ b/tutorials/mobilenetv3_prod/Step6/docs/windows_train_infer_python.md @@ -172,7 +172,51 @@ python tools/predict.py --pretrained=./mobilenet_v3_small_pretrained.pdparams -- ## 3. 模型推理部署 -coming soon! +Paddle Inference 是飞桨的原生推理库, 作用于服务器端和云端,提供高性能的推理能力。相比于直接基于预训练模型进行预测,Paddle Inference可使用MKLDNN、CUDNN、TensorRT进行预测加速,从而实现更优的推理性能。 + +更多关于Paddle Inference推理引擎的介绍,可以参考[Paddle Inference官网教程](https://www.paddlepaddle.org.cn/documentation/docs/zh/guides/05_inference_deployment/inference/inference_cn.html)。 + +本小节教程主要基于Paddle Inference的mobilenet_v3_small模型推理。假定已安装好PaddlePaddle,当前路径为 `xx/models/tutorials/mobilenetv3_prod/Step6`。 + + +### 3.1 模型动转静导出 + +使用下面的命令,将1.3小节中下载的`mobilenet_v3_net`模型参数进行动转静导出。 + +```bash +#生成推理模型 +python tools/export_model.py --pretrained=./mobilenet_v3_small_pretrained.pdparams --save-inference-dir="./mobilenet_v3_small_infer" --model=mobilenet_v3_small +``` + +在`mobilenet_v3_small_infer/`文件夹下会生成下面的3个文件。 + +``` +alexnet_infer + |----inference.pdiparams : 模型参数文件 + |----inference.pdmodel : 模型结构文件 + |----inference.pdiparams.info: 模型参数信息文件 +``` + +### 3.2 模型推理 + + +```bash +python deploy/inference_python/infer.py --model-dir=./mobilenet_v3_small_infer/ --img-path=./images/demo.jpg +``` + +对于下面的图像进行预测 + +
+ +
+ +在终端中输出结果如下。 + +``` +image_name: ./images/demo.jpg, class_id: 8, prob: 0.9091264605522156 +``` + +表示预测的类别ID是`8`,置信度为`0.909`,该结果与基于训练引擎的结果完全一致。