diff --git a/docs/deploy/deploy.md b/docs/deploy/deploy.md deleted file mode 100644 index 7193dc3de315b43c85f3aa3d8ff24c7b02f98f3b..0000000000000000000000000000000000000000 --- a/docs/deploy/deploy.md +++ /dev/null @@ -1,101 +0,0 @@ -# 模型预测部署 - -本文档指引用户如何采用更高性能地方式来部署使用PaddleX训练的模型。使用本文档模型部署方式，会在模型运算过程中，对模型计算图进行优化，同时减少内存操作，相对比普通的paddlepaddle模型加载和预测方式，预测速度平均可提升1倍，具体各模型性能对比见[预测性能对比](#预测性能对比) - -## 服务端部署 - -### 导出inference模型 - -在服务端部署的模型需要首先将模型导出为inference格式模型，导出的模型将包括`__model__`、`__params__`和`model.yml`三个文名，分别为模型的网络结构，模型权重和模型的配置文件（包括数据预处理参数等等）。在安装完PaddleX后，在命令行终端使用如下命令导出模型到当前目录`inferece_model`下。 -> 可直接下载小度熊分拣模型测试本文档的流程[xiaoduxiong_epoch_12.tar.gz](https://bj.bcebos.com/paddlex/models/xiaoduxiong_epoch_12.tar.gz) - -``` -paddlex --export_inference --model_dir=./xiaoduxiong_epoch_12 --save_dir=./inference_model -``` - -使用TensorRT预测时，需指定模型的图像输入shape:[w,h]。 -**注**： -- 分类模型请保持于训练时输入的shape一致。 -- 指定[w,h]时，w和h中间逗号隔开，不允许存在空格等其他字符 - -``` -paddlex --export_inference --model_dir=./xiaoduxiong_epoch_12 --save_dir=./inference_model --fixed_input_shape=[640,960] -``` - -### Python部署 -PaddleX已经集成了基于Python的高性能预测接口，在安装PaddleX后，可参照如下代码示例，进行预测。相关的接口文档可参考[paddlex.deploy](apis/deploy.md) -> 点击下载测试图片 [xiaoduxiong_test_image.tar.gz](https://bj.bcebos.com/paddlex/datasets/xiaoduxiong_test_image.tar.gz) - -``` -import paddlex as pdx -predictor = pdx.deploy.create_predictor('./inference_model') -result = predictor.predict(image='xiaoduxiong_test_image/JPEGImages/WeChatIMG110.jpeg') -``` - -### C++部署 - -C++部署方案位于目录`deploy/cpp/`下，且独立于PaddleX其他模块。该方案支持在 Windows 和 Linux 完成编译、二次开发集成和部署运行。具体使用方法和编译： - -- Linux平台：[linux](deploy_cpp_linux.md) -- window平台：[windows](deploy_cpp_win_vs2019.md) - -### OpenVINO部署demo - -OpenVINO部署demo位于目录`deploy/openvino/`下，且独立于PaddleX其他模块，该demo目前支持在 Linux 完成编译和部署运行。目前PaddleX到OpenVINO的部署流程如下： - -graph LR - PaddleX --> ONNX --> OpenVINO IR --> OpenVINO Inference Engine -#### step1 - -PaddleX输出ONNX模型方法如下： - -``` -paddlex --export_onnx --model_dir=./xiaoduxiong_epoch_12 --save_dir=./onnx_model -``` - -|目前支持的模型| -|-----| -|ResNet18| -|ResNet34| -|ResNet50| -|ResNet101| -|ResNet50_vd| -|ResNet101_vd| -|ResNet50_vd_ssld| -|ResNet101_vd_ssld -|DarkNet53| -|MobileNetV1| -|MobileNetV2| -|DenseNet121| -|DenseNet161| -|DenseNet201| - -得到ONNX模型后，OpenVINO的部署参考：[OpenVINO部署](deploy_openvino.md) - -### 预测性能对比 - -#### 测试环境 - -- CUDA 9.0 -- CUDNN 7.5 -- PaddlePaddle 1.71 -- GPU: Tesla P40 -- AnalysisPredictor 指采用Python的高性能预测方式 -- Executor 指采用paddlepaddle普通的python预测方式 -- Batch Size均为1，耗时单位为ms/image，只计算模型运行时间，不包括数据的预处理和后处理 - -| 模型 | AnalysisPredictor耗时 | Executor耗时 | 输入图像大小 | -| :---- | :--------------------- | :------------ | :------------ | -| resnet50 | 4.84 | 7.57 | 224*224 | -| mobilenet_v2 | 3.27 | 5.76 | 224*224 | -| unet | 22.51 | 34.60 |513*513 | -| deeplab_mobile | 63.44 | 358.31 |1025*2049 | -| yolo_mobilenetv2 | 15.20 | 19.54 | 608*608 | -| faster_rcnn_r50_fpn_1x | 50.05 | 69.58 |800*1088 | -| faster_rcnn_r50_1x | 326.11 | 347.22 | 800*1067 | -| mask_rcnn_r50_fpn_1x | 67.49 | 91.02 | 800*1088 | -| mask_rcnn_r50_1x | 326.11 | 350.94 | 800*1067 | - -## 移动端部署 - -> Lite模型导出正在集成中，即将开源... diff --git a/docs/deploy/deploy_cpp_linux.md b/docs/deploy/deploy_cpp_linux.md deleted file mode 100644 index 4b3a6e8159b5bcff313cfc2e752201a28a2058d1..0000000000000000000000000000000000000000 --- a/docs/deploy/deploy_cpp_linux.md +++ /dev/null @@ -1,136 +0,0 @@ -# Linux平台编译指南 - -## 说明 -本文档在 `Linux`平台使用`GCC 4.8.5` 和 `GCC 4.9.4`测试过，如果需要使用更高G++版本编译使用，则需要重新编译Paddle预测库，请参考: [从源码编译Paddle预测库](https://www.paddlepaddle.org.cn/documentation/docs/zh/develop/advanced_guide/inference_deployment/inference/build_and_install_lib_cn.html#id12)。 - -## 前置条件 -* G++ 4.8.2 ~ 4.9.4 -* CUDA 9.0 / CUDA 10.0, CUDNN 7+ （仅在使用GPU版本的预测库时需要） -* CMake 3.0+ - -请确保系统已经安装好上述基本软件，**下面所有示例以工作目录 `/root/projects/`演示**。 - -### Step1: 下载代码 - - `git clone https://github.com/PaddlePaddle/PaddleX.git` - -**说明**：其中`C++`预测代码在`/root/projects/PaddleX/deploy/cpp` 目录，该目录不依赖任何`PaddleX`下其他目录。 - - -### Step2: 下载PaddlePaddle C++ 预测库 fluid_inference - -PaddlePaddle C++ 预测库针对不同的`CPU`，`CUDA`，以及是否支持TensorRT，提供了不同的预编译版本，目前PaddleX依赖于Paddle1.7版本，以下提供了多个不同版本的Paddle预测库: - -| 版本说明 | 预测库(1.7.2版本) | -| ---- | ---- | -| ubuntu14.04_cpu_avx_mkl | [fluid_inference.tgz](https://paddle-inference-lib.bj.bcebos.com/1.7.2-cpu-avx-mkl/fluid_inference.tgz) | -| ubuntu14.04_cpu_avx_openblas | [fluid_inference.tgz](https://paddle-inference-lib.bj.bcebos.com/1.7.2-cpu-avx-openblas/fluid_inference.tgz) | -| ubuntu14.04_cpu_noavx_openblas | [fluid_inference.tgz](https://paddle-inference-lib.bj.bcebos.com/1.7.2-cpu-noavx-openblas/fluid_inference.tgz) | -| ubuntu14.04_cuda9.0_cudnn7_avx_mkl | [fluid_inference.tgz](https://paddle-inference-lib.bj.bcebos.com/1.7.2-gpu-cuda9-cudnn7-avx-mkl/fluid_inference.tgz) | -| ubuntu14.04_cuda10.0_cudnn7_avx_mkl | [fluid_inference.tgz](https://paddle-inference-lib.bj.bcebos.com/1.7.2-gpu-cuda10-cudnn7-avx-mkl/fluid_inference.tgz ) | -| ubuntu14.04_cuda10.1_cudnn7.6_avx_mkl_trt6 | [fluid_inference.tgz](https://paddle-inference-lib.bj.bcebos.com/1.7.2-gpu-cuda10.1-cudnn7.6-avx-mkl-trt6%2Ffluid_inference.tgz) | - -更多和更新的版本，请根据实际情况下载: [C++预测库下载列表](https://www.paddlepaddle.org.cn/documentation/docs/zh/develop/advanced_guide/inference_deployment/inference/windows_cpp_inference.html#id1) - -下载并解压后`/root/projects/fluid_inference`目录包含内容为： -``` -fluid_inference -├── paddle # paddle核心库和头文件 -| -├── third_party # 第三方依赖库和头文件 -| -└── version.txt # 版本和编译信息 -``` - -**注意:** 预编译版本除`nv-jetson-cuda10-cudnn7.5-trt5` 以外其它包都是基于`GCC 4.8.5`编译，使用高版本`GCC`可能存在 `ABI`兼容性问题，建议降级或[自行编译预测库](https://www.paddlepaddle.org.cn/documentation/docs/zh/advanced_guide/inference_deployment/inference/build_and_install_lib_cn.html#id12)。 - - -### Step4: 编译 - -编译`cmake`的命令在`scripts/build.sh`中，请根据实际情况修改主要参数，其主要内容说明如下： -``` -# 是否使用GPU(即是否使用 CUDA) -WITH_GPU=OFF -# 使用MKL or openblas -WITH_MKL=ON -# 是否集成 TensorRT(仅WITH_GPU=ON 有效) -WITH_TENSORRT=OFF -# TensorRT 的lib路径 -TENSORRT_DIR=/path/to/TensorRT/ -# Paddle 预测库路径 -PADDLE_DIR=/path/to/fluid_inference/ -# Paddle 的预测库是否使用静态库来编译 -# 使用TensorRT时，Paddle的预测库通常为动态库 -WITH_STATIC_LIB=ON -# CUDA 的 lib 路径 -CUDA_LIB=/path/to/cuda/lib/ -# CUDNN 的 lib 路径 -CUDNN_LIB=/path/to/cudnn/lib/ - -# OPENCV 路径, 如果使用自带预编译版本可不修改 -OPENCV_DIR=$(pwd)/deps/opencv3gcc4.8/ -sh $(pwd)/scripts/bootstrap.sh - -# 以下无需改动 -rm -rf build -mkdir -p build -cd build -cmake .. \ - -DWITH_GPU=${WITH_GPU} \ - -DWITH_MKL=${WITH_MKL} \ - -DWITH_TENSORRT=${WITH_TENSORRT} \ - -DTENSORRT_DIR=${TENSORRT_DIR} \ - -DPADDLE_DIR=${PADDLE_DIR} \ - -DWITH_STATIC_LIB=${WITH_STATIC_LIB} \ - -DCUDA_LIB=${CUDA_LIB} \ - -DCUDNN_LIB=${CUDNN_LIB} \ - -DOPENCV_DIR=${OPENCV_DIR} -make - -``` - -修改脚本设置好主要参数后，执行`build`脚本： - ```shell - sh ./scripts/build.sh - ``` - -### Step5: 预测及可视化 -编译成功后，预测demo的可执行程序分别为`build/detector`，`build/classifer`，`build/segmenter`，用户可根据自己的模型类型选择，其主要命令参数说明如下： - -| 参数 | 说明 | -| ---- | ---- | -| model_dir | 导出的预测模型所在路径 | -| image | 要预测的图片文件路径 | -| image_list | 按行存储图片路径的.txt文件 | -| use_gpu | 是否使用 GPU 预测, 支持值为0或1(默认值为0) | -| use_trt | 是否使用 TensorTr 预测, 支持值为0或1(默认值为0) | -| gpu_id | GPU 设备ID, 默认值为0 | -| save_dir | 保存可视化结果的路径, 默认值为"output"，classfier无该参数 | - -## 样例 - -可使用[小度熊识别模型](deploy.md#导出inference模型)中导出的`inference_model`和测试图片进行预测。 - -`样例一`： - -不使用`GPU`测试图片 `/path/to/xiaoduxiong.jpeg` - -```shell -./build/detector --model_dir=/path/to/inference_model --image=/path/to/xiaoduxiong.jpeg --save_dir=output -``` -图片文件`可视化预测结果`会保存在`save_dir`参数设置的目录下。 - - -`样例二`: - -使用`GPU`预测多个图片`/path/to/image_list.txt`，image_list.txt内容的格式如下： -``` -/path/to/images/xiaoduxiong1.jpeg -/path/to/images/xiaoduxiong2.jpeg -... -/path/to/images/xiaoduxiongn.jpeg -``` -```shell -./build/detector --model_dir=/path/to/models/inference_model --image_list=/root/projects/images_list.txt --use_gpu=1 --save_dir=output -``` -图片文件`可视化预测结果`会保存在`save_dir`参数设置的目录下。 diff --git a/docs/deploy/deploy_cpp_win_vs2019.md b/docs/deploy/deploy_cpp_win_vs2019.md deleted file mode 100644 index 836a2abfdcfbe2252a651ccf7bf22cda4922e932..0000000000000000000000000000000000000000 --- a/docs/deploy/deploy_cpp_win_vs2019.md +++ /dev/null @@ -1,148 +0,0 @@ -# Visual Studio 2019 Community CMake 编译指南 - -## 说明 -Windows 平台下，我们使用`Visual Studio 2019 Community` 进行了测试。微软从`Visual Studio 2017`开始即支持直接管理`CMake`跨平台编译项目，但是直到`2019`才提供了稳定和完全的支持，所以如果你想使用CMake管理项目编译构建，我们推荐你使用`Visual Studio 2019`环境下构建。 - -## 前置条件 -* Visual Studio 2019 -* CUDA 9.0 / CUDA 10.0, CUDNN 7+ （仅在使用GPU版本的预测库时需要） -* CMake 3.0+ - -请确保系统已经安装好上述基本软件，我们使用的是`VS2019`的社区版。 - -**下面所有示例以工作目录为 `D:\projects`演示**。 - -### Step1: 下载代码 - -下载源代码 -```shell -d: -mkdir projects -cd projects -git clone https://github.com/PaddlePaddle/PaddleX.git -``` - -**说明**：其中`C++`预测代码在`PaddleX/deploy/cpp` 目录，该目录不依赖任何`PaddleX`下其他目录。 - - -### Step2: 下载PaddlePaddle C++ 预测库 fluid_inference - -PaddlePaddle C++ 预测库针对不同的`CPU`，`CUDA`，以及是否支持TensorRT，提供了不同的预编译版本，目前PaddleX依赖于Paddle1.7版本，以下提供了多个不同版本的Paddle预测库: - -| 版本说明 | 预测库(1.7.2版本) | 编译器 | 构建工具| cuDNN | CUDA -| ---- | ---- | ---- | ---- | ---- | ---- | -| cpu_avx_mkl | [fluid_inference.zip](https://paddle-wheel.bj.bcebos.com/1.7.2/win-infer/mkl/cpu/fluid_inference_install_dir.zip) | MSVC 2015 update 3 | CMake v3.16.0 | -| cpu_avx_openblas | [fluid_inference.zip](https://paddle-wheel.bj.bcebos.com/1.7.2/win-infer/open/cpu/fluid_inference_install_dir.zip) | MSVC 2015 update 3 | CMake v3.16.0 | -| cuda9.0_cudnn7_avx_mkl | [fluid_inference.zip](https://paddle-wheel.bj.bcebos.com/1.7.2/win-infer/mkl/post97/fluid_inference_install_dir.zip) | MSVC 2015 update 3 | CMake v3.16.0 | 7.4.1 | 9.0 | -| cuda9.0_cudnn7_avx_openblas | [fluid_inference.zip](https://paddle-wheel.bj.bcebos.com/1.7.2/win-infer/open/post97/fluid_inference_install_dir.zip) | MSVC 2015 update 3 | CMake v3.16.0 | 7.4.1 | 9.0 | -| cuda10.0_cudnn7_avx_mkl | [fluid_inference.zip](https://paddle-wheel.bj.bcebos.com/1.7.2/win-infer/mkl/post107/fluid_inference_install_dir.zip) | MSVC 2015 update 3 | CMake v3.16.0 | 7.5.0 | 9.0 | - - -更多和更新的版本，请根据实际情况下载: [C++预测库下载列表](https://www.paddlepaddle.org.cn/documentation/docs/zh/develop/advanced_guide/inference_deployment/inference/build_and_install_lib_cn.html#id1) - -解压后`D:\projects\fluid_inference*\`目录下主要包含的内容为： -``` -├── \paddle\ # paddle核心库和头文件 -| -├── \third_party\ # 第三方依赖库和头文件 -| -└── \version.txt # 版本和编译信息 -``` - -### Step3: 安装配置OpenCV - -1. 在OpenCV官网下载适用于Windows平台的3.4.6版本， [下载地址](https://sourceforge.net/projects/opencvlibrary/files/3.4.6/opencv-3.4.6-vc14_vc15.exe/download) -2. 运行下载的可执行文件，将OpenCV解压至指定目录，如`D:\projects\opencv` -3. 配置环境变量，如下流程所示 - - 我的电脑->属性->高级系统设置->环境变量 - - 在系统变量中找到Path（如没有，自行创建），并双击编辑 - - 新建，将opencv路径填入并保存，如`D:\projects\opencv\build\x64\vc14\bin` - -### Step4: 使用Visual Studio 2019直接编译CMake - -1. 打开Visual Studio 2019 Community，点击`继续但无需代码` - -![step2](images/vs2019_step1.png) - -2. 点击： `文件`->`打开`->`CMake` - -![step2.1](images/vs2019_step2.png) - -选择项目代码所在路径，并打开`CMakeList.txt`： - -![step2.2](images/vs2019_step3.png) - -3. 点击：`项目`->`PADDLEX_INFERENCE的CMake设置` - -![step3](images/vs2019_step4.png) - -4. 点击`浏览`，分别设置编译选项指定`CUDA`、`OpenCV`、`Paddle预测库`的路径 - -依赖库路径的含义说明如下（带*表示仅在使用**GPU版本**预测库时指定, 其中CUDA库版本尽量对齐，**使用9.0、10.0版本，不使用9.2、10.1等版本CUDA库**）： - -| 参数名 | 含义 | -| ---- | ---- | -| *CUDA_LIB | CUDA的库路径, 注：请将CUDNN的cudnn.lib文件拷贝到CUDA_LIB路径下 | -| OPENCV_DIR | OpenCV的安装路径， | -| PADDLE_DIR | Paddle c++预测库的路径 | - -**注意：** 1. 使用`CPU`版预测库，请把`WITH_GPU`的`值`去掉勾 2. 如果使用的是`openblas`版本，请把`WITH_MKL`的`值`去掉勾 - -![step4](images/vs2019_step5.png) - -**设置完成后**, 点击上图中`保存并生成CMake缓存以加载变量`。 - -5. 点击`生成`->`全部生成` - -![step6](images/vs2019_step6.png) - - -### Step5: 预测及可视化 - -上述`Visual Studio 2019`编译产出的可执行文件在`out\build\x64-Release`目录下，打开`cmd`，并切换到该目录： - -``` -d: -cd D:\projects\PaddleX\deploy\cpp\out\build\x64-Release -``` - -编译成功后，预测demo的入口程序为`detector`，`classifer`，`segmenter`，用户可根据自己的模型类型选择，其主要命令参数说明如下： - -| 参数 | 说明 | -| ---- | ---- | -| model_dir | 导出的预测模型所在路径 | -| image | 要预测的图片文件路径 | -| image_list | 按行存储图片路径的.txt文件 | -| use_gpu | 是否使用 GPU 预测, 支持值为0或1(默认值为0) | -| gpu_id | GPU 设备ID, 默认值为0 | -| save_dir | 保存可视化结果的路径, 默认值为"output"，classfier无该参数 | - - -## 样例 - -可使用[小度熊识别模型](deploy.md#导出inference模型)中导出的`inference_model`和测试图片进行预测。 - -`样例一`： - -不使用`GPU`测试图片 `\\path\\to\\xiaoduxiong.jpeg` - -```shell -.\detector --model_dir=\\path\\to\\inference_model --image=D:\\images\\xiaoduxiong.jpeg --save_dir=output - -``` -图片文件`可视化预测结果`会保存在`save_dir`参数设置的目录下。 - - -`样例二`: - -使用`GPU`预测多个图片`\\path\\to\\image_list.txt`，image_list.txt内容的格式如下： -``` -\\path\\to\\images\\xiaoduxiong1.jpeg -\\path\\to\\images\\xiaoduxiong2.jpeg -... -\\path\\to\\images\\xiaoduxiongn.jpeg -``` -```shell -.\detector --model_dir=\\path\\to\\inference_model --image_list=\\path\\to\\images_list.txt --use_gpu=1 --save_dir=output -``` -图片文件`可视化预测结果`会保存在`save_dir`参数设置的目录下。 diff --git a/docs/deploy/deploy_openvino.md b/docs/deploy/deploy_openvino.md deleted file mode 100644 index 9b9bb670ac4388feb0212cd8e4a33938255f197d..0000000000000000000000000000000000000000 --- a/docs/deploy/deploy_openvino.md +++ /dev/null @@ -1,107 +0,0 @@ -# OpenVINO 分类demo编译 - -## 说明 -本文档在 `Ubuntu`使用`GCC 4.8.5` 进行了验证，如果需要使用更多G++版本和平台的OpenVino编译，请参考: [OpenVINO](https://github.com/openvinotoolkit/openvino/blob/2020/build-instruction.md)。 - -## 验证环境 -* Ubuntu* 16.04 (64-bit) with GCC* 4.8.5 -* CMake 3.12 -* Python 2.7 or higher - -请确保系统已经安装好上述基本软件，**下面所有示例以工作目录 `/root/projects/`演示**。 - - `git clone https://github.com/PaddlePaddle/PaddleX.git` - -**说明**：其中`C++`预测代码在`/root/projects/PaddleX/deploy/openvino` 目录，该目录不依赖任何`PaddleX`下其他目录。 - -### Step1: 软件依赖 - -- openvino: -[编译文档](https://github.com/openvinotoolkit/openvino/blob/2020/build-instruction.md#build-steps) - -- gflags: -[编译文档](https://gflags.github.io/gflags/#download) - -- opencv: -[编译文档](https://docs.opencv.org/master/d7/d9f/tutorial_linux_install.html) -说明：/root/projects/PaddleX/deploy/openvino/scripts/bootstrap.sh提供了预编译版本下载，也可自行编译。 - -- ngraph: -说明：openvino编译的过程中会生成ngraph的lib文件，位于{openvino根目录}/bin/intel64/Release/lib/下。 - -### Step2: 编译demo - - -编译`cmake`的命令在`scripts/build.sh`中，请根据Step1中编译软件的实际情况修改主要参数，其主要内容说明如下： -``` -# openvino预编译库的路径 -OPENVINO_DIR=/path/to/inference_engine/ -# gflags预编译库的路径 -GFLAGS_DIR=/path/to/gflags -# ngraph lib的路径，编译openvino时通常会生成 -NGRAPH_LIB=/path/to/ngraph/lib/ - -# opencv预编译库的路径, 如果使用自带预编译版本可不修改 -OPENCV_DIR=$(pwd)/deps/opencv3gcc4.8/ -# 下载自带预编译版本 -sh $(pwd)/scripts/bootstrap.sh - -rm -rf build -mkdir -p build -cd build -cmake .. \ - -DOPENCV_DIR=${OPENCV_DIR} \ - -DGFLAGS_DIR=${GFLAGS_DIR} \ - -DOPENVINO_DIR=${OPENVINO_DIR} \ - -DNGRAPH_LIB=${NGRAPH_LIB} -make - -``` - -修改脚本设置好主要参数后，执行`build`脚本： - ```shell - sh ./scripts/build.sh - ``` - -### Step3: 模型转换 - -将[]()生成的onnx文件转换为OpencVINO支持的格式，请参考：[Model Optimizer文档](https://docs.openvinotoolkit.org/latest/_docs_MO_DG_Deep_Learning_Model_Optimizer_DevGuide.html) - -### Step4: 预测 -编译成功后，预测demo的可执行程序分别为`build/classifer`，其主要命令参数说明如下： - -| 参数 | 说明 | -| ---- | ---- | -| --model_dir | Model Optimizer生成的.xml文件路径，请保证Model Optimizer生成的三个文件在同一路径下| -| --image | 要预测的图片文件路径 | -| --image_list | 按行存储图片路径的.txt文件 | -| --device | 运行的平台, 默认值为"CPU" | - - -## 样例 - -可使用[小度熊识别模型](deploy.md#导出inference模型)中导出的`inference_model`和测试图片进行预测。 - -`样例一`： - -测试图片 `/path/to/xiaoduxiong.jpeg` - -```shell -./build/classifier --model_dir=/path/to/inference_model --image=/path/to/xiaoduxiong.jpeg -``` - - -`样例二`: - -预测多个图片`/path/to/image_list.txt`，image_list.txt内容的格式如下： -``` -/path/to/images/xiaoduxiong1.jpeg -/path/to/images/xiaoduxiong2.jpeg -... -/path/to/images/xiaoduxiongn.jpeg -``` -```shell -./build/classifier --model_dir=/path/to/models/inference_model --image_list=/root/projects/images_list.txt - -``` - - diff --git a/docs/deploy/encryption.md b/docs/deploy/encryption.md deleted file mode 100644 index b94ec3bee41be02a7a87cd90b2f5392adbe21412..0000000000000000000000000000000000000000 --- a/docs/deploy/encryption.md +++ /dev/null @@ -1,57 +0,0 @@ -# Paddle模型加密方案 - -飞桨团队推出模型加密方案，使用业内主流的AES加密技术对最终模型进行加密。飞桨用户可以通过PaddleX导出模型后，使用该方案对模型进行加密，预测时使用解密SDK进行模型解密并完成推理，大大提升AI应用安全性和开发效率。 - -## 1. 方案介绍 - -### 1.1 工具组成 - -[链接](http://wiki.baidu.com/pages/viewpage.action?pageId=1128566963) - -下载并解压后，目录包含内容为： -``` -paddle_model_encrypt -├── include # 头文件：paddle_model_decrypt.h(解密)和paddle_model_encrypt.h(加密) -| -├── lib # libpmodel-encrypt.so和libpmodel-decrypt.so动态库 -| -└── tool # paddle_encrypt_tool -``` - -### 1.2 二进制工具 - -#### 1.2.1 生成密钥 - -产生随机密钥信息（用于AES加解密使用）（32字节key + 16字节iv， 注意这里产生的key是经过base64编码后的，这样可以扩充选取key的范围） - -``` - -paddle_encrypt_tool -g -``` -#### 1.2.1 文件加密 - -``` - paddle_encrypt_tool -e -key keydata -infile infile -outfile outfile - -``` - -#### 1.3 SDK - -``` - -// 加密API - -int paddle_encrypt_model(const char* keydata, const char* infile, const char* outfile); - -// 加载加密模型API： - -int paddle_security_load_model( - paddle::AnalysisConfig *config, - const char *key, - const char *model_file, - const char *param_file); -``` - -## 2. PaddleX C++加密部署 - - diff --git a/docs/deploy/images/vs2019_step1.png b/docs/deploy/images/vs2019_step1.png deleted file mode 100644 index 58fdf2fd624f3c2d26f7c78814c4a67cc323e495..0000000000000000000000000000000000000000 Binary files a/docs/deploy/images/vs2019_step1.png and /dev/null differ diff --git a/docs/deploy/images/vs2019_step2.png b/docs/deploy/images/vs2019_step2.png deleted file mode 100644 index f1b5fd0a1c83c3008e2953a84164932140b104bf..0000000000000000000000000000000000000000 Binary files a/docs/deploy/images/vs2019_step2.png and /dev/null differ diff --git a/docs/deploy/images/vs2019_step3.png b/docs/deploy/images/vs2019_step3.png deleted file mode 100644 index 943e861aaa1496cdb6693fb973cce13600122985..0000000000000000000000000000000000000000 Binary files a/docs/deploy/images/vs2019_step3.png and /dev/null differ diff --git a/docs/deploy/images/vs2019_step4.png b/docs/deploy/images/vs2019_step4.png deleted file mode 100644 index 102cb81ac911c810bdf24e86b42ece307ffd1f8a..0000000000000000000000000000000000000000 Binary files a/docs/deploy/images/vs2019_step4.png and /dev/null differ diff --git a/docs/deploy/images/vs2019_step5.png b/docs/deploy/images/vs2019_step5.png deleted file mode 100644 index 0986e823812e2316c4fd0f2e6cb260a1204fda40..0000000000000000000000000000000000000000 Binary files a/docs/deploy/images/vs2019_step5.png and /dev/null differ diff --git a/docs/deploy/images/vs2019_step6.png b/docs/deploy/images/vs2019_step6.png deleted file mode 100644 index 86a8039cbd2a9f8fb499ed72d386b5c02b30c86c..0000000000000000000000000000000000000000 Binary files a/docs/deploy/images/vs2019_step6.png and /dev/null differ diff --git a/paddlex/__init__.py b/paddlex/__init__.py index 36106b8596bd6bb6c1971fd7a941943a23e541a7..9b1d4586bd6b6dff91a2bd11ecd99175a28a88c5 100644 --- a/paddlex/__init__.py +++ b/paddlex/__init__.py @@ -48,4 +48,4 @@ load_model = cv.models.load_model datasets = cv.datasets log_level = 2 -__version__ = '0.1.7.github' +__version__ = '0.1.9.github'