Skip to content
体验新版
项目
组织
正在加载...
登录
切换导航
打开侧边栏
PaddlePaddle
PaddleX
提交
7671db19
P
PaddleX
项目概览
PaddlePaddle
/
PaddleX
通知
138
Star
4
Fork
0
代码
文件
提交
分支
Tags
贡献者
分支图
Diff
Issue
43
列表
看板
标记
里程碑
合并请求
5
Wiki
0
Wiki
分析
仓库
DevOps
项目成员
Pages
P
PaddleX
项目概览
项目概览
详情
发布
仓库
仓库
文件
提交
分支
标签
贡献者
分支图
比较
Issue
43
Issue
43
列表
看板
标记
里程碑
合并请求
5
合并请求
5
Pages
分析
分析
仓库分析
DevOps
Wiki
0
Wiki
成员
成员
收起侧边栏
关闭侧边栏
动态
分支图
创建新Issue
提交
Issue看板
提交
7671db19
编写于
6月 25, 2020
作者:
J
jack
浏览文件
操作
浏览文件
下载
电子邮件补丁
差异文件
add encryption doc for windows
上级
de556183
变更
3
隐藏空白更改
内联
并排
Showing
3 changed file
with
69 addition
and
20 deletion
+69
-20
docs/tutorials/deploy/deploy_server/deploy_cpp/deploy_cpp_linux.md
...rials/deploy/deploy_server/deploy_cpp/deploy_cpp_linux.md
+8
-8
docs/tutorials/deploy/deploy_server/deploy_cpp/deploy_cpp_win_vs2019.md
.../deploy/deploy_server/deploy_cpp/deploy_cpp_win_vs2019.md
+7
-7
docs/tutorials/deploy/deploy_server/encryption.md
docs/tutorials/deploy/deploy_server/encryption.md
+54
-5
未找到文件。
docs/tutorials/deploy/deploy_server/deploy_cpp/deploy_cpp_linux.md
浏览文件 @
7671db19
...
...
@@ -19,16 +19,16 @@
### Step2: 下载PaddlePaddle C++ 预测库 fluid_inference
PaddlePaddle C++ 预测库针对不同的
`CPU`
,
`CUDA`
,以及是否支持TensorRT,提供了不同的预编译版本,目前PaddleX依赖于Paddle1.
7
版本,以下提供了多个不同版本的Paddle预测库:
PaddlePaddle C++ 预测库针对不同的
`CPU`
,
`CUDA`
,以及是否支持TensorRT,提供了不同的预编译版本,目前PaddleX依赖于Paddle1.
8
版本,以下提供了多个不同版本的Paddle预测库:
| 版本说明 | 预测库(1.
7
.2版本) |
| 版本说明 | 预测库(1.
8
.2版本) |
| ---- | ---- |
| ubuntu14.04_cpu_avx_mkl |
[
fluid_inference.tgz
](
https://paddle-inference-lib.bj.bcebos.com/1.
7
.2-cpu-avx-mkl/fluid_inference.tgz
)
|
| ubuntu14.04_cpu_avx_openblas |
[
fluid_inference.tgz
](
https://paddle-inference-lib.bj.bcebos.com/1.
7
.2-cpu-avx-openblas/fluid_inference.tgz
)
|
| ubuntu14.04_cpu_noavx_openblas |
[
fluid_inference.tgz
](
https://paddle-inference-lib.bj.bcebos.com/1.
7
.2-cpu-noavx-openblas/fluid_inference.tgz
)
|
| ubuntu14.04_cuda9.0_cudnn7_avx_mkl |
[
fluid_inference.tgz
](
https://paddle-inference-lib.bj.bcebos.com/1.
7
.2-gpu-cuda9-cudnn7-avx-mkl/fluid_inference.tgz
)
|
| ubuntu14.04_cuda10.0_cudnn7_avx_mkl |
[
fluid_inference.tgz
](
https://paddle-inference-lib.bj.bcebos.com/1.
7
.2-gpu-cuda10-cudnn7-avx-mkl/fluid_inference.tgz
)
|
| ubuntu14.04_cuda10.1_cudnn7.6_avx_mkl_trt6 |
[
fluid_inference.tgz
](
https://paddle-inference-lib.bj.bcebos.com/1.
7
.2-gpu-cuda10.1-cudnn7.6-avx-mkl-trt6%2Ffluid_inference.tgz
)
|
| ubuntu14.04_cpu_avx_mkl |
[
fluid_inference.tgz
](
https://paddle-inference-lib.bj.bcebos.com/1.
8
.2-cpu-avx-mkl/fluid_inference.tgz
)
|
| ubuntu14.04_cpu_avx_openblas |
[
fluid_inference.tgz
](
https://paddle-inference-lib.bj.bcebos.com/1.
8
.2-cpu-avx-openblas/fluid_inference.tgz
)
|
| ubuntu14.04_cpu_noavx_openblas |
[
fluid_inference.tgz
](
https://paddle-inference-lib.bj.bcebos.com/1.
8
.2-cpu-noavx-openblas/fluid_inference.tgz
)
|
| ubuntu14.04_cuda9.0_cudnn7_avx_mkl |
[
fluid_inference.tgz
](
https://paddle-inference-lib.bj.bcebos.com/1.
8
.2-gpu-cuda9-cudnn7-avx-mkl/fluid_inference.tgz
)
|
| ubuntu14.04_cuda10.0_cudnn7_avx_mkl |
[
fluid_inference.tgz
](
https://paddle-inference-lib.bj.bcebos.com/1.
8
.2-gpu-cuda10-cudnn7-avx-mkl/fluid_inference.tgz
)
|
| ubuntu14.04_cuda10.1_cudnn7.6_avx_mkl_trt6 |
[
fluid_inference.tgz
](
https://paddle-inference-lib.bj.bcebos.com/1.
8
.2-gpu-cuda10.1-cudnn7.6-avx-mkl-trt6%2Ffluid_inference.tgz
)
|
更多和更新的版本,请根据实际情况下载:
[
C++预测库下载列表
](
https://www.paddlepaddle.org.cn/documentation/docs/zh/develop/advanced_guide/inference_deployment/inference/windows_cpp_inference.html#id1
)
...
...
docs/tutorials/deploy/deploy_server/deploy_cpp/deploy_cpp_win_vs2019.md
浏览文件 @
7671db19
...
...
@@ -27,15 +27,15 @@ git clone https://github.com/PaddlePaddle/PaddleX.git
### Step2: 下载PaddlePaddle C++ 预测库 fluid_inference
PaddlePaddle C++ 预测库针对不同的
`CPU`
,
`CUDA`
,以及是否支持TensorRT,提供了不同的预编译版本,目前PaddleX依赖于Paddle1.
7
版本,以下提供了多个不同版本的Paddle预测库:
PaddlePaddle C++ 预测库针对不同的
`CPU`
,
`CUDA`
,以及是否支持TensorRT,提供了不同的预编译版本,目前PaddleX依赖于Paddle1.
8
版本,以下提供了多个不同版本的Paddle预测库:
| 版本说明 | 预测库(1.8.
1
版本) | 编译器 | 构建工具| cuDNN | CUDA
| 版本说明 | 预测库(1.8.
2
版本) | 编译器 | 构建工具| cuDNN | CUDA
| ---- | ---- | ---- | ---- | ---- | ---- |
| cpu_avx_mkl |
[
fluid_inference.zip
](
https://paddle-wheel.bj.bcebos.com/1.8.
1
/win-infer/mkl/cpu/fluid_inference_install_dir.zip
)
| MSVC 2015 update 3 | CMake v3.16.0 |
| cpu_avx_openblas |
[
fluid_inference.zip
](
https://paddle-wheel.bj.bcebos.com/1.8.
1
/win-infer/open/cpu/fluid_inference_install_dir.zip
)
| MSVC 2015 update 3 | CMake v3.16.0 |
| cuda9.0_cudnn7_avx_mkl |
[
fluid_inference.zip
](
https://paddle-wheel.bj.bcebos.com/1.8.
1
/win-infer/mkl/post97/fluid_inference_install_dir.zip
)
| MSVC 2015 update 3 | CMake v3.16.0 | 7.4.1 | 9.0 |
| cuda9.0_cudnn7_avx_openblas |
[
fluid_inference.zip
](
https://paddle-wheel.bj.bcebos.com/1.8.
1
/win-infer/open/post97/fluid_inference_install_dir.zip
)
| MSVC 2015 update 3 | CMake v3.16.0 | 7.4.1 | 9.0 |
| cuda10.0_cudnn7_avx_mkl |
[
fluid_inference.zip
](
https://paddle-wheel.bj.bcebos.com/1.8.
1
/win-infer/mkl/post107/fluid_inference_install_dir.zip
)
| MSVC 2015 update 3 | CMake v3.16.0 | 7.5.0 | 9.0 |
| cpu_avx_mkl |
[
fluid_inference.zip
](
https://paddle-wheel.bj.bcebos.com/1.8.
2
/win-infer/mkl/cpu/fluid_inference_install_dir.zip
)
| MSVC 2015 update 3 | CMake v3.16.0 |
| cpu_avx_openblas |
[
fluid_inference.zip
](
https://paddle-wheel.bj.bcebos.com/1.8.
2
/win-infer/open/cpu/fluid_inference_install_dir.zip
)
| MSVC 2015 update 3 | CMake v3.16.0 |
| cuda9.0_cudnn7_avx_mkl |
[
fluid_inference.zip
](
https://paddle-wheel.bj.bcebos.com/1.8.
2
/win-infer/mkl/post97/fluid_inference_install_dir.zip
)
| MSVC 2015 update 3 | CMake v3.16.0 | 7.4.1 | 9.0 |
| cuda9.0_cudnn7_avx_openblas |
[
fluid_inference.zip
](
https://paddle-wheel.bj.bcebos.com/1.8.
2
/win-infer/open/post97/fluid_inference_install_dir.zip
)
| MSVC 2015 update 3 | CMake v3.16.0 | 7.4.1 | 9.0 |
| cuda10.0_cudnn7_avx_mkl |
[
fluid_inference.zip
](
https://paddle-wheel.bj.bcebos.com/1.8.
2
/win-infer/mkl/post107/fluid_inference_install_dir.zip
)
| MSVC 2015 update 3 | CMake v3.16.0 | 7.5.0 | 9.0 |
更多和更新的版本,请根据实际情况下载:
[
C++预测库下载列表
](
https://www.paddlepaddle.org.cn/documentation/docs/zh/develop/advanced_guide/inference_deployment/inference/windows_cpp_inference.html
)
...
...
docs/tutorials/deploy/deploy_server/encryption.md
浏览文件 @
7671db19
...
...
@@ -2,7 +2,7 @@
PaddleX提供一个轻量级的模型加密部署方案,通过PaddleX内置的模型加密工具对推理模型进行加密,预测部署SDK支持直接加载密文模型并完成推理,提升AI模型部署的安全性。
**
注意:目前加密方案仅支持
Linux系统**
**
目前加密方案已支持Windows,
Linux系统**
## 1. 方案简介
...
...
@@ -40,9 +40,11 @@ PaddleX提供一个轻量级的模型加密部署方案,通过PaddleX内置的
### 1.2 加密工具
[
PaddleX模型加密工具
](
https://bj.bcebos.com/paddlex/tools/paddlex-encryption.zip
)
。在编译部署代码时,编译脚本会自动下载
加密工具,您也可以选择手动下载。
[
Linux版本 PaddleX模型加密工具
](
https://bj.bcebos.com/paddlex/tools/paddlex-encryption.zip
)
,编译脚本会自动下载该版本
加密工具,您也可以选择手动下载。
加密工具包含内容为:
[
Windows版本 PaddleX模型加密工具
](
https://bj.bcebos.com/paddlex/tools/win/paddlex-encryption.zip
)
,该版本加密工具需手动下载。
Linux加密工具包含内容为:
```
paddlex-encryption
├── include # 头文件:paddle_model_decrypt.h(解密)和paddle_model_encrypt.h(加密)
...
...
@@ -52,22 +54,38 @@ paddlex-encryption
└── tool # paddlex_encrypt_tool
```
Windows加密工具包含内容为:
```
paddlex-encryption
├── include # 头文件:paddle_model_decrypt.h(解密)和paddle_model_encrypt.h(加密)
|
├── lib # pmodel-encrypt.dll和pmodel-decrypt.dll动态库 pmodel-encrypt.lib和pmodel-encrypt.lib静态库
|
└── tool # paddlex_encrypt_tool.exe 模型加密工具
```
### 1.3 加密PaddleX模型
对模型完成加密后,加密工具会产生随机密钥信息(用于AES加解密使用),需要在后续加密部署时传入该密钥来用于解密。
> 密钥由32字节key + 16字节iv组成, 注意这里产生的key是经过base64编码后的,这样可以扩充key的选取范围
Linux:
```
./paddlex-encryption/tool/paddlex_encrypt_tool -model_dir /path/to/paddlex_inference_model -save_dir /path/to/paddlex_encrypted_model
```
Windows:
```
./paddlex-encryption/tool/paddlex_encrypt_tool.exe -model_dir /path/to/paddlex_inference_model -save_dir /path/to/paddlex_encrypted_model
```
`-model_dir`
用于指定inference模型路径(参考
[
导出inference模型
](
deploy_python.html#inference
)
将模型导出为inference格式模型),可使用
[
导出小度熊识别模型
](
deploy_python.html#inference
)
中导出的
`inference_model`
(
**注意**
:由于PaddleX代码的持续更新,版本低于1.0.0的模型暂时无法直接用于预测部署,参考
[
模型版本升级
](
../upgrade_version.md
)
对模型版本进行升级。)。加密完成后,加密过的模型会保存至指定的
`-save_dir`
下,包含
`__model__.encrypted`
、
`__params__.encrypted`
和
`model.yml`
三个文件,同时生成密钥信息,命令输出如下图所示,密钥为
`kLAl1qOs5uRbFt0/RrIDTZW2+tOf5bzvUIaHGF8lJ1c=`

## 2. PaddleX C++加密部署
参考
[
Linux平台编译指南
](
deploy_cpp/deploy_cpp_linux.html#linux
)
编译C++部署代码。编译成功后,预测demo的可执行程序分别为
`build/demo/detector`
,
`build/demo/classifer`
,
`build/demo/segmenter`
,用户可根据自己的模型类型选择,其主要命令参数说明如下:
### 2.1 Linux平台使用
参考
[
Linux平台编译指南
](
deploy_cpp/deploy_cpp_linux.md
)
编译C++部署代码。编译成功后,预测demo的可执行程序分别为
`build/demo/detector`
,
`build/demo/classifer`
,
`build/demo/segmenter`
,用户可根据自己的模型类型选择,其主要命令参数说明如下:
| 参数 | 说明 |
| ---- | ---- |
...
...
@@ -83,7 +101,7 @@ paddlex-encryption
## 样例
可使用
[
导出小度熊识别模型
](
deploy_python.
html
#inference
)
中的测试图片进行预测。
可使用
[
导出小度熊识别模型
](
deploy_python.
md
#inference
)
中的测试图片进行预测。
`样例一`
:
...
...
@@ -108,3 +126,34 @@ paddlex-encryption
./build/demo/detector
--model_dir
=
/path/to/models/inference_model
--image_list
=
/root/projects/images_list.txt
--use_gpu
=
1
--save_dir
=
output
--key
=
kLAl1qOs5uRbFt0/RrIDTZW2+tOf5bzvUIaHGF8lJ1c
=
```
`--key`
传入加密工具输出的密钥,例如
`kLAl1qOs5uRbFt0/RrIDTZW2+tOf5bzvUIaHGF8lJ1c=`
, 图片文件
`可视化预测结果`
会保存在
`save_dir`
参数设置的目录下。
### 2.2 Windows平台使用
参考
[
Windows平台编译指南
](
deploy_cpp/deploy_cpp_win_vs2019.md
)
。参数与Linux版本预测部署一致。预测demo的入口程序为paddlex_inference
\d
etector.exe,paddlex_inference
\c
lassifer.exe,paddlex_inference
\s
egmenter.exe。
## 样例
可使用
[
导出小度熊识别模型
](
deploy_python.md#inference
)
中的测试图片进行预测。
`样例一`
:
不使用
`GPU`
测试图片
`/path/to/xiaoduxiong.jpeg`
```
shell
./paddlex_inference
\d
etector.exe
--model_dir
=
/path/to/inference_model
--image
=
/path/to/xiaoduxiong.jpeg
--save_dir
=
output
--key
=
kLAl1qOs5uRbFt0/RrIDTZW2+tOf5bzvUIaHGF8lJ1c
=
```
`--key`
传入加密工具输出的密钥,例如
`kLAl1qOs5uRbFt0/RrIDTZW2+tOf5bzvUIaHGF8lJ1c=`
, 图片文件
`可视化预测结果`
会保存在
`save_dir`
参数设置的目录下。
`样例二`
:
使用
`GPU`
预测多个图片
`/path/to/image_list.txt`
,image_list.txt内容的格式如下:
```
/path/to/images/xiaoduxiong1.jpeg
/path/to/images/xiaoduxiong2.jpeg
...
/path/to/images/xiaoduxiongn.jpeg
```
```
shell
./paddlex_inference
\d
etector.exe
--model_dir
=
/path/to/models/inference_model
--image_list
=
/root/projects/images_list.txt
--use_gpu
=
1
--save_dir
=
output
--key
=
kLAl1qOs5uRbFt0/RrIDTZW2+tOf5bzvUIaHGF8lJ1c
=
```
`--key`
传入加密工具输出的密钥,例如
`kLAl1qOs5uRbFt0/RrIDTZW2+tOf5bzvUIaHGF8lJ1c=`
, 图片文件
`可视化预测结果`
会保存在
`save_dir`
参数设置的目录下。
编辑
预览
Markdown
is supported
0%
请重试
或
添加新附件
.
添加附件
取消
You are about to add
0
people
to the discussion. Proceed with caution.
先完成此消息的编辑!
取消
想要评论请
注册
或
登录