Skip to content
体验新版
项目
组织
正在加载...
登录
切换导航
打开侧边栏
PaddlePaddle
PaddleX
提交
93f32645
P
PaddleX
项目概览
PaddlePaddle
/
PaddleX
通知
138
Star
4
Fork
0
代码
文件
提交
分支
Tags
贡献者
分支图
Diff
Issue
43
列表
看板
标记
里程碑
合并请求
5
Wiki
0
Wiki
分析
仓库
DevOps
项目成员
Pages
P
PaddleX
项目概览
项目概览
详情
发布
仓库
仓库
文件
提交
分支
标签
贡献者
分支图
比较
Issue
43
Issue
43
列表
看板
标记
里程碑
合并请求
5
合并请求
5
Pages
分析
分析
仓库分析
DevOps
Wiki
0
Wiki
成员
成员
收起侧边栏
关闭侧边栏
动态
分支图
创建新Issue
提交
Issue看板
未验证
提交
93f32645
编写于
5月 19, 2020
作者:
Z
Zeyu Chen
提交者:
GitHub
5月 19, 2020
浏览文件
操作
浏览文件
下载
差异文件
Add Encryption doc
add process in encryption.md
上级
87ff04e8
a54cf3e4
变更
3
隐藏空白更改
内联
并排
Showing
3 changed file
with
109 addition
and
1 deletion
+109
-1
docs/tutorials/deploy/deploy_server/deploy_cpp/index.rst
docs/tutorials/deploy/deploy_server/deploy_cpp/index.rst
+0
-1
docs/tutorials/deploy/deploy_server/encryption.md
docs/tutorials/deploy/deploy_server/encryption.md
+109
-0
docs/tutorials/deploy/images/encryption_process.png
docs/tutorials/deploy/images/encryption_process.png
+0
-0
未找到文件。
docs/tutorials/deploy/deploy_server/deploy_cpp/index.rst
浏览文件 @
93f32645
...
...
@@ -9,4 +9,3 @@ C++部署方案位于目录PaddleX/deploy/cpp/下,且独立于PaddleX其他模
deploy_cpp_win_vs2019.md
deploy_cpp_linux.md
encryption.md
docs/tutorials/deploy/deploy_server/
deploy_cpp/
encryption.md
→
docs/tutorials/deploy/deploy_server/encryption.md
浏览文件 @
93f32645
...
...
@@ -6,7 +6,39 @@
## 1. 方案简介
### 1.1 加密工具
### 1.1 简介
(1)加密算法的选择和支持的库
一般使用OpenSSL库来支持数据的加解密,OpenSSL提供了大量的加解密算法,包括对称加密算法(AES等)和非对称加密算法(RSA等)。
两种算法使用的场景不同,非对称加密算法一般应用于数字签名和密钥协商的场景下,而对称加密算法一般应用于纯数据加密场景,性能更优。在对模型的加密过程中使用对称加密算法。
以下对模型加密场景实现的说明中以开发一个C/C++库为基础,采用AES对称加密算法,为了加解密前后能够快速判断解密是否成功,使用AES-GCM加解密模式,在密钥的安全性上使用长度为256位的密钥数据。
(2)实现模型保护的一般步骤:
![](
../images/encryption_process.png
)
下面是对提供的C/C++加解密库内部实现的中文描述,参考以下步骤可以实现 一套加解密库 来适应自己的场景并通过内存数据load到paddlepaddle中(c/c++预测服务)
> 1)考虑到加密的模型文件解密后需要从内存加载数据,使用conbine的模式生成模型文件和参数文件。
>
> 2)项目集成OpenSSL,使用静态库的形式。
>
> 3)实现AES算法接口,借助OpenSSL提供的EVP接口,在EVP接口中指定算法类型,算法使用对称加解密算法中的AES,加解密模式使用AES-GCM, 密钥长度为256位,AES-GCM的实现可以参考官方提供的例子自己进行封装接口:https://wiki.openssl.org/index.php/EVP_Authenticated_Encryption_and_Decryption。
>
> 4)利用OpenSSL库实现SHA256摘要算法,这部分下面有用(可选)。关于SHA256的hash计算可以参考OpenSSL提供的example:https://wiki.openssl.org/index.php/EVP_Message_Digests
>
> 5)在模型加密环节直接对model文件和params文件的数据内容进行加密后保存到新的文件,为了新的文件能够被区分和可迭代,除了加密后的数据外还添加了头部信息,比如为了判断该文件类型使用固定的魔数作为文件的开头;为了便于后面需求迭代写入版本号以示区别;为了能够在解密时判断是否采用了相同的密钥将加密时的密钥进行SHA256计算后存储;这三部分构成了目前加密后文件的头部信息。加密后的文件包含头部信息 + 密文信息。
>
> 6)在模型解密环节根据加密后的文件读取相关的加密数据到内存中,对内存数据使用AES算法进行解密,注意解密时需要采用与加密时一致的加密算法和加密的模式,以及密钥的数据和长度,否则会导致解密后数据错误。
>
> 7)集成模型预测的C/C++库,在具体使用paddlepaddle预测时一般涉及paddle::AnalysisConfig和paddle:Predictor,为了能够从内存数据中直接load解密后的模型明文数据(避免模型解密后创建临时文件),这里需要将AnalysisConfig的模型加载函数从SetModel替换为SetModelBuffer来实现从内存中加载模型数据。
需要注意的是,在本方案中,密钥集成在上层预测服务的代码中。故模型的安全强度等同于代码抵御逆向调试的强度。为了保护密钥和模型的安全,开发者还需对自己的应用进行加固保护。常见的应用加固手段有:代码混淆,二进制文件加壳 等等,亦或将加密机制更改为AES白盒加密技术来保护密钥。这类技术领域内有大量商业和开源产品可供选择,此处不一一赘述。
### 1.2 加密工具
[
PaddleX模型加密工具
](
https://bj.bcebos.com/paddlex/tools/paddlex-encryption.zip
)
。在编译部署代码时,编译脚本会自动下载加密工具,您也可以选择手动下载。
...
...
@@ -20,7 +52,7 @@ paddlex-encryption
└── tool # paddlex_encrypt_tool
```
### 1.
2
加密PaddleX模型
### 1.
3
加密PaddleX模型
对模型完成加密后,加密工具会产生随机密钥信息(用于AES加解密使用),需要在后续加密部署时传入该密钥来用于解密。
> 密钥由32字节key + 16字节iv组成, 注意这里产生的key是经过base64编码后的,这样可以扩充key的选取范围
...
...
@@ -29,12 +61,12 @@ paddlex-encryption
./paddlex-encryption/tool/paddlex_encrypt_tool -model_dir /path/to/paddlex_inference_model -save_dir /path/to/paddlex_encrypted_model
```
`-model_dir`
用于指定inference模型路径(参考
[
导出inference模型
](
../deploy_python.html#inference
)
将模型导出为inference格式模型),可使用
[
导出小度熊识别模型
](
../
deploy_python.html#inference
)
中导出的
`inference_model`
。加密完成后,加密过的模型会保存至指定的
`-save_dir`
下,包含
`__model__.encrypted`
、
`__params__.encrypted`
和
`model.yml`
三个文件,同时生成密钥信息,命令输出如下图所示,密钥为
`kLAl1qOs5uRbFt0/RrIDTZW2+tOf5bzvUIaHGF8lJ1c=`
![](
../
../
images/encrypt.png
)
`-model_dir`
用于指定inference模型路径(参考
[
导出inference模型
](
deploy_python.html#inference
)
将模型导出为inference格式模型),可使用
[
导出小度熊识别模型
](
deploy_python.html#inference
)
中导出的
`inference_model`
。加密完成后,加密过的模型会保存至指定的
`-save_dir`
下,包含
`__model__.encrypted`
、
`__params__.encrypted`
和
`model.yml`
三个文件,同时生成密钥信息,命令输出如下图所示,密钥为
`kLAl1qOs5uRbFt0/RrIDTZW2+tOf5bzvUIaHGF8lJ1c=`
![](
../images/encrypt.png
)
## 2. PaddleX C++加密部署
参考
[
Linux平台编译指南
](
deploy_cpp
_linux.md
)
编译C++部署代码。编译成功后,预测demo的可执行程序分别为
`build/demo/detector`
,
`build/demo/classifer`
,
`build/demo/segmenter`
,用户可根据自己的模型类型选择,其主要命令参数说明如下:
参考
[
Linux平台编译指南
](
deploy_cpp
/deploy_cpp_linux.html#linux
)
编译C++部署代码。编译成功后,预测demo的可执行程序分别为
`build/demo/detector`
,
`build/demo/classifer`
,
`build/demo/segmenter`
,用户可根据自己的模型类型选择,其主要命令参数说明如下:
| 参数 | 说明 |
| ---- | ---- |
...
...
@@ -50,7 +82,7 @@ paddlex-encryption
## 样例
可使用
[
导出小度熊识别模型
](
../
deploy_python.html#inference
)
中的测试图片进行预测。
可使用
[
导出小度熊识别模型
](
deploy_python.html#inference
)
中的测试图片进行预测。
`样例一`
:
...
...
docs/tutorials/deploy/images/encryption_process.png
0 → 100644
浏览文件 @
93f32645
101.6 KB
编辑
预览
Markdown
is supported
0%
请重试
或
添加新附件
.
添加附件
取消
You are about to add
0
people
to the discussion. Proceed with caution.
先完成此消息的编辑!
取消
想要评论请
注册
或
登录