Skip to content
体验新版
项目
组织
正在加载...
登录
切换导航
打开侧边栏
PaddlePaddle
X2Paddle
提交
54ca1dbb
X
X2Paddle
项目概览
PaddlePaddle
/
X2Paddle
大约 1 年 前同步成功
通知
328
Star
698
Fork
167
代码
文件
提交
分支
Tags
贡献者
分支图
Diff
Issue
26
列表
看板
标记
里程碑
合并请求
4
Wiki
0
Wiki
分析
仓库
DevOps
项目成员
Pages
X
X2Paddle
项目概览
项目概览
详情
发布
仓库
仓库
文件
提交
分支
标签
贡献者
分支图
比较
Issue
26
Issue
26
列表
看板
标记
里程碑
合并请求
4
合并请求
4
Pages
分析
分析
仓库分析
DevOps
Wiki
0
Wiki
成员
成员
收起侧边栏
关闭侧边栏
动态
分支图
创建新Issue
提交
Issue看板
未验证
提交
54ca1dbb
编写于
4月 22, 2021
作者:
J
Jason
提交者:
GitHub
4月 22, 2021
浏览文件
操作
浏览文件
下载
差异文件
Merge pull request #548 from SunAhong1993/dev
add pytorch mapper and update readme
上级
f079c8a7
8868239e
变更
4
展开全部
显示空白变更内容
内联
并排
Showing
4 changed file
with
224 addition
and
193 deletion
+224
-193
README.md
README.md
+67
-62
docs/images/frame.png
docs/images/frame.png
+0
-0
docs/user_guides/pd_folder_introduction.md
docs/user_guides/pd_folder_introduction.md
+10
-0
x2paddle/op_mapper/dygraph/pytorch2paddle/aten.py
x2paddle/op_mapper/dygraph/pytorch2paddle/aten.py
+147
-131
未找到文件。
README.md
浏览文件 @
54ca1dbb
# X2Paddle
# X2Paddle
[
![License
](
https://img.shields.io/badge/license-Apache%202-blue.svg
)
](LICENSE)
[
![License
](
https://img.shields.io/badge/license-Apache%202-blue.svg
)
](LICENSE)
[
![Version
](
https://img.shields.io/github/release/PaddlePaddle/X2Paddle.svg
)
](https://github.com/PaddlePaddle/X2Paddle/releases)
[
![Version
](
https://img.shields.io/github/release/PaddlePaddle/X2Paddle.svg
)
](https://github.com/PaddlePaddle/X2Paddle/releases)
X2Paddle支持将其余深度学习框架训练得到的模型,转换至PaddlePaddle模型。
![
python version
](
https://img.shields.io/badge/python-3.5+-orange.svg
)
X2Paddle is a toolkit for converting trained model to PaddlePaddle from other deep learning frameworks.
## 简介
X2Paddle用于不同框架模型或项目到PaddlePaddle框架模型或项目的迁移,旨在为飞桨开发者提升框架间迁移的效率。
X2Paddle支持Caffe/TensorFlow/ONNX/PyTorch的预测模型,一步转换至PaddlePaddle预测模型;同时,支持PyTorch训练项目,转换至PaddlePaddle项目,助力用户在PaddlePaddlePaddle上进行模型训练。
### 架构设计
X2Paddle的架构设计着重考虑了对多深度学习框架的的支持以及代码的易读性、易扩展性,并且在多个层面的对转换后OP进行优化处理。
![](
./docs/images/frame.png
)
### 特性
-
***支持框架丰富**
*
:目前已经支持Caffe/TensorFlow/ONNX/PyTorch四大框架的迁移,涵盖目前市面主流深度学习框架。
-
***转换模型丰富**
*
:在主流的CV和NLP模型上均支持转换,涵盖了19+个Caffe模型转换、27+个TensorFlow模型转换、32+个ONNX模型转换、27+个PyTorch模型转换、2+个PyTorch项目转换。
-
***简洁易用**
*
:一条命令行或者一个API即可完成迁移。
## 转换模型库
X2Paddle在多个主流的CV模型上,测试过TensorFlow/Caffe/ONNX/PyTorch模型的转换,可以在
[
X2Paddle-Model-Zoo
](
./docs/introduction/x2paddle_model_zoo.md
)
查看我们的模型测试列表,可以在
[
OP-LIST
](
./docs/introduction/op_list.md
)
中查看目前X2Paddle支持的OP列表。如果你在新的模型上进行了测试转换,也欢迎继续补充该列表;如若无法转换,可通过ISSUE反馈给我们,我们会尽快跟进。
## 环境依赖
## 环境依赖
-
python >= 3.5
python >= 3.5
-
paddlepaddle >= 2.0.0
paddlepaddle 2.0.0-rc1 或者 develop
**按需安装以下依赖**
**按需安装以下依赖**
tensorflow : tensorflow == 1.14.0
-
tensorflow : tensorflow == 1.14.0
caffe : 无
-
caffe : 无
onnx : onnx >= 1.6.0
-
onnx : onnx >= 1.6.0
pytorch:torch >=1.5.0 (script方式暂不支持1.7.0)
-
pytorch:torch >=1.5.0 (script方式暂不支持1.7.0)
## 安装
## 安装
###
安装方式一
(推荐)
###
方式一:源码安装
(推荐)
```
```
git clone https://github.com/PaddlePaddle/X2Paddle.git
git clone https://github.com/PaddlePaddle/X2Paddle.git
cd X2Paddle
cd X2Paddle
...
@@ -28,83 +39,77 @@ git checkout develop
...
@@ -28,83 +39,77 @@ git checkout develop
python setup.py install
python setup.py install
```
```
###
安装方式二
###
方式二:pip安装
我们会定期更新pip源上的x2paddle版本
我们会定期更新pip源上的x2paddle版本
```
```
pip install x2paddle
==1.0.0rc0
--index https://pypi.Python.org/simple/
pip install x2paddle --index https://pypi.Python.org/simple/
```
```
## 使用方法
## 快速开始
### TensorFlow
### 预测模型转换
| 参数 | 作用 |
| -------------------- | ------------------------------------------------------------ |
| --framework | 源模型类型 (tensorflow、caffe、onnx) |
| --prototxt | 当framework为caffe时,该参数指定caffe模型的proto文件路径 |
| --weight | 当framework为caffe时,该参数指定caffe模型的参数文件路径 |
| --save_dir | 指定转换后的模型保存目录路径 |
| --model | 当framework为tensorflow/onnx时,该参数指定tensorflow的pb模型文件或onnx模型路径 |
| --caffe_proto |
**[可选]**
由caffe.proto编译成caffe_pb2.py文件的存放路径,当存在自定义Layer时使用,默认为None |
| --define_input_shape |
**[可选]**
For TensorFlow, 当指定该参数时,强制用户输入每个Placeholder的shape,见
[
文档Q2
](
./docs/user_guides/FAQ.md
)
|
| --paddle_type |
**[可选]**
该参数指定转换为动态图代码(dygraph)或者静态图代码(static),默认为dygraph |
#### TensorFlow
```
```
x2paddle --framework=tensorflow --model=tf_model.pb --save_dir=pd_model --paddle_type dygraph
x2paddle --framework=tensorflow --model=tf_model.pb --save_dir=pd_model --paddle_type dygraph
```
```
### Caffe
###
#
Caffe
```
```
x2paddle --framework=caffe --prototxt=deploy.prototxt --weight=deploy.caffemodel --save_dir=pd_model --paddle_type dygraph
x2paddle --framework=caffe --prototxt=deploy.prototxt --weight=deploy.caffemodel --save_dir=pd_model --paddle_type dygraph
```
```
### ONNX
###
#
ONNX
```
```
x2paddle --framework=onnx --model=onnx_model.onnx --save_dir=pd_model --paddle_type dygraph
x2paddle --framework=onnx --model=onnx_model.onnx --save_dir=pd_model --paddle_type dygraph
```
```
### PyTorch
#### PyTorch
> PyTorch不支持命令行使用方式,详见[PyTorch2Paddle](./docs/user_guides/pytorch2paddle.md)
PyTorch仅支持API使用方式,详见
[
PyTorch预测模型转换文档
](
./docs/user_guides/pytorch2paddle.md
)
。
### Paddle2ONNX
> Paddle2ONNX功能已迁移至新的github: https://github.com/PaddlePaddle/paddle2onnx, 欢迎大家去新的代码仓库查看详细介绍以及新功能。
### 训练项目转换
#### PyTorch
【待更新】可安装
[
分支
](
https://github.com/PaddlePaddle/X2Paddle/tree/pytorch_project_convertor
)
源码进行使用。
详见
[
PyTorch训练项目转换文档
](
https://github.com/SunAhong1993/X2Paddle/blob/code_convert_last/docs/pytorch_project_convertor/README.md
)
。
### 参数选项
| 参数 | |
|----------|--------------|
|--framework | 源模型类型 (tensorflow、caffe、onnx) |
|--prototxt | 当framework为caffe时,该参数指定caffe模型的proto文件路径 |
|--weight | 当framework为caffe时,该参数指定caffe模型的参数文件路径 |
|--save_dir | 指定转换后的模型保存目录路径 |
|--model | 当framework为tensorflow/onnx时,该参数指定tensorflow的pb模型文件或onnx模型路径 |
|--caffe_proto |
**[可选]**
由caffe.proto编译成caffe_pb2.py文件的存放路径,当存在自定义Layer时使用,默认为None |
|--define_input_shape |
**[可选]**
For TensorFlow, 当指定该参数时,强制用户输入每个Placeholder的shape,见
[
文档Q2
](
./docs/user_guides/FAQ.md
)
|
|--paddle_type |
**[可选]**
该参数指定转换为动态图代码(dygraph)或者静态图代码(static),默认为dygraph|
## 使用转换后的模型
-
静态图:
转换后的模型包括
`model_with_code`
和
`inference_model`
两个目录。
`model_with_code`
中保存了模型参数,和转换后的python模型静态图代码。
`inference_model`
中保存了序列化的模型结构和参数,可直接使用paddle的接口进行加载,见
[
paddle.static.load_inference_model
](
https://www.paddlepaddle.org.cn/documentation/docs/zh/2.0-rc/api/paddle/static/load_inference_model_cn.html#load-inference-model
)
。
-
动态图:
转换后的模型包括
`model.pdparams`
和
`x2paddle_code.py`
两个文件,以及
`inference_model`
一个目录。
`model.pdparams`
中保存了模型参数。
`x2paddle_code.py`
是转换后的python模型动态图代码。
`inference_model`
中保存了序列化的模型结构和参数,可直接使用paddle的接口进行加载,见
[
paddle.static.load_inference_model
](
https://www.paddlepaddle.org.cn/documentation/docs/zh/2.0-rc/api/paddle/static/load_inference_model_cn.html#load-inference-model
)
。
## 小工具
## 小工具
X2Paddle提供了工具解决如下问题,详见
[
tools/README.md
](
tools/README.md
)
X2Paddle提供了工具解决如下问题,详见
[
tools/README.md
](
tools/README.md
)
1.
检测模型是否在PaddleLite中支持
1.
检测模型是否在PaddleLite中支持
2.
合并模型参数文件
2.
合并模型参数文件
## 相关文档
## 使用相关文档
1.
[
X2Paddle使用过程中常见问题
](
./docs/user_guides/FAQ.md
)
1.
[
X2Paddle使用过程中常见问题
](
./docs/user_guides/FAQ.md
)
2.
[
如何导出TensorFlow的pb模型
](
./docs/user_guides/export_tf_model.md
)
2.
[
如何导出TensorFlow的Frozen Model
](
./docs/user_guides/export_tf_model.md
)
3.
[
X2Paddle测试模型库
](
./docs/introduction/x2paddle_model_zoo.md
)
3.
[
PyTorch模型导出为ONNX模型
](
./docs/user_guides/pytorch2onnx.md
)
4.
[
X2Paddle支持的op列表
](
./docs/introduction/op_list.md
)
4.
[
X2Paddle添加内置的Caffe自定义层
](
./docs/user_guides/add_caffe_custom_layer.md
)
5.
[
PyTorch模型导出为ONNX模型
](
./docs/user_guides/pytorch2onnx.md
)
5.
[
转换后PaddlePaddle预测模型简介
](
./docs/user_guides/pd_folder_introduction.py
)
6.
[
X2Paddle添加内置的Caffe自定义层
](
./docs/user_guides/add_caffe_custom_layer.md
)
7.
[
TensorFlow转换教程
](
./docs/demo/tensorflow2paddle.ipynb
)
## 支持列表文档
8.
[
PyTorch转换教程
](
./docs/demo/pytorch2paddle.ipynb
)
1.
[
X2Paddle测试模型库
](
./docs/introduction/x2paddle_model_zoo.md
)
2.
[
X2Paddle支持的op列表
](
./docs/introduction/op_list.md
)
## 转换教程
1.
[
TensorFlow预测模型转换教程
](
./docs/demo/tensorflow2paddle.ipynb
)
2.
[
PyTorch预测模型转换教程
](
./docs/demo/pytorch2paddle.ipynb
)
## 更新历史
## 更新历史
2020.
12.09
2020.
12.09
1.
新增PyTorch2Paddle转换方式,转换得到Paddle动态图代码,并动转静获得inference_model。
1.
新增PyTorch2Paddle转换方式,转换得到Paddle动态图代码,并动转静获得inference_model。
方式一:trace方式,转换后的代码有模块划分,每个模块的功能与PyTorch相同。
方式一:trace方式,转换后的代码有模块划分,每个模块的功能与PyTorch相同。
方式二:script方式,转换后的代码按执行顺序逐行出现。
方式二:script方式,转换后的代码按执行顺序逐行出现。
2.
新增Caffe/ONNX/Tensorflow到Paddle动态图的转换。
2.
新增Caffe/ONNX/Tensorflow到Paddle动态图的转换。
3.
新增TensorFlow op(14个):Neg、Greater、FloorMod、LogicalAdd、Prd、Equal、Conv3D、Ceil、AddN、DivNoNan、Where、MirrorPad、Size、TopKv2
3.
新增TensorFlow op(14个):Neg、Greater、FloorMod、LogicalAdd、Prd、Equal、Conv3D、Ceil、AddN、DivNoNan、Where、MirrorPad、Size、TopKv2
4.
新增Optimizer模块,主要包括op融合、op消除功能,转换后的代码可读性更强,进行预测时耗时更短。
4.
新增Optimizer模块,主要包括op融合、op消除功能,转换后的代码可读性更强,进行预测时耗时更短。
##
Acknowledgements
##
贡献代码
X2Paddle refers to the following projects:
我们非常欢迎您为X2Paddle贡献代码或者提供使用建议。如果您可以修复某个issue或者增加一个新功能,欢迎给我们提交Pull Requests。
-
[
MMdnn
](
https://github.com/microsoft/MMdnn
)
docs/images/frame.png
0 → 100644
浏览文件 @
54ca1dbb
187.7 KB
docs/user_guides/pd_folder_introduction.md
0 → 100644
浏览文件 @
54ca1dbb
# 转换后PaddlePaddle预测模型简介
-
静态图:
转换后的模型包括
`model_with_code`
和
`inference_model`
两个目录。
`model_with_code`
中保存了模型参数,和转换后的python模型静态图代码。
`inference_model`
中保存了序列化的模型结构和参数,可直接使用paddle的接口进行加载,见
[
paddle.static.load_inference_model
](
https://www.paddlepaddle.org.cn/documentation/docs/zh/2.0-rc/api/paddle/static/load_inference_model_cn.html#load-inference-model
)
。
-
动态图:
转换后的模型包括
`model.pdparams`
和
`x2paddle_code.py`
两个文件,以及
`inference_model`
一个目录。
`model.pdparams`
中保存了模型参数。
`x2paddle_code.py`
是转换后的python模型动态图代码。
`inference_model`
中保存了序列化的模型结构和参数,可直接使用paddle的接口进行加载,见
[
paddle.static.load_inference_model
](
https://www.paddlepaddle.org.cn/documentation/docs/zh/2.0-rc/api/paddle/static/load_inference_model_cn.html#load-inference-model
)
。
x2paddle/op_mapper/dygraph/pytorch2paddle/aten.py
浏览文件 @
54ca1dbb
此差异已折叠。
点击以展开。
编辑
预览
Markdown
is supported
0%
请重试
或
添加新附件
.
添加附件
取消
You are about to add
0
people
to the discussion. Proceed with caution.
先完成此消息的编辑!
取消
想要评论请
注册
或
登录