index.rst 2.1 KB
Newer Older
Y
yuyang18 已提交
1 2 3 4 5 6
..  _user_guide_prepare_data:

########
准备数据
########

Y
yuyang18 已提交
7 8
PaddlePaddle Fluid支持两种传入数据的方式:

S
sneaxiy 已提交
9
1. Python Reader同步方式:用户需要使用 :code:`fluid.layers.data`
J
Jeff Wang 已提交
10
配置数据输入层,并在 :code:`fluid.Executor` 或 :code:`fluid.ParallelExecutor`
Y
yuyang18 已提交
11 12
中,使用 :code:`executor.run(feed=...)` 传入训练数据。

S
sneaxiy 已提交
13 14 15 16
2. py_reader接口异步方式:用户需要先使用 :code:`fluid.layers.py_reader` 配置数据输入层,然后使用
:code:`py_reader` 的 :code:`decorate_paddle_reader` 或 :code:`decorate_tensor_provider`
方法配置数据源,再通过 :code:`fluid.layers.read_file` 读取数据。

Y
yuyang18 已提交
17 18 19

这两种准备数据方法的比较如下:

S
sneaxiy 已提交
20 21 22 23 24 25 26 27 28
========  =================================   =====================================
对比项            Python Reader同步方式                py_reader接口异步方式
========  =================================   =====================================
API接口     :code:`executor.run(feed=...)`       :code:`fluid.layers.py_reader`
数据格式              Numpy Array                   Numpy Array或LoDTensor
数据增强          Python端使用其他库完成                  Python端使用其他库完成
速度                     慢                                   快
推荐用途                调试模型                              工业训练
========  =================================   =====================================
Y
yuyang18 已提交
29

S
sneaxiy 已提交
30 31
Python Reader同步方式
#####################
Y
yuyang18 已提交
32

S
sneaxiy 已提交
33 34 35
Fluid提供Python Reader方式传入数据。
Python Reader是纯的Python端接口,数据传入与模型训练/预测过程是同步的。用户可通过Numpy Array传入
数据,具体请参考:
Y
yuyang18 已提交
36 37

.. toctree::
S
shanyi15 已提交
38
   :maxdepth: 1
Y
yuyang18 已提交
39

S
sneaxiy 已提交
40
   feeding_data.rst
Y
yuyang18 已提交
41

S
sneaxiy 已提交
42
Python Reader支持组batch、shuffle等高级功能,具体请参考:
Y
yuyang18 已提交
43 44

.. toctree::
S
shanyi15 已提交
45
   :maxdepth: 1
Y
yuyang18 已提交
46 47

   reader.md
S
sneaxiy 已提交
48

S
sneaxiy 已提交
49 50
py_reader接口异步方式
#####################
S
sneaxiy 已提交
51

S
sneaxiy 已提交
52
Fluid提供PyReader异步数据传入方式,数据传入与模型训练/预测过程是异步的,效率较高。具体请参考:
S
sneaxiy 已提交
53 54

.. toctree::
S
shanyi15 已提交
55
   :maxdepth: 1
S
sneaxiy 已提交
56 57

   use_py_reader.rst