index.rst 2.3 KB
Newer Older
Y
yuyang18 已提交
1 2 3 4 5 6
..  _user_guide_prepare_data:

########
准备数据
########

Y
yuyang18 已提交
7 8 9
PaddlePaddle Fluid支持两种传入数据的方式:

1. 用户需要使用 :code:`fluid.layers.data`
J
Jeff Wang 已提交
10
配置数据输入层,并在 :code:`fluid.Executor` 或 :code:`fluid.ParallelExecutor`
Y
yuyang18 已提交
11 12 13
中,使用 :code:`executor.run(feed=...)` 传入训练数据。

2. 用户需要先将训练数据
J
Jeff Wang 已提交
14 15
转换成 Paddle 识别的 :code:`fluid.recordio_writer` , 再使用
:code:`fluid.layers.open_files` 以及 :code:`fluid.layers.reader` 配置数据读取。
Y
yuyang18 已提交
16 17 18 19 20 21 22 23

这两种准备数据方法的比较如下:

.. _user_guide_prepare_data_comparision:

+------------+----------------------------------+---------------------------------------+
|            |        Feed数据                  |         使用Reader                    |
+============+==================================+=======================================+
J
Jeff Wang 已提交
24
| API接口    | :code:`executor.run(feed=...)`   |         :code:`fluid.layers.reader`       |
Y
yuyang18 已提交
25
+------------+----------------------------------+---------------------------------------+
J
Jeff Wang 已提交
26
| 数据格式   |           Numpy Array            | :code:`fluid.recordio_writer` |
Y
yuyang18 已提交
27 28 29 30 31 32 33 34 35 36 37 38 39 40
+------------+----------------------------------+---------------------------------------+
| 数据增强   | Python端使用其他库完成           | 使用Fluid中的Operator 完成            |
+------------+----------------------------------+---------------------------------------+
|   速度     |                 慢               |                 快                    |
+------------+----------------------------------+---------------------------------------+
| 推荐用途   |   调试模型                       |   工业训练                            |
+------------+----------------------------------+---------------------------------------+

这些准备数据的详细使用方法,请参考:

.. toctree::
   :maxdepth: 2

   feeding_data
Y
yuyang18 已提交
41 42 43 44 45 46 47 48 49 50 51

Python Reader
#############

为了方便用户在Python中定义数据处理流程,PaddlePaddle Fluid支持 Python Reader,
具体请参考:

.. toctree::
   :maxdepth: 2

   reader.md
S
sneaxiy 已提交
52 53 54 55 56 57 58 59 60 61 62

PyReader
#############

Python Reader是纯Python的接口,数据传入与模型训练/预测过程是同步的,效率较低。
Fluid提供PyReader异步数据传入方式,具体请参考:

.. toctree::
   :maxdepth: 2

   use_py_reader.rst