提交 fa10018b 编写于 作者: D dengkaipeng

remove BatchSampler/Dataset/MNIST/Flowes. test=develop

上级 36961011
......@@ -10,16 +10,13 @@ fluid.io
:maxdepth: 1
io_cn/batch_cn.rst
io_cn/BatchSampler_cn.rst
io_cn/buffered_cn.rst
io_cn/cache_cn.rst
io_cn/chain_cn.rst
io_cn/compose_cn.rst
io_cn/ComposeNotAligned_cn.rst
io_cn/DataLoader_cn.rst
io_cn/Dataset_cn.rst
io_cn/firstn_cn.rst
io_cn/Flowers_cn.rst
io_cn/get_program_parameter_cn.rst
io_cn/get_program_persistable_vars_cn.rst
io_cn/load_cn.rst
......@@ -28,7 +25,6 @@ fluid.io
io_cn/load_persistables_cn.rst
io_cn/load_program_state_cn.rst
io_cn/load_vars_cn.rst
io_cn/MNIST_cn.rst
io_cn/map_readers_cn.rst
io_cn/multiprocess_reader_cn.rst
io_cn/PyReader_cn.rst
......
.. _cn_api_fluid_io_BatchSampler:
BatchSampler
-------------------------------
.. py:class:: paddle.fluid.io.BatchSampler(dataset=None, indices=None, shuffle=False, batch_size=1, drop_last=False)
``fluid.io.DataLoader`` 使用的批次索引采样器,其可以迭代返回mini-batch的索引列表(长度为 ``batch_size`` ,内容为样本索引)。
``fluid.io.DataLoader`` 的 ``batch_sampler`` 参数必须为 ``BatchSampler`` 及其子类实例。 ``BatchSampler`` 子类须实现如下两个方法:
``__iter__`` : 迭代返回mini-batch索引列表。
``__len__`` : 每个epoch中的mini-batch个数。
参数:
- **dataset** (Dataset) - ``fluid.io.Dataset`` 实例或者实现了 ``__len__`` 接口的python对象,用于生成 ``dataset`` 长度范围的索引。默认值为None。
- **indices** (list|tuple) - 用于迭代的下标,``dataset`` 的替代参数, ``dataset`` 和 ``indices`` 必须设置其中之一。默认值为None。
- **shuffle** (bool) - 迭代返回索引之前是否对索引打乱顺序。默认值为False。
- **batch_size** (int) - 每mini-batch中的索引下标个数。默认值为1。
- **drop_last** (int) - 是否丢弃因数据集样本数不能被 ``batch_size`` 整除而产生的最后一个不完整的mini-batch索引。默认值为False。
返回:迭代索引列表的迭代器
返回类型: BatchSampler
**代码示例**
.. code-block:: python
from paddle.fluid.io import BatchSampler, MNIST
# init with indices
bs = BatchSampler(indices=list(range(1000)),
shuffle=True,
batch_size=8,
drop_last=True)
for batch_indices in bs:
print(batch_indices)
# init with dataset
bs = BatchSampler(dataset=MNIST(mode='test')),
shuffle=False,
batch_size=16,
drop_last=False)
for batch_indices in bs:
print(batch_indices)
.. _cn_api_fluid_io_Dataset:
Dataset
-------------------------------
.. py:class:: paddle.fluid.io.Dataset()
概述Dataset的方法和行为的抽象类。
映射式(map-style)数据集需要继承这个基类,映射式数据集为可以通过一个键值索引并获取指定样本的数据集,所有映射式数据集须实现以下方法:
``__getitem__`` : 根据给定索引获取数据集中指定样本,在 ``fluid.io.DataLoader`` 中需要使用此函数通过下标获取样本。
``__len__`` : 返回数据集样本个数, ``fluid.io.BatchSampler`` 中需要样本个数来生成下标序列。
.. _cn_api_fluid_io_Flowers:
Flowers
-------------------------------
.. py:class:: paddle.fluid.io.Flowers(data_file=None, label_file=None, setid_file=None, mode='train', download=True)
Flowers数据集
参数:
- **data_file** (str) - 数据集数据文件路径,若 ``download`` 为True, ``data_file`` 可设置为None。默认值为None。
- **label_file** (str) - 数据集数据文件路径,若 ``download`` 为True, ``label_file`` 可设置为None。默认值为None。
- **setid_file** (str) - 数据集数据文件路径,若 ``download`` 为True, ``setid_file`` 可设置为None。默认值为None。
- **mode** (str) - 数据集模式,即读取 ``'train'`` ``valid`` 或者 ``'test'`` 数据。默认值为 ``'train'`` 。
- **download** (bool) - 当 ``data_file`` ``label_file`` 或 ``setid_file`` 为None时,是否自动下载数据集。默认值为True。
返回:Flowers数据集
返回类型: Dataset
**代码示例**
.. code-block:: python
from paddle.fluid.io import Flowers
flowers = Flowers(mode='test')
for i in range(len(flowers)):
sample = flowers[i]
print(sample[0].shape, sample[1])
.. _cn_api_fluid_io_MNIST:
MNIST
-------------------------------
.. py:class:: paddle.fluid.io.MNIST(image_path=None, label_path=None, mode='train', download=True)
MNIST数据集
参数:
- **image_path** (str) - 数据集图像文件路径,若 ``download`` 为True, ``image_path`` 可设置为None。默认值为None。
- **label_path** (str) - 数据集标注文件路径,若 ``download`` 为True, ``label_path`` 可设置为None。默认值为None。
- **mode** (str) - 数据集模式,即读取 ``'train'`` 或者 ``'test'`` 数据。默认值为 ``'train'`` 。
- **download** (bool) - 当 ``image_path`` 或 ``label_path`` 为None时,是否自动下载数据集。默认值为True。
返回:MNIST数据集
返回类型: Dataset
**代码示例**
.. code-block:: python
from paddle.fluid.io import MNIST
mnist = MNIST(mode='test')
for i in range(len(mnist)):
sample = mnist[i]
print(sample[0].shape, sample[1])
Markdown is supported
0% .
You are about to add 0 people to the discussion. Proceed with caution.
先完成此消息的编辑!
想要评论请 注册