From fa10018bb2d8819a9037b9f03c6baa14e96c9221 Mon Sep 17 00:00:00 2001 From: dengkaipeng Date: Mon, 13 Apr 2020 11:25:24 +0000 Subject: [PATCH] remove BatchSampler/Dataset/MNIST/Flowes. test=develop --- doc/fluid/api_cn/io_cn.rst | 4 -- doc/fluid/api_cn/io_cn/BatchSampler_cn.rst | 48 ---------------------- doc/fluid/api_cn/io_cn/Dataset_cn.rst | 14 ------- doc/fluid/api_cn/io_cn/Flowers_cn.rst | 31 -------------- doc/fluid/api_cn/io_cn/MNIST_cn.rst | 31 -------------- 5 files changed, 128 deletions(-) delete mode 100755 doc/fluid/api_cn/io_cn/BatchSampler_cn.rst delete mode 100755 doc/fluid/api_cn/io_cn/Dataset_cn.rst delete mode 100755 doc/fluid/api_cn/io_cn/Flowers_cn.rst delete mode 100755 doc/fluid/api_cn/io_cn/MNIST_cn.rst diff --git a/doc/fluid/api_cn/io_cn.rst b/doc/fluid/api_cn/io_cn.rst index a3eecee30..6b8f3e2d9 100755 --- a/doc/fluid/api_cn/io_cn.rst +++ b/doc/fluid/api_cn/io_cn.rst @@ -10,16 +10,13 @@ fluid.io :maxdepth: 1 io_cn/batch_cn.rst - io_cn/BatchSampler_cn.rst io_cn/buffered_cn.rst io_cn/cache_cn.rst io_cn/chain_cn.rst io_cn/compose_cn.rst io_cn/ComposeNotAligned_cn.rst io_cn/DataLoader_cn.rst - io_cn/Dataset_cn.rst io_cn/firstn_cn.rst - io_cn/Flowers_cn.rst io_cn/get_program_parameter_cn.rst io_cn/get_program_persistable_vars_cn.rst io_cn/load_cn.rst @@ -28,7 +25,6 @@ fluid.io io_cn/load_persistables_cn.rst io_cn/load_program_state_cn.rst io_cn/load_vars_cn.rst - io_cn/MNIST_cn.rst io_cn/map_readers_cn.rst io_cn/multiprocess_reader_cn.rst io_cn/PyReader_cn.rst diff --git a/doc/fluid/api_cn/io_cn/BatchSampler_cn.rst b/doc/fluid/api_cn/io_cn/BatchSampler_cn.rst deleted file mode 100755 index aec30744e..000000000 --- a/doc/fluid/api_cn/io_cn/BatchSampler_cn.rst +++ /dev/null @@ -1,48 +0,0 @@ -.. _cn_api_fluid_io_BatchSampler: - -BatchSampler -------------------------------- - -.. py:class:: paddle.fluid.io.BatchSampler(dataset=None, indices=None, shuffle=False, batch_size=1, drop_last=False) - -``fluid.io.DataLoader`` 使用的批次索引采样器，其可以迭代返回mini-batch的索引列表(长度为 ``batch_size`` ，内容为样本索引)。 -``fluid.io.DataLoader`` 的 ``batch_sampler`` 参数必须为 ``BatchSampler`` 及其子类实例。 ``BatchSampler`` 子类须实现如下两个方法： - -``__iter__`` : 迭代返回mini-batch索引列表。 - -``__len__`` : 每个epoch中的mini-batch个数。 - -参数: - - **dataset** (Dataset) - ``fluid.io.Dataset`` 实例或者实现了 ``__len__`` 接口的python对象，用于生成 ``dataset`` 长度范围的索引。默认值为None。 - - **indices** (list|tuple) - 用于迭代的下标，``dataset`` 的替代参数， ``dataset`` 和 ``indices`` 必须设置其中之一。默认值为None。 - - **shuffle** (bool) - 迭代返回索引之前是否对索引打乱顺序。默认值为False。 - - **batch_size** (int) - 每mini-batch中的索引下标个数。默认值为1。 - - **drop_last** (int) - 是否丢弃因数据集样本数不能被 ``batch_size`` 整除而产生的最后一个不完整的mini-batch索引。默认值为False。 - -返回：迭代索引列表的迭代器 - -返回类型: BatchSampler - -**代码示例** - -.. code-block:: python - - from paddle.fluid.io import BatchSampler, MNIST - - # init with indices - bs = BatchSampler(indices=list(range(1000)), - shuffle=True, - batch_size=8, - drop_last=True) - - for batch_indices in bs: - print(batch_indices) - - # init with dataset - bs = BatchSampler(dataset=MNIST(mode='test')), - shuffle=False, - batch_size=16, - drop_last=False) - - for batch_indices in bs: - print(batch_indices) diff --git a/doc/fluid/api_cn/io_cn/Dataset_cn.rst b/doc/fluid/api_cn/io_cn/Dataset_cn.rst deleted file mode 100755 index c17b5bee1..000000000 --- a/doc/fluid/api_cn/io_cn/Dataset_cn.rst +++ /dev/null @@ -1,14 +0,0 @@ -.. _cn_api_fluid_io_Dataset: - -Dataset -------------------------------- - -.. py:class:: paddle.fluid.io.Dataset() - -概述Dataset的方法和行为的抽象类。 - -映射式(map-style)数据集需要继承这个基类，映射式数据集为可以通过一个键值索引并获取指定样本的数据集，所有映射式数据集须实现以下方法： - -``__getitem__`` : 根据给定索引获取数据集中指定样本，在 ``fluid.io.DataLoader`` 中需要使用此函数通过下标获取样本。 - -``__len__`` : 返回数据集样本个数， ``fluid.io.BatchSampler`` 中需要样本个数来生成下标序列。 diff --git a/doc/fluid/api_cn/io_cn/Flowers_cn.rst b/doc/fluid/api_cn/io_cn/Flowers_cn.rst deleted file mode 100755 index 4fdd87e23..000000000 --- a/doc/fluid/api_cn/io_cn/Flowers_cn.rst +++ /dev/null @@ -1,31 +0,0 @@ -.. _cn_api_fluid_io_Flowers: - -Flowers -------------------------------- - -.. py:class:: paddle.fluid.io.Flowers(data_file=None, label_file=None, setid_file=None, mode='train', download=True) - -Flowers数据集 - -参数: - - **data_file** (str) - 数据集数据文件路径，若 ``download`` 为True， ``data_file`` 可设置为None。默认值为None。 - - **label_file** (str) - 数据集数据文件路径，若 ``download`` 为True， ``label_file`` 可设置为None。默认值为None。 - - **setid_file** (str) - 数据集数据文件路径，若 ``download`` 为True， ``setid_file`` 可设置为None。默认值为None。 - - **mode** (str) - 数据集模式，即读取 ``'train'`` ``valid`` 或者 ``'test'`` 数据。默认值为 ``'train'`` 。 - - **download** (bool) - 当 ``data_file`` ``label_file`` 或 ``setid_file`` 为None时，是否自动下载数据集。默认值为True。 - -返回：Flowers数据集 - -返回类型: Dataset - -**代码示例** - -.. code-block:: python - - from paddle.fluid.io import Flowers - - flowers = Flowers(mode='test') - - for i in range(len(flowers)): - sample = flowers[i] - print(sample[0].shape, sample[1]) diff --git a/doc/fluid/api_cn/io_cn/MNIST_cn.rst b/doc/fluid/api_cn/io_cn/MNIST_cn.rst deleted file mode 100755 index 03bb07f90..000000000 --- a/doc/fluid/api_cn/io_cn/MNIST_cn.rst +++ /dev/null @@ -1,31 +0,0 @@ -.. _cn_api_fluid_io_MNIST: - -MNIST -------------------------------- - -.. py:class:: paddle.fluid.io.MNIST(image_path=None, label_path=None, mode='train', download=True) - -MNIST数据集 - -参数: - - **image_path** (str) - 数据集图像文件路径，若 ``download`` 为True， ``image_path`` 可设置为None。默认值为None。 - - **label_path** (str) - 数据集标注文件路径，若 ``download`` 为True， ``label_path`` 可设置为None。默认值为None。 - - **mode** (str) - 数据集模式，即读取 ``'train'`` 或者 ``'test'`` 数据。默认值为 ``'train'`` 。 - - **download** (bool) - 当 ``image_path`` 或 ``label_path`` 为None时，是否自动下载数据集。默认值为True。 - -返回：MNIST数据集 - -返回类型: Dataset - -**代码示例** - -.. code-block:: python - - from paddle.fluid.io import MNIST - - mnist = MNIST(mode='test') - - for i in range(len(mnist)): - sample = mnist[i] - print(sample[0].shape, sample[1]) - -- GitLab