未验证 提交 db03a1fc 编写于 作者: W wangchaochaohu 提交者: GitHub

fix doc for PipyReader (#1299)

* fix doc for PipyReader test=develop

* fix doc for PipyReader test=develop

* fix according reviewer advice test=develop
上级 d499f948
......@@ -3,26 +3,34 @@
PipeReader
-------------------------------
.. py:class:: paddle.fluid.io.PipeReader
.. py:class:: paddle.fluid.io.PipeReader(command, bufsize=8192, file_type="plain")
PipeReader从命令中通过流来读取数据,把数据存在一个pipe缓存中,并重定向到解析器中解析,返回预先设计格式的数据。
PipeReader从命令的输出流中读取数据,把数据存在一个pipe缓存中,并重定向到解析器中解析,返回预先设计格式的数据。
你可以使用标准的Linux命令或者调用其他程序来读取数据,从HDFS, Ceph, URL, AWS S3等等。
读取的数据可以来自标准的Linux命令或者调用其他程序,从HDFS, Ceph, URL, AWS S3等等,如下是一些命令实例:
.. code-block:: python
.. code-block:: python
cmd = "hadoop fs -cat /path/to/some/file"
cmd = "cat sample_file.tar.gz"
cmd = "curl http://someurl"
cmd = "python print_s3_bucket.py"
参数:
- **command** (str) – 该参数表示产生数据来源的命令。
- **bufsize** (int) – 该参数表示pipe缓存的大小,默认为8192。
- **file_type** (str) – command操作文件类型,可选类型只能为plain或者gzip,默认为plain。
返回: 返回一个PipeReader实例。
**代码示例**
.. code-block:: python
def example_reader():
for f in myfiles:
pr = PipeReader("cat %s"%f)
.. code-block:: python
import paddle
def example_reader(filelist):
for f in filelist:
pr = paddle.reader.PipeReader("cat %s"%f)
for l in pr.get_line():
sample = l.split(" ")
yield sample
......
Markdown is supported
0% .
You are about to add 0 people to the discussion. Proceed with caution.
先完成此消息的编辑!
想要评论请 注册