Skip to content
体验新版
项目
组织
正在加载...
登录
切换导航
打开侧边栏
PaddlePaddle
FluidDoc
提交
7403c6d9
F
FluidDoc
项目概览
PaddlePaddle
/
FluidDoc
通知
5
Star
2
Fork
0
代码
文件
提交
分支
Tags
贡献者
分支图
Diff
Issue
23
列表
看板
标记
里程碑
合并请求
111
Wiki
0
Wiki
分析
仓库
DevOps
项目成员
Pages
F
FluidDoc
项目概览
项目概览
详情
发布
仓库
仓库
文件
提交
分支
标签
贡献者
分支图
比较
Issue
23
Issue
23
列表
看板
标记
里程碑
合并请求
111
合并请求
111
Pages
分析
分析
仓库分析
DevOps
Wiki
0
Wiki
成员
成员
收起侧边栏
关闭侧边栏
动态
分支图
创建新Issue
提交
Issue看板
提交
7403c6d9
编写于
9月 22, 2020
作者:
Y
yaoxuefeng
浏览文件
操作
浏览文件
下载
电子邮件补丁
差异文件
fix
上级
5a1893ce
变更
2
隐藏空白更改
内联
并排
Showing
2 changed file
with
46 addition
and
46 deletion
+46
-46
doc/paddle/api/paddle/distributed/InMemoryDataset_cn.rst
doc/paddle/api/paddle/distributed/InMemoryDataset_cn.rst
+36
-36
doc/paddle/api/paddle/distributed/QueueDataset_cn.rst
doc/paddle/api/paddle/distributed/QueueDataset_cn.rst
+10
-10
未找到文件。
doc/paddle/api/paddle/distributed/InMemoryDataset_cn.rst
浏览文件 @
7403c6d9
...
...
@@ -27,15 +27,15 @@ InMemoryDataset会根据用户自定义的预处理指令预处理原始数据
对InMemoryDataset的实例进行配置初始化。
参数:
**kwargs** - 可选的关键字参数,由调用者提供, 目前支持以下关键字配置。
batch_size(int):
batch size的大小. 默认值为1。
thread_num(int):
用于训练的线程数, 默认值为1。
use_var(list):
用于输入的variable列表,默认值为[]。
input_type(int):
输入到模型训练样本的类型. 0 代表一条样本, 1 代表一个batch。 默认值为0。
fs_name(str):
hdfs名称. 默认值为""。
fs_ugi(str):
hdfs的ugi. 默认值为""。
pipe_command(str):
在当前的 ``dataset`` 中设置的pipe命令用于数据的预处理。pipe命令只能使用UNIX的pipe命令,默认为"cat"。
download_cmd(str):
数据下载pipe命令。 pipe命令只能使用UNIX的pipe命令, 默认为"cat"。
-
**kwargs** - 可选的关键字参数,由调用者提供, 目前支持以下关键字配置。
- **batch_size** (int) -
batch size的大小. 默认值为1。
- **thread_num** (int) -
用于训练的线程数, 默认值为1。
- **use_var** (list) -
用于输入的variable列表,默认值为[]。
- **input_type** (int) -
输入到模型训练样本的类型. 0 代表一条样本, 1 代表一个batch。 默认值为0。
- **fs_name** (str) -
hdfs名称. 默认值为""。
- **fs_ugi** (str) -
hdfs的ugi. 默认值为""。
- **pipe_command** (str) -
在当前的 ``dataset`` 中设置的pipe命令用于数据的预处理。pipe命令只能使用UNIX的pipe命令,默认为"cat"。
- **download_cmd** (str) -
数据下载pipe命令。 pipe命令只能使用UNIX的pipe命令, 默认为"cat"。
返回:None。
...
...
@@ -103,14 +103,14 @@ InMemoryDataset会根据用户自定义的预处理指令预处理原始数据
对InMemoryDataset的实例进行分布式训俩相关配置的初始化。
参数:
**kwargs** - 可选的关键字参数,由调用者提供, 目前支持以下关键字配置。
merge_size(int):
- 通过样本id来设置合并,相同id的样本将会在shuffle之后进行合并,你应该在一个data生成器里面解析样本id。merge_size表示合并的最小数量,默认值为-1,表示不做合并。
parse_ins_id(bool):
- 是否需要解析每条样的id,默认值为False。
parse_content(bool):
是否需要解析每条样本的content, 默认值为False。
fleet_send_batch_size(int):
设置发送batch的大小,默认值为1024。
fleet_send_sleep_seconds(int):
设置发送batch后的睡眠时间,默认值为0。
fea_eval(bool):
设置特征打乱特征验证模式,来修正特征级别的重要性, 特征打乱需要 ``fea_eval`` 被设置为True. 默认值为False。
candidate_size(int):
特征打乱特征验证模式下,用于随机化特征的候选池大小. 默认值为10000。
-
**kwargs** - 可选的关键字参数,由调用者提供, 目前支持以下关键字配置。
- **merge_size** (int)
- 通过样本id来设置合并,相同id的样本将会在shuffle之后进行合并,你应该在一个data生成器里面解析样本id。merge_size表示合并的最小数量,默认值为-1,表示不做合并。
- **parse_ins_id** (bool)
- 是否需要解析每条样的id,默认值为False。
- **parse_content** (bool) -
是否需要解析每条样本的content, 默认值为False。
- **fleet_send_batch_size** (int) -
设置发送batch的大小,默认值为1024。
- **fleet_send_sleep_seconds** (int) -
设置发送batch后的睡眠时间,默认值为0。
- **fea_eval** (bool) -
设置特征打乱特征验证模式,来修正特征级别的重要性, 特征打乱需要 ``fea_eval`` 被设置为True. 默认值为False。
- **candidate_size** (int) -
特征打乱特征验证模式下,用于随机化特征的候选池大小. 默认值为10000。
返回:None。
...
...
@@ -143,22 +143,22 @@ InMemoryDataset会根据用户自定义的预处理指令预处理原始数据
对InMemoryDataset的实例通过init和_init_distributed_settings初始化的配置进行更新。
参数:
**kwargs** - 可选的关键字参数,由调用者提供, 目前支持以下关键字配置。
batch_size(int):
batch size的大小. 默认值为1。
thread_num(int):
用于训练的线程数, 默认值为1。
use_var(list):
用于输入的variable列表,默认值为[]。
input_type(int):
输入到模型训练样本的类型. 0 代表一条样本, 1 代表一个batch。 默认值为0。
fs_name(str):
hdfs名称. 默认值为""。
fs_ugi(str):
hdfs的ugi. 默认值为""。
pipe_command(str):
在当前的 ``dataset`` 中设置的pipe命令用于数据的预处理。pipe命令只能使用UNIX的pipe命令,默认为"cat"。
download_cmd(str):
数据下载pipe命令。 pipe命令只能使用UNIX的pipe命令, 默认为"cat"。
merge_size(int):
- 通过样本id来设置合并,相同id的样本将会在shuffle之后进行合并,你应该在一个data生成器里面解析样本id。merge_size表示合并的最小数量,默认值为-1,表示不做合并。
parse_ins_id(bool):
- 是否需要解析每条样的id,默认值为False。
parse_content(bool):
是否需要解析每条样本的content, 默认值为False。
fleet_send_batch_size(int):
设置发送batch的大小,默认值为1024。
fleet_send_sleep_seconds(int):
设置发送batch后的睡眠时间,默认值为0。
fea_eval(bool):
设置特征打乱特征验证模式,来修正特征级别的重要性, 特征打乱需要 ``fea_eval`` 被设置为True. 默认值为False。
candidate_size(int):
特征打乱特征验证模式下,用于随机化特征的候选池大小. 默认值为10000。
-
**kwargs** - 可选的关键字参数,由调用者提供, 目前支持以下关键字配置。
- **batch_size** (int) -
batch size的大小. 默认值为1。
- **thread_num** (int) -
用于训练的线程数, 默认值为1。
- **use_var** (list) -
用于输入的variable列表,默认值为[]。
- **input_type** (int) -
输入到模型训练样本的类型. 0 代表一条样本, 1 代表一个batch。 默认值为0。
- **fs_name** (str) -
hdfs名称. 默认值为""。
- **fs_ugi** (str) -
hdfs的ugi. 默认值为""。
- **pipe_command** (str) -
在当前的 ``dataset`` 中设置的pipe命令用于数据的预处理。pipe命令只能使用UNIX的pipe命令,默认为"cat"。
- **download_cmd** (str) -
数据下载pipe命令。 pipe命令只能使用UNIX的pipe命令, 默认为"cat"。
- **merge_size** (int)
- 通过样本id来设置合并,相同id的样本将会在shuffle之后进行合并,你应该在一个data生成器里面解析样本id。merge_size表示合并的最小数量,默认值为-1,表示不做合并。
- **parse_ins_id** (bool)
- 是否需要解析每条样的id,默认值为False。
- **parse_content** (bool)
是否需要解析每条样本的content, 默认值为False。
- **fleet_send_batch_size** (int) -
设置发送batch的大小,默认值为1024。
- **fleet_send_sleep_seconds** (int) -
设置发送batch后的睡眠时间,默认值为0。
- **fea_eval** (bool) -
设置特征打乱特征验证模式,来修正特征级别的重要性, 特征打乱需要 ``fea_eval`` 被设置为True. 默认值为False。
- **candidate_size** (int) -
特征打乱特征验证模式下,用于随机化特征的候选池大小. 默认值为10000。
返回:None。
...
...
@@ -225,7 +225,7 @@ InMemoryDataset会根据用户自定义的预处理指令预处理原始数据
参数:
- **filelist** (list) - 文件列表
- **filelist** (list
[string]
) - 文件列表
.. py:method:: load_into_memory()
...
...
@@ -257,12 +257,12 @@ InMemoryDataset会根据用户自定义的预处理指令预处理原始数据
dataset.set_filelist(filelist)
dataset.load_into_memory()
.. py:method:: preload_into_memory()
.. py:method:: preload_into_memory(
thread_num=None
)
向内存中以异步模式加载数据。
参数:
thread_num
(int) - 异步加载数据时的线程数。
- **thread_num**
(int) - 异步加载数据时的线程数。
**代码示例**:
...
...
doc/paddle/api/paddle/distributed/QueueDataset_cn.rst
浏览文件 @
7403c6d9
...
...
@@ -27,15 +27,15 @@ QueueyDataset是流式处理数据使用Dataset类。与InmemoryDataset继承自
对QueueDataset的实例进行配置初始化。
参数:
**kwargs** - 可选的关键字参数,由调用者提供, 目前支持以下关键字配置。
batch_size(int):
batch size的大小. 默认值为1。
thread_num(int):
用于训练的线程数, 默认值为1。
use_var(list):
用于输入的variable列表,默认值为[]。
input_type(int):
输入到模型训练样本的类型. 0 代表一条样本, 1 代表一个batch。 默认值为0。
fs_name(str):
hdfs名称. 默认值为""。
fs_ugi(str):
hdfs的ugi. 默认值为""。
pipe_command(str):
在当前的 ``dataset`` 中设置的pipe命令用于数据的预处理。pipe命令只能使用UNIX的pipe命令,默认为"cat"。
download_cmd(str):
数据下载pipe命令。 pipe命令只能使用UNIX的pipe命令, 默认为"cat"。
-
**kwargs** - 可选的关键字参数,由调用者提供, 目前支持以下关键字配置。
- **batch_size** (int) -
batch size的大小. 默认值为1。
- **thread_num** (int) -
用于训练的线程数, 默认值为1。
- **use_var** (list) -
用于输入的variable列表,默认值为[]。
- **input_type** (int) -
输入到模型训练样本的类型. 0 代表一条样本, 1 代表一个batch。 默认值为0。
- **fs_name** (str) -
hdfs名称. 默认值为""。
- **fs_ugi** (str) -
hdfs的ugi. 默认值为""。
- **pipe_command** (str) -
在当前的 ``dataset`` 中设置的pipe命令用于数据的预处理。pipe命令只能使用UNIX的pipe命令,默认为"cat"。
- **download_cmd** (str) -
数据下载pipe命令。 pipe命令只能使用UNIX的pipe命令, 默认为"cat"。
返回:None。
...
...
@@ -135,4 +135,4 @@ QueueyDataset是流式处理数据使用Dataset类。与InmemoryDataset继承自
参数:
- **filelist** (list) - 文件列表
- **filelist** (list
[string]
) - 文件列表
编辑
预览
Markdown
is supported
0%
请重试
或
添加新附件
.
添加附件
取消
You are about to add
0
people
to the discussion. Proceed with caution.
先完成此消息的编辑!
取消
想要评论请
注册
或
登录