Skip to content
体验新版
项目
组织
正在加载...
登录
切换导航
打开侧边栏
PaddlePaddle
PALM
提交
3b70c47b
P
PALM
项目概览
PaddlePaddle
/
PALM
通知
5
Star
3
Fork
0
代码
文件
提交
分支
Tags
贡献者
分支图
Diff
Issue
10
列表
看板
标记
里程碑
合并请求
0
Wiki
0
Wiki
分析
仓库
DevOps
项目成员
Pages
P
PALM
项目概览
项目概览
详情
发布
仓库
仓库
文件
提交
分支
标签
贡献者
分支图
比较
Issue
10
Issue
10
列表
看板
标记
里程碑
合并请求
0
合并请求
0
Pages
分析
分析
仓库分析
DevOps
Wiki
0
Wiki
成员
成员
收起侧边栏
关闭侧边栏
动态
分支图
创建新Issue
提交
Issue看板
未验证
提交
3b70c47b
编写于
3月 30, 2020
作者:
X
Xiaoyao Xi
提交者:
GitHub
3月 30, 2020
浏览文件
操作
浏览文件
下载
电子邮件补丁
差异文件
Update base_reader.py
上级
091c3698
变更
1
隐藏空白更改
内联
并排
Showing
1 changed file
with
7 addition
and
9 deletion
+7
-9
paddlepalm/reader/base_reader.py
paddlepalm/reader/base_reader.py
+7
-9
未找到文件。
paddlepalm/reader/base_reader.py
浏览文件 @
3b70c47b
...
@@ -75,18 +75,16 @@ class Reader(object):
...
@@ -75,18 +75,16 @@ class Reader(object):
def
load_data
(
self
,
input_file
,
batch_size
,
num_epochs
=
None
,
\
def
load_data
(
self
,
input_file
,
batch_size
,
num_epochs
=
None
,
\
file_format
=
'tsv'
,
shuffle_train
=
True
):
file_format
=
'tsv'
,
shuffle_train
=
True
):
"""
Load data into reader.
"""
将磁盘上的数据载入到reader中。
Noted that it requires the creation of self._batch_size and self._num_epochs when this method implemented.
注意:实现该方法时需要同步创建self._batch_size和self._num_epochs。
Args:
Args:
input_file: the dataset file path. File format should meet the requirement of `file_format` argument.
input_file: 数据集文件路径。文件格式需要满足`file_format`参数的要求。
batch_size: number of examples for once yield. CAUSIOUS! If your environment exists multiple GPU devices
batch_size: 迭代器每次yield出的样本数量。注意:当环境中存在多个GPU时,batch_size需要保证被GPU卡数整除。
(marked as dev_count), the batch_size should be divided by dev_count with no remainder!
num_epochs: 数据集遍历次数。默认为None, 在单任务模式下代表遍历一次,在多任务模式下该参数会被上层的Trainer进行自动赋值。该参数仅对训练阶段有效。
num_epochs: the travelsal times of input examples. Default is None, means once for single-task learning
file_format: 输入文件的文件格式。目前支持的格式: tsv. 默认为tsv.
and automatically calculated for multi-task learning. This argument only works on train phase.
shuffle_train: 是否打乱训练集中的样本。默认为True。该参数仅对训练阶段有效。
file_format: the file format of input file. Supported format: tsv. Default is tsv.
shuffle_train: whether to shuffle training dataset. Default is True. This argument only works on training phase.
"""
"""
raise
NotImplementedError
()
raise
NotImplementedError
()
...
...
编辑
预览
Markdown
is supported
0%
请重试
或
添加新附件
.
添加附件
取消
You are about to add
0
people
to the discussion. Proceed with caution.
先完成此消息的编辑!
取消
想要评论请
注册
或
登录