Skip to content
体验新版
项目
组织
正在加载...
登录
切换导航
打开侧边栏
曾经的那一瞬间
Models
提交
a121a29f
M
Models
项目概览
曾经的那一瞬间
/
Models
大约 1 年 前同步成功
通知
1
Star
0
Fork
0
代码
文件
提交
分支
Tags
贡献者
分支图
Diff
Issue
0
列表
看板
标记
里程碑
合并请求
0
DevOps
流水线
流水线任务
计划
Wiki
0
Wiki
分析
仓库
DevOps
项目成员
Pages
M
Models
项目概览
项目概览
详情
发布
仓库
仓库
文件
提交
分支
标签
贡献者
分支图
比较
Issue
0
Issue
0
列表
看板
标记
里程碑
合并请求
0
合并请求
0
Pages
DevOps
DevOps
流水线
流水线任务
计划
分析
分析
仓库分析
DevOps
Wiki
0
Wiki
成员
成员
收起侧边栏
关闭侧边栏
动态
分支图
创建新Issue
流水线任务
提交
Issue看板
体验新版 GitCode,发现更多精彩内容 >>
提交
a121a29f
编写于
9月 15, 2020
作者:
H
Hongkun Yu
提交者:
A. Unique TensorFlower
9月 15, 2020
浏览文件
操作
浏览文件
下载
电子邮件补丁
差异文件
Remove examples_consume
PiperOrigin-RevId: 331857334
上级
ffce3f46
变更
2
隐藏空白更改
内联
并排
Showing
2 changed file
with
0 addition
and
9 deletion
+0
-9
official/core/input_reader.py
official/core/input_reader.py
+0
-4
official/modeling/hyperparams/config_definitions.py
official/modeling/hyperparams/config_definitions.py
+0
-5
未找到文件。
official/core/input_reader.py
浏览文件 @
a121a29f
...
...
@@ -102,7 +102,6 @@ class InputReader:
self
.
_block_length
=
params
.
block_length
self
.
_deterministic
=
params
.
deterministic
self
.
_sharding
=
params
.
sharding
self
.
_examples_consume
=
params
.
examples_consume
self
.
_tfds_split
=
params
.
tfds_split
self
.
_tfds_download
=
params
.
tfds_download
self
.
_tfds_as_supervised
=
params
.
tfds_as_supervised
...
...
@@ -237,9 +236,6 @@ class InputReader:
if
self
.
_is_training
:
dataset
=
dataset
.
shuffle
(
self
.
_shuffle_buffer_size
)
if
self
.
_examples_consume
>
0
:
dataset
=
dataset
.
take
(
self
.
_examples_consume
)
def
maybe_map_fn
(
dataset
,
fn
):
return
dataset
if
fn
is
None
else
dataset
.
map
(
fn
,
num_parallel_calls
=
tf
.
data
.
experimental
.
AUTOTUNE
)
...
...
official/modeling/hyperparams/config_definitions.py
浏览文件 @
a121a29f
...
...
@@ -50,10 +50,6 @@ class DataConfig(base_config.Config):
element before cycling to another input element when interleaving files.
deterministic: A boolean controlling whether determinism should be enforced.
sharding: Whether sharding is used in the input pipeline.
examples_consume: An `integer` specifying the number of examples it will
produce. If positive, it only takes this number of examples and raises
tf.error.OutOfRangeError after that. Default is -1, meaning it will
exhaust all the examples in the dataset.
enable_tf_data_service: A boolean indicating whether to enable tf.data
service for the input pipeline.
tf_data_service_address: The URI of a tf.data service to offload
...
...
@@ -87,7 +83,6 @@ class DataConfig(base_config.Config):
block_length
:
int
=
1
deterministic
:
Optional
[
bool
]
=
None
sharding
:
bool
=
True
examples_consume
:
int
=
-
1
enable_tf_data_service
:
bool
=
False
tf_data_service_address
:
Optional
[
str
]
=
None
tf_data_service_job_name
:
Optional
[
str
]
=
None
...
...
编辑
预览
Markdown
is supported
0%
请重试
或
添加新附件
.
添加附件
取消
You are about to add
0
people
to the discussion. Proceed with caution.
先完成此消息的编辑!
取消
想要评论请
注册
或
登录