Skip to content
体验新版
项目
组织
正在加载...
登录
切换导航
打开侧边栏
BaiXuePrincess
PaddleRec
提交
88dd55e9
P
PaddleRec
项目概览
BaiXuePrincess
/
PaddleRec
与 Fork 源项目一致
Fork自
PaddlePaddle / PaddleRec
通知
1
Star
0
Fork
0
代码
文件
提交
分支
Tags
贡献者
分支图
Diff
Issue
0
列表
看板
标记
里程碑
合并请求
0
Wiki
0
Wiki
分析
仓库
DevOps
项目成员
Pages
P
PaddleRec
项目概览
项目概览
详情
发布
仓库
仓库
文件
提交
分支
标签
贡献者
分支图
比较
Issue
0
Issue
0
列表
看板
标记
里程碑
合并请求
0
合并请求
0
Pages
分析
分析
仓库分析
DevOps
Wiki
0
Wiki
成员
成员
收起侧边栏
关闭侧边栏
动态
分支图
创建新Issue
提交
Issue看板
提交
88dd55e9
编写于
9月 19, 2019
作者:
X
xiexionghang
浏览文件
操作
浏览文件
下载
电子邮件补丁
差异文件
for predetect download data
上级
d2be4f7a
变更
2
隐藏空白更改
内联
并排
Showing
2 changed file
with
2 addition
and
1 deletion
+2
-1
paddle/fluid/train/custom_trainer/feed/common/pipeline.h
paddle/fluid/train/custom_trainer/feed/common/pipeline.h
+1
-1
paddle/fluid/train/custom_trainer/feed/process/learner_process.cc
...luid/train/custom_trainer/feed/process/learner_process.cc
+1
-0
未找到文件。
paddle/fluid/train/custom_trainer/feed/common/pipeline.h
浏览文件 @
88dd55e9
...
@@ -116,7 +116,7 @@ private:
...
@@ -116,7 +116,7 @@ private:
}
}
parsing_num
+=
read_size
;
parsing_num
+=
read_size
;
BthreadTaskRunner
::
instance
().
add_task
(
BthreadTaskRunner
::
instance
().
add_task
(
[
this
,
&
parsing_num
,
read_size
,
input_data_buffer
](){
[
this
,
&
parsing_num
,
read_size
,
input_data_buffer
]()
{
size_t
write_size
=
0
;
size_t
write_size
=
0
;
std
::
vector
<
TypeOut
>
output_data_buffer
(
_options
.
batch_size
);
std
::
vector
<
TypeOut
>
output_data_buffer
(
_options
.
batch_size
);
_converter
(
input_data_buffer
->
data
(),
read_size
,
_converter
(
input_data_buffer
->
data
(),
read_size
,
...
...
paddle/fluid/train/custom_trainer/feed/process/learner_process.cc
浏览文件 @
88dd55e9
...
@@ -215,6 +215,7 @@ int LearnerProcess::run() {
...
@@ -215,6 +215,7 @@ int LearnerProcess::run() {
//Step1. 等待样本ready
//Step1. 等待样本ready
{
{
ENVLOG_WORKER_MASTER_NOTICE
(
" %s, wait data ready:%s"
,
epoch_log_title
.
c_str
(),
data_path
.
c_str
());
ENVLOG_WORKER_MASTER_NOTICE
(
" %s, wait data ready:%s"
,
epoch_log_title
.
c_str
(),
data_path
.
c_str
());
dataset
->
pre_detect_data
(
epoch_id
);
while
(
dataset
->
epoch_data_status
(
epoch_id
)
!=
DatasetStatus
::
Ready
)
{
while
(
dataset
->
epoch_data_status
(
epoch_id
)
!=
DatasetStatus
::
Ready
)
{
sleep
(
30
);
sleep
(
30
);
dataset
->
pre_detect_data
(
epoch_id
);
dataset
->
pre_detect_data
(
epoch_id
);
...
...
编辑
预览
Markdown
is supported
0%
请重试
或
添加新附件
.
添加附件
取消
You are about to add
0
people
to the discussion. Proceed with caution.
先完成此消息的编辑!
取消
想要评论请
注册
或
登录