Skip to content
体验新版
项目
组织
正在加载...
登录
切换导航
打开侧边栏
s920243400
PaddleDetection
提交
f6c5b6fd
P
PaddleDetection
项目概览
s920243400
/
PaddleDetection
与 Fork 源项目一致
Fork自
PaddlePaddle / PaddleDetection
通知
2
Star
0
Fork
0
代码
文件
提交
分支
Tags
贡献者
分支图
Diff
Issue
0
列表
看板
标记
里程碑
合并请求
0
Wiki
0
Wiki
分析
仓库
DevOps
项目成员
Pages
P
PaddleDetection
项目概览
项目概览
详情
发布
仓库
仓库
文件
提交
分支
标签
贡献者
分支图
比较
Issue
0
Issue
0
列表
看板
标记
里程碑
合并请求
0
合并请求
0
Pages
分析
分析
仓库分析
DevOps
Wiki
0
Wiki
成员
成员
收起侧边栏
关闭侧边栏
动态
分支图
创建新Issue
提交
Issue看板
提交
f6c5b6fd
编写于
4月 16, 2017
作者:
Q
qiaolongfei
浏览文件
操作
浏览文件
下载
电子邮件补丁
差异文件
add prefetch for trainer.test
上级
82103508
变更
1
显示空白变更内容
内联
并排
Showing
1 changed file
with
15 addition
and
6 deletion
+15
-6
python/paddle/v2/trainer.py
python/paddle/v2/trainer.py
+15
-6
未找到文件。
python/paddle/v2/trainer.py
浏览文件 @
f6c5b6fd
...
@@ -79,6 +79,10 @@ class SGD(object):
...
@@ -79,6 +79,10 @@ class SGD(object):
self
.
__gradient_machine__
=
gm
self
.
__gradient_machine__
=
gm
self
.
__gradient_machine__
.
randParameters
()
self
.
__gradient_machine__
.
randParameters
()
parameters
.
append_gradient_machine
(
gm
)
parameters
.
append_gradient_machine
(
gm
)
self
.
__parameter_updater__
=
None
def
use_remote_sparse_updater
(
self
):
return
self
.
__use_sparse_updater__
and
not
self
.
__is_local__
def
train
(
self
,
reader
,
num_passes
=
1
,
event_handler
=
None
,
feeding
=
None
):
def
train
(
self
,
reader
,
num_passes
=
1
,
event_handler
=
None
,
feeding
=
None
):
"""
"""
...
@@ -103,6 +107,7 @@ class SGD(object):
...
@@ -103,6 +107,7 @@ class SGD(object):
else
:
else
:
parameter_updater
=
self
.
__optimizer__
.
create_remote_updater
(
parameter_updater
=
self
.
__optimizer__
.
create_remote_updater
(
num_passes
,
self
.
__use_sparse_updater__
)
num_passes
,
self
.
__use_sparse_updater__
)
self
.
__parameter_updater__
=
parameter_updater
parameter_updater
.
init
(
self
.
__gradient_machine__
)
parameter_updater
.
init
(
self
.
__gradient_machine__
)
self
.
__gradient_machine__
.
start
()
self
.
__gradient_machine__
.
start
()
...
@@ -122,11 +127,12 @@ class SGD(object):
...
@@ -122,11 +127,12 @@ class SGD(object):
v2_event
.
BeginIteration
(
v2_event
.
BeginIteration
(
pass_id
=
pass_id
,
batch_id
=
batch_id
))
pass_id
=
pass_id
,
batch_id
=
batch_id
))
pass_type
=
parameter_updater
.
startBatch
(
len
(
data_batch
))
pass_type
=
parameter_updater
.
startBatch
(
len
(
data_batch
))
if
self
.
__use_sparse_updater__
and
not
self
.
__is_local__
:
in_args
=
feeder
(
data_batch
)
self
.
__gradient_machine__
.
prefetch
(
feeder
(
data_batch
))
if
self
.
use_remote_sparse_updater
():
self
.
__gradient_machine__
.
prefetch
(
in_args
)
parameter_updater
.
getParametersRemote
()
parameter_updater
.
getParametersRemote
()
self
.
__gradient_machine__
.
forwardBackward
(
self
.
__gradient_machine__
.
forwardBackward
(
in_args
,
out_args
,
feeder
(
data_batch
),
out_args
,
pass_type
)
pass_type
)
self
.
__gradient_machine__
.
eval
(
pass_evaluator
)
self
.
__gradient_machine__
.
eval
(
pass_evaluator
)
self
.
__gradient_machine__
.
eval
(
batch_evaluator
)
self
.
__gradient_machine__
.
eval
(
batch_evaluator
)
for
each_param
in
self
.
__gradient_machine__
.
getNonStaticParameters
(
for
each_param
in
self
.
__gradient_machine__
.
getNonStaticParameters
(
...
@@ -157,8 +163,11 @@ class SGD(object):
...
@@ -157,8 +163,11 @@ class SGD(object):
num_samples
=
0.0
num_samples
=
0.0
for
data_batch
in
reader
():
for
data_batch
in
reader
():
num_samples
+=
len
(
data_batch
)
num_samples
+=
len
(
data_batch
)
self
.
__gradient_machine__
.
forward
(
in_args
=
feeder
(
data_batch
)
feeder
(
data_batch
),
out_args
,
api
.
PASS_TEST
)
if
self
.
use_remote_sparse_updater
():
self
.
__gradient_machine__
.
prefetch
(
in_args
)
self
.
__parameter_updater__
.
getParametersRemote
()
self
.
__gradient_machine__
.
forward
(
in_args
,
out_args
,
api
.
PASS_TEST
)
total_cost
+=
out_args
.
sum
()
total_cost
+=
out_args
.
sum
()
self
.
__gradient_machine__
.
eval
(
evaluator
)
self
.
__gradient_machine__
.
eval
(
evaluator
)
...
...
编辑
预览
Markdown
is supported
0%
请重试
或
添加新附件
.
添加附件
取消
You are about to add
0
people
to the discussion. Proceed with caution.
先完成此消息的编辑!
取消
想要评论请
注册
或
登录