Skip to content
体验新版
项目
组织
正在加载...
登录
切换导航
打开侧边栏
兽拳
Paddle
提交
e8a96a8e
P
Paddle
项目概览
兽拳
/
Paddle
与 Fork 源项目一致
Fork自
PaddlePaddle / Paddle
通知
1
Star
1
Fork
0
代码
文件
提交
分支
Tags
贡献者
分支图
Diff
Issue
1
列表
看板
标记
里程碑
合并请求
0
Wiki
0
Wiki
分析
仓库
DevOps
项目成员
Pages
P
Paddle
项目概览
项目概览
详情
发布
仓库
仓库
文件
提交
分支
标签
贡献者
分支图
比较
Issue
1
Issue
1
列表
看板
标记
里程碑
合并请求
0
合并请求
0
Pages
分析
分析
仓库分析
DevOps
Wiki
0
Wiki
成员
成员
收起侧边栏
关闭侧边栏
动态
分支图
创建新Issue
提交
Issue看板
体验新版 GitCode,发现更多精彩内容 >>
未验证
提交
e8a96a8e
编写于
1月 08, 2018
作者:
H
hedaoyuan
提交者:
GitHub
1月 08, 2018
浏览文件
操作
浏览文件
下载
差异文件
Merge pull request #7159 from hedaoyuan/inference
Release the middle layer's output memory
上级
aa75f1e2
cb4caa5c
变更
5
显示空白变更内容
内联
并排
Showing
5 changed file
with
65 addition
and
0 deletion
+65
-0
paddle/capi/gradient_machine.cpp
paddle/capi/gradient_machine.cpp
+10
-0
paddle/capi/gradient_machine.h
paddle/capi/gradient_machine.h
+8
-0
paddle/gserver/gradientmachines/GradientMachine.h
paddle/gserver/gradientmachines/GradientMachine.h
+7
-0
paddle/gserver/gradientmachines/NeuralNetwork.cpp
paddle/gserver/gradientmachines/NeuralNetwork.cpp
+32
-0
paddle/gserver/gradientmachines/NeuralNetwork.h
paddle/gserver/gradientmachines/NeuralNetwork.h
+8
-0
未找到文件。
paddle/capi/gradient_machine.cpp
浏览文件 @
e8a96a8e
...
...
@@ -168,3 +168,13 @@ paddle_error paddle_gradient_machine_get_layer_output(
out
->
args
.
push_back
(
layerOutput
);
return
kPD_NO_ERROR
;
}
paddle_error
paddle_gradient_machine_release_layer_output
(
paddle_gradient_machine
machine
)
{
auto
m
=
cast
(
machine
);
if
(
m
==
nullptr
||
m
->
machine
==
nullptr
)
{
return
kPD_NULLPTR
;
}
m
->
machine
->
releaseOutput
();
return
kPD_NO_ERROR
;
}
paddle/capi/gradient_machine.h
浏览文件 @
e8a96a8e
...
...
@@ -113,6 +113,14 @@ paddle_gradient_machine_get_layer_output(paddle_gradient_machine machine,
const
char
*
layerName
,
paddle_arguments
args
);
/**
* @brief Release the middle layer's output memory of the gradient machine.
* @param [in] gradient machine that have run a inference
* @return paddle_error
*/
PD_API
paddle_error
paddle_gradient_machine_release_layer_output
(
paddle_gradient_machine
machine
);
#ifdef __cplusplus
}
#endif
...
...
paddle/gserver/gradientmachines/GradientMachine.h
浏览文件 @
e8a96a8e
...
...
@@ -233,6 +233,13 @@ public:
(
void
)
numProcessed
;
}
/**
* @brief Release the middle layer's output memory.
*
* @note This function is used for memory optimization in inference.
*/
virtual
void
releaseOutput
()
{}
protected:
virtual
void
onLoadParameter
()
{}
...
...
paddle/gserver/gradientmachines/NeuralNetwork.cpp
浏览文件 @
e8a96a8e
...
...
@@ -187,6 +187,31 @@ void NeuralNetwork::init(const ModelConfig& config,
CHECK
(
it
!=
layerMap_
.
end
());
outputLayers_
.
push_back
(
it
->
second
);
}
for
(
const
auto
&
layer
:
layers_
)
{
const
auto
&
name
=
layer
->
getName
();
bool
isMiddleLayer
=
true
;
// if data layer
for
(
const
auto
&
dataLayer
:
dataLayers_
)
{
if
(
name
==
dataLayer
->
getName
())
{
isMiddleLayer
=
false
;
break
;
}
}
// if output layer
for
(
const
auto
&
dataLayer
:
outputLayers_
)
{
if
(
name
==
dataLayer
->
getName
())
{
isMiddleLayer
=
false
;
break
;
}
}
if
(
isMiddleLayer
)
{
middleLayers_
.
push_back
(
layer
);
}
}
}
void
NeuralNetwork
::
connect
(
LayerPtr
agentLayer
,
...
...
@@ -327,6 +352,13 @@ void NeuralNetwork::onPassEnd() {
}
}
void
NeuralNetwork
::
releaseOutput
()
{
for
(
auto
&
layer
:
middleLayers_
)
{
Argument
&
arg
=
layer
->
getOutput
();
arg
.
value
.
reset
();
}
}
#ifndef PADDLE_MOBILE_INFERENCE
class
CombinedEvaluator
:
public
Evaluator
{
...
...
paddle/gserver/gradientmachines/NeuralNetwork.h
浏览文件 @
e8a96a8e
...
...
@@ -137,6 +137,13 @@ public:
/// some finish work, like convert the weight format of MKLDNNLayers
void
finish
();
/**
* @brief Release the middle layer's output memory.
*
* @note This function is used for memory optimization in inference.
*/
void
releaseOutput
();
protected:
/**
* The constructor of NeuralNetwork.
...
...
@@ -158,6 +165,7 @@ protected:
std
::
vector
<
DataLayerPtr
>
dataLayers_
;
std
::
vector
<
LayerPtr
>
outputLayers_
;
std
::
vector
<
LayerPtr
>
middleLayers_
;
static
std
::
map
<
std
::
string
,
bool
>
dllInitMap
;
...
...
编辑
预览
Markdown
is supported
0%
请重试
或
添加新附件
.
添加附件
取消
You are about to add
0
people
to the discussion. Proceed with caution.
先完成此消息的编辑!
取消
想要评论请
注册
或
登录