Skip to content
体验新版
项目
组织
正在加载...
登录
切换导航
打开侧边栏
wzpei9
Paddle
提交
03b1e4be
P
Paddle
项目概览
wzpei9
/
Paddle
与 Fork 源项目一致
Fork自
PaddlePaddle / Paddle
通知
1
Star
1
Fork
0
代码
文件
提交
分支
Tags
贡献者
分支图
Diff
Issue
1
列表
看板
标记
里程碑
合并请求
0
Wiki
0
Wiki
分析
仓库
DevOps
项目成员
Pages
P
Paddle
项目概览
项目概览
详情
发布
仓库
仓库
文件
提交
分支
标签
贡献者
分支图
比较
Issue
1
Issue
1
列表
看板
标记
里程碑
合并请求
0
合并请求
0
Pages
分析
分析
仓库分析
DevOps
Wiki
0
Wiki
成员
成员
收起侧边栏
关闭侧边栏
动态
分支图
创建新Issue
提交
Issue看板
体验新版 GitCode,发现更多精彩内容 >>
未验证
提交
03b1e4be
编写于
8月 30, 2018
作者:
F
fengjiayi
提交者:
GitHub
8月 30, 2018
浏览文件
操作
浏览文件
下载
差异文件
Merge pull request #13047 from JiayiFeng/dev_mem_analyse
refine memory usage calc
上级
0a97d24b
d2d082db
变更
1
隐藏空白更改
内联
并排
Showing
1 changed file
with
26 addition
and
12 deletion
+26
-12
python/paddle/fluid/contrib/memory_usage_calc.py
python/paddle/fluid/contrib/memory_usage_calc.py
+26
-12
未找到文件。
python/paddle/fluid/contrib/memory_usage_calc.py
浏览文件 @
03b1e4be
...
...
@@ -70,23 +70,37 @@ def memory_usage(program, batch_size):
if
not
isinstance
(
program
,
Program
):
raise
TypeError
(
"Calculating Memory Usage requires Program as its Parameter."
"But you passed in %s"
%
(
type
(
prgram
)))
"But you passed in %s"
%
(
type
(
pr
o
gram
)))
if
batch_size
<=
0
:
raise
ValueError
(
"The batch size need to be positive."
)
# Get the var_name list of first block and calculate
total_memory
=
0.0
for
var
in
six
.
itervalues
(
program
.
global_block
().
vars
):
data_count
=
1
for
x
in
var
.
shape
:
if
x
==
-
1
:
data_count
*=
batch_size
else
:
data_count
*=
x
var_memory
=
data_count
*
dtype_to_size
[
var
.
dtype
]
if
DEBUG
:
print
(
"%s memory usage: %d"
%
(
var
.
name
,
var_memory
))
total_memory
+=
var_memory
processed_var_names
=
set
()
for
op
in
program
.
global_block
().
ops
:
for
var_name
in
op
.
output_arg_names
:
if
var_name
in
processed_var_names
:
continue
processed_var_names
.
add
(
var_name
)
var
=
program
.
global_block
().
vars
[
var_name
]
if
var
.
desc
.
type
()
!=
core
.
VarDesc
.
VarType
.
LOD_TENSOR
:
continue
data_count
=
1
neg_dim_count
=
0
for
x
in
var
.
shape
:
if
x
<
0
:
if
neg_dim_count
>=
1
:
raise
ValueError
(
"Var %s has more than one negtive dim."
%
(
var_name
))
neg_dim_count
+=
1
data_count
*=
batch_size
*
(
-
x
)
else
:
data_count
*=
x
var_memory
=
data_count
*
dtype_to_size
[
var
.
dtype
]
if
DEBUG
:
print
(
"%s memory usage: %d"
%
(
var
.
name
,
var_memory
))
total_memory
+=
var_memory
if
DEBUG
:
print
(
"total memory usage: %.2f"
%
(
total_memory
))
...
...
编辑
预览
Markdown
is supported
0%
请重试
或
添加新附件
.
添加附件
取消
You are about to add
0
people
to the discussion. Proceed with caution.
先完成此消息的编辑!
取消
想要评论请
注册
或
登录