Skip to content
体验新版
项目
组织
正在加载...
登录
切换导航
打开侧边栏
MegEngine 天元
MegEngine
提交
04dc29e4
MegEngine
项目概览
MegEngine 天元
/
MegEngine
1 年多 前同步成功
通知
403
Star
4705
Fork
582
代码
文件
提交
分支
Tags
贡献者
分支图
Diff
Issue
0
列表
看板
标记
里程碑
合并请求
0
DevOps
流水线
流水线任务
计划
Wiki
0
Wiki
分析
仓库
DevOps
项目成员
Pages
MegEngine
项目概览
项目概览
详情
发布
仓库
仓库
文件
提交
分支
标签
贡献者
分支图
比较
Issue
0
Issue
0
列表
看板
标记
里程碑
合并请求
0
合并请求
0
Pages
DevOps
DevOps
流水线
流水线任务
计划
分析
分析
仓库分析
DevOps
Wiki
0
Wiki
成员
成员
收起侧边栏
关闭侧边栏
动态
分支图
创建新Issue
流水线任务
提交
Issue看板
提交
04dc29e4
编写于
5月 22, 2023
作者:
M
Megvii Engine Team
浏览文件
操作
浏览文件
下载
电子邮件补丁
差异文件
fix(imperative/data): fix dataloader memory check warning
GitOrigin-RevId: e0f62f83b86b47ba7bdef9ac102e777a4fc3faa2
上级
d6295b06
变更
1
隐藏空白更改
内联
并排
Showing
1 changed file
with
3 addition
and
6 deletion
+3
-6
imperative/python/megengine/data/dataloader.py
imperative/python/megengine/data/dataloader.py
+3
-6
未找到文件。
imperative/python/megengine/data/dataloader.py
浏览文件 @
04dc29e4
...
@@ -178,12 +178,9 @@ class DataLoader:
...
@@ -178,12 +178,9 @@ class DataLoader:
main_memory
=
psutil
.
Process
(
os
.
getpid
()).
memory_info
().
rss
/
1024
/
1024
/
1024
main_memory
=
psutil
.
Process
(
os
.
getpid
()).
memory_info
().
rss
/
1024
/
1024
/
1024
total_memory
=
(
self
.
num_workers
+
1
)
*
main_memory
total_memory
=
(
self
.
num_workers
+
1
)
*
main_memory
current_memory
=
(
limit_in_bytes
=
os
.
popen
(
"cat /sys/fs/cgroup/memory/memory.limit_in_bytes"
)
int
(
os
.
popen
(
"cat /sys/fs/cgroup/memory/memory.limit_in_bytes"
).
read
())
current_memory
=
int
(
limit_in_bytes
.
read
())
/
1024
/
1024
/
1024
/
1024
limit_in_bytes
.
close
()
/
1024
/
1024
)
if
current_memory
<
total_memory
:
if
current_memory
<
total_memory
:
logger
.
warning
(
logger
.
warning
(
"Each worker need to read the shared meta-data, which will be increasing the reference count."
"Each worker need to read the shared meta-data, which will be increasing the reference count."
...
...
编辑
预览
Markdown
is supported
0%
请重试
或
添加新附件
.
添加附件
取消
You are about to add
0
people
to the discussion. Proceed with caution.
先完成此消息的编辑!
取消
想要评论请
注册
或
登录