Skip to content
体验新版
项目
组织
正在加载...
登录
切换导航
打开侧边栏
Crayon鑫
Paddle
提交
15e59c31
P
Paddle
项目概览
Crayon鑫
/
Paddle
与 Fork 源项目一致
Fork自
PaddlePaddle / Paddle
通知
1
Star
1
Fork
0
代码
文件
提交
分支
Tags
贡献者
分支图
Diff
Issue
1
列表
看板
标记
里程碑
合并请求
0
Wiki
0
Wiki
分析
仓库
DevOps
项目成员
Pages
P
Paddle
项目概览
项目概览
详情
发布
仓库
仓库
文件
提交
分支
标签
贡献者
分支图
比较
Issue
1
Issue
1
列表
看板
标记
里程碑
合并请求
0
合并请求
0
Pages
分析
分析
仓库分析
DevOps
Wiki
0
Wiki
成员
成员
收起侧边栏
关闭侧边栏
动态
分支图
创建新Issue
提交
Issue看板
未验证
提交
15e59c31
编写于
3月 02, 2020
作者:
C
Chen Weihang
提交者:
GitHub
3月 02, 2020
浏览文件
操作
浏览文件
下载
电子邮件补丁
差异文件
cleanup mmap files in unittest, test=develop (#22814)
上级
89cfa491
变更
1
隐藏空白更改
内联
并排
Showing
1 changed file
with
18 addition
and
1 deletion
+18
-1
python/paddle/fluid/tests/unittests/test_imperative_data_loader_process.py
...id/tests/unittests/test_imperative_data_loader_process.py
+18
-1
未找到文件。
python/paddle/fluid/tests/unittests/test_imperative_data_loader_process.py
浏览文件 @
15e59c31
...
...
@@ -14,6 +14,7 @@
import
sys
import
unittest
import
multiprocessing
import
numpy
as
np
import
paddle.fluid
as
fluid
from
paddle.fluid
import
core
...
...
@@ -50,6 +51,14 @@ class TestDygraphDataLoaderProcess(unittest.TestCase):
self
.
capacity
=
2
def
test_reader_process_loop
(
self
):
# This unittest's memory mapped files needs to be cleaned manually
def
__clear_process__
(
util_queue
):
while
True
:
try
:
util_queue
.
get_nowait
()
except
queue
.
Empty
:
break
with
fluid
.
dygraph
.
guard
():
loader
=
fluid
.
io
.
DataLoader
.
from_generator
(
capacity
=
self
.
batch_num
+
1
,
use_multiprocess
=
True
)
...
...
@@ -58,8 +67,16 @@ class TestDygraphDataLoaderProcess(unittest.TestCase):
places
=
fluid
.
CPUPlace
())
loader
.
_data_queue
=
queue
.
Queue
(
self
.
batch_num
+
1
)
loader
.
_reader_process_loop
()
# For clean memory mapped files
util_queue
=
multiprocessing
.
Queue
(
self
.
batch_num
+
1
)
for
_
in
range
(
self
.
batch_num
):
loader
.
_data_queue
.
get
(
timeout
=
10
)
data
=
loader
.
_data_queue
.
get
(
timeout
=
10
)
util_queue
.
put
(
data
)
# Clean up memory mapped files
clear_process
=
multiprocessing
.
Process
(
target
=
__clear_process__
,
args
=
(
util_queue
,
))
clear_process
.
start
()
def
test_reader_process_loop_simple_none
(
self
):
def
none_sample_genarator
(
batch_num
):
...
...
编辑
预览
Markdown
is supported
0%
请重试
或
添加新附件
.
添加附件
取消
You are about to add
0
people
to the discussion. Proceed with caution.
先完成此消息的编辑!
取消
想要评论请
注册
或
登录