Skip to content
体验新版
项目
组织
正在加载...
登录
切换导航
打开侧边栏
PaddlePaddle
DeepSpeech
提交
0ad8918f
D
DeepSpeech
项目概览
PaddlePaddle
/
DeepSpeech
12 个月 前同步成功
通知
205
Star
8425
Fork
1598
代码
文件
提交
分支
Tags
贡献者
分支图
Diff
Issue
245
列表
看板
标记
里程碑
合并请求
3
Wiki
0
Wiki
分析
仓库
DevOps
项目成员
Pages
D
DeepSpeech
项目概览
项目概览
详情
发布
仓库
仓库
文件
提交
分支
标签
贡献者
分支图
比较
Issue
245
Issue
245
列表
看板
标记
里程碑
合并请求
3
合并请求
3
Pages
分析
分析
仓库分析
DevOps
Wiki
0
Wiki
成员
成员
收起侧边栏
关闭侧边栏
动态
分支图
创建新Issue
提交
Issue看板
体验新版 GitCode,发现更多精彩内容 >>
未验证
提交
0ad8918f
编写于
5月 22, 2018
作者:
Y
Yang yaming
提交者:
GitHub
5月 22, 2018
浏览文件
操作
浏览文件
下载
差异文件
Merge pull request #154 from loongw/fix148
Cleanup worker processes every epoch end.
上级
dad1c272
59079f5c
变更
1
显示空白变更内容
内联
并排
Showing
1 changed file
with
11 addition
and
12 deletion
+11
-12
data_utils/data.py
data_utils/data.py
+11
-12
未找到文件。
data_utils/data.py
浏览文件 @
0ad8918f
...
...
@@ -11,7 +11,6 @@ import multiprocessing
import
numpy
as
np
import
paddle.v2
as
paddle
from
threading
import
local
import
atexit
from
data_utils.utility
import
read_manifest
from
data_utils.utility
import
xmap_readers_mp
from
data_utils.augmentor.augmentation
import
AugmentationPipeline
...
...
@@ -194,8 +193,9 @@ class DataGenerator(object):
raise
ValueError
(
"Unknown shuffle method %s."
%
shuffle_method
)
# prepare batches
instance_reader
=
self
.
_instance_reader_creator
(
manifest
)
instance_reader
,
cleanup
=
self
.
_instance_reader_creator
(
manifest
)
batch
=
[]
try
:
for
instance
in
instance_reader
():
batch
.
append
(
instance
)
if
len
(
batch
)
==
batch_size
:
...
...
@@ -203,6 +203,8 @@ class DataGenerator(object):
batch
=
[]
if
len
(
batch
)
>=
min_batch_size
:
yield
self
.
_padding_batch
(
batch
,
padding_to
,
flatten
)
finally
:
cleanup
()
self
.
_epoch
+=
1
return
batch_reader
...
...
@@ -280,10 +282,7 @@ class DataGenerator(object):
lambda
instance
:
self
.
process_utterance
(
instance
[
"audio_filepath"
],
instance
[
"text"
]),
reader
,
self
.
_num_threads
,
4096
)
# register callback to main process
atexit
.
register
(
cleanup_callback
)
return
reader
return
reader
,
cleanup_callback
def
_padding_batch
(
self
,
batch
,
padding_to
=-
1
,
flatten
=
False
):
"""
...
...
编辑
预览
Markdown
is supported
0%
请重试
或
添加新附件
.
添加附件
取消
You are about to add
0
people
to the discussion. Proceed with caution.
先完成此消息的编辑!
取消
想要评论请
注册
或
登录