Skip to content
体验新版
项目
组织
正在加载...
登录
切换导航
打开侧边栏
PaddlePaddle
PALM
提交
b60e6fd5
P
PALM
项目概览
PaddlePaddle
/
PALM
通知
4
Star
3
Fork
0
代码
文件
提交
分支
Tags
贡献者
分支图
Diff
Issue
10
列表
看板
标记
里程碑
合并请求
0
Wiki
0
Wiki
分析
仓库
DevOps
项目成员
Pages
P
PALM
项目概览
项目概览
详情
发布
仓库
仓库
文件
提交
分支
标签
贡献者
分支图
比较
Issue
10
Issue
10
列表
看板
标记
里程碑
合并请求
0
合并请求
0
Pages
分析
分析
仓库分析
DevOps
Wiki
0
Wiki
成员
成员
收起侧边栏
关闭侧边栏
动态
分支图
创建新Issue
提交
Issue看板
提交
b60e6fd5
编写于
2月 20, 2020
作者:
W
wangxiao1021
浏览文件
操作
浏览文件
下载
电子邮件补丁
差异文件
fix bugs
上级
b14bb89c
变更
1
隐藏空白更改
内联
并排
Showing
1 changed file
with
3 addition
and
4 deletion
+3
-4
paddlepalm/reader/utils/reader4ernie.py
paddlepalm/reader/utils/reader4ernie.py
+3
-4
未找到文件。
paddlepalm/reader/utils/reader4ernie.py
浏览文件 @
b60e6fd5
...
...
@@ -293,10 +293,9 @@ class Reader(object):
if
to_append
:
batch_records
.
append
(
record
)
else
:
ds
=
[
's'
]
*
7
for
piece
in
palm
.
distribute
.
yield_pieces
(
\
self
.
_pad_batch_records
(
batch_records
),
ds
,
batch_size
):
batch_pad_records
=
self
.
_pad_batch_records
(
batch_records
)
ds
=
[
's'
]
*
len
(
batch_pad_records
)
for
piece
in
palm
.
distribute
.
yield_pieces
(
batch_pad_records
,
ds
,
batch_size
):
yield
piece
batch_records
,
max_len
=
[
record
],
len
(
record
.
token_ids
)
...
...
编辑
预览
Markdown
is supported
0%
请重试
或
添加新附件
.
添加附件
取消
You are about to add
0
people
to the discussion. Proceed with caution.
先完成此消息的编辑!
取消
想要评论请
注册
或
登录