Skip to content
体验新版
项目
组织
正在加载...
登录
切换导航
打开侧边栏
PaddlePaddle
PaddleOCR
提交
8e05d54c
P
PaddleOCR
项目概览
PaddlePaddle
/
PaddleOCR
大约 1 年 前同步成功
通知
1528
Star
32962
Fork
6643
代码
文件
提交
分支
Tags
贡献者
分支图
Diff
Issue
108
列表
看板
标记
里程碑
合并请求
7
Wiki
0
Wiki
分析
仓库
DevOps
项目成员
Pages
P
PaddleOCR
项目概览
项目概览
详情
发布
仓库
仓库
文件
提交
分支
标签
贡献者
分支图
比较
Issue
108
Issue
108
列表
看板
标记
里程碑
合并请求
7
合并请求
7
Pages
分析
分析
仓库分析
DevOps
Wiki
0
Wiki
成员
成员
收起侧边栏
关闭侧边栏
动态
分支图
创建新Issue
提交
Issue看板
提交
8e05d54c
编写于
12月 20, 2021
作者:
文幕地方
浏览文件
操作
浏览文件
下载
电子邮件补丁
差异文件
fix win train bug
上级
dc51469b
变更
3
隐藏空白更改
内联
并排
Showing
3 changed file
with
36 addition
and
14 deletion
+36
-14
ppstructure/vqa/eval_ser.py
ppstructure/vqa/eval_ser.py
+1
-1
ppstructure/vqa/train_ser.py
ppstructure/vqa/train_ser.py
+2
-2
ppstructure/vqa/xfun.py
ppstructure/vqa/xfun.py
+33
-11
未找到文件。
ppstructure/vqa/eval_ser.py
浏览文件 @
8e05d54c
...
@@ -61,7 +61,7 @@ def eval(args):
...
@@ -61,7 +61,7 @@ def eval(args):
eval_dataloader
=
paddle
.
io
.
DataLoader
(
eval_dataloader
=
paddle
.
io
.
DataLoader
(
eval_dataset
,
eval_dataset
,
batch_size
=
args
.
per_gpu_eval_batch_size
,
batch_size
=
args
.
per_gpu_eval_batch_size
,
num_workers
=
0
,
num_workers
=
8
,
use_shared_memory
=
True
,
use_shared_memory
=
True
,
collate_fn
=
None
,
)
collate_fn
=
None
,
)
...
...
ppstructure/vqa/train_ser.py
浏览文件 @
8e05d54c
...
@@ -94,14 +94,14 @@ def train(args):
...
@@ -94,14 +94,14 @@ def train(args):
train_dataloader
=
paddle
.
io
.
DataLoader
(
train_dataloader
=
paddle
.
io
.
DataLoader
(
train_dataset
,
train_dataset
,
batch_sampler
=
train_sampler
,
batch_sampler
=
train_sampler
,
num_workers
=
0
,
num_workers
=
8
,
use_shared_memory
=
True
,
use_shared_memory
=
True
,
collate_fn
=
None
,
)
collate_fn
=
None
,
)
eval_dataloader
=
paddle
.
io
.
DataLoader
(
eval_dataloader
=
paddle
.
io
.
DataLoader
(
eval_dataset
,
eval_dataset
,
batch_size
=
args
.
per_gpu_eval_batch_size
,
batch_size
=
args
.
per_gpu_eval_batch_size
,
num_workers
=
0
,
num_workers
=
8
,
use_shared_memory
=
True
,
use_shared_memory
=
True
,
collate_fn
=
None
,
)
collate_fn
=
None
,
)
...
...
ppstructure/vqa/xfun.py
浏览文件 @
8e05d54c
...
@@ -79,14 +79,36 @@ class XFUNDataset(Dataset):
...
@@ -79,14 +79,36 @@ class XFUNDataset(Dataset):
self
.
entities_labels
=
{
'HEADER'
:
0
,
'QUESTION'
:
1
,
'ANSWER'
:
2
}
self
.
entities_labels
=
{
'HEADER'
:
0
,
'QUESTION'
:
1
,
'ANSWER'
:
2
}
self
.
return_keys
=
{
self
.
return_keys
=
{
'bbox'
:
'np'
,
'bbox'
:
{
'input_ids'
:
'np'
,
'type'
:
'np'
,
'labels'
:
'np'
,
'dtype'
:
'int64'
'attention_mask'
:
'np'
,
},
'image'
:
'np'
,
'input_ids'
:
{
'token_type_ids'
:
'np'
,
'type'
:
'np'
,
'entities'
:
'dict'
,
'dtype'
:
'int64'
'relations'
:
'dict'
,
},
'labels'
:
{
'type'
:
'np'
,
'dtype'
:
'int64'
},
'attention_mask'
:
{
'type'
:
'np'
,
'dtype'
:
'int64'
},
'image'
:
{
'type'
:
'np'
,
'dtype'
:
'float32'
},
'token_type_ids'
:
{
'type'
:
'np'
,
'dtype'
:
'int64'
},
'entities'
:
{
'type'
:
'dict'
},
'relations'
:
{
'type'
:
'dict'
}
}
}
if
load_mode
==
"all"
:
if
load_mode
==
"all"
:
...
@@ -103,7 +125,7 @@ class XFUNDataset(Dataset):
...
@@ -103,7 +125,7 @@ class XFUNDataset(Dataset):
return_special_tokens_mask
=
False
):
return_special_tokens_mask
=
False
):
# Padding
# Padding
needs_to_be_padded
=
pad_to_max_seq_len
and
\
needs_to_be_padded
=
pad_to_max_seq_len
and
\
max_seq_len
and
len
(
encoded_inputs
[
"input_ids"
])
<
max_seq_len
max_seq_len
and
len
(
encoded_inputs
[
"input_ids"
])
<
max_seq_len
if
needs_to_be_padded
:
if
needs_to_be_padded
:
difference
=
max_seq_len
-
len
(
encoded_inputs
[
"input_ids"
])
difference
=
max_seq_len
-
len
(
encoded_inputs
[
"input_ids"
])
...
@@ -412,8 +434,8 @@ class XFUNDataset(Dataset):
...
@@ -412,8 +434,8 @@ class XFUNDataset(Dataset):
return_data
=
{}
return_data
=
{}
for
k
,
v
in
data
.
items
():
for
k
,
v
in
data
.
items
():
if
k
in
self
.
return_keys
:
if
k
in
self
.
return_keys
:
if
self
.
return_keys
[
k
]
==
'np'
:
if
self
.
return_keys
[
k
]
[
'type'
]
==
'np'
:
v
=
np
.
array
(
v
)
v
=
np
.
array
(
v
,
dtype
=
self
.
return_keys
[
k
][
'dtype'
]
)
return_data
[
k
]
=
v
return_data
[
k
]
=
v
return
return_data
return
return_data
...
...
编辑
预览
Markdown
is supported
0%
请重试
或
添加新附件
.
添加附件
取消
You are about to add
0
people
to the discussion. Proceed with caution.
先完成此消息的编辑!
取消
想要评论请
注册
或
登录