Skip to content
体验新版
项目
组织
正在加载...
登录
切换导航
打开侧边栏
正统之独孤求败
mindspore
提交
c9ba8499
M
mindspore
项目概览
正统之独孤求败
/
mindspore
与 Fork 源项目一致
Fork自
MindSpore / mindspore
通知
1
Star
0
Fork
0
代码
文件
提交
分支
Tags
贡献者
分支图
Diff
Issue
0
列表
看板
标记
里程碑
合并请求
0
Wiki
0
Wiki
分析
仓库
DevOps
项目成员
Pages
M
mindspore
项目概览
项目概览
详情
发布
仓库
仓库
文件
提交
分支
标签
贡献者
分支图
比较
Issue
0
Issue
0
列表
看板
标记
里程碑
合并请求
0
合并请求
0
Pages
分析
分析
仓库分析
DevOps
Wiki
0
Wiki
成员
成员
收起侧边栏
关闭侧边栏
动态
分支图
创建新Issue
提交
Issue看板
体验新版 GitCode,发现更多精彩内容 >>
提交
c9ba8499
编写于
6月 29, 2020
作者:
M
mindspore-ci-bot
提交者:
Gitee
6月 29, 2020
浏览文件
操作
浏览文件
下载
差异文件
!2676 Mass text summarization update.
Merge pull request !2676 from linqingke/mass
上级
07cd3efa
eb5c4cf2
变更
4
隐藏空白更改
内联
并排
Showing
4 changed file
with
4 addition
and
10 deletion
+4
-10
model_zoo/mass/scripts/run.sh
model_zoo/mass/scripts/run.sh
+2
-2
model_zoo/mass/src/dataset/load_dataset.py
model_zoo/mass/src/dataset/load_dataset.py
+0
-7
model_zoo/mass/src/utils/rouge_score.py
model_zoo/mass/src/utils/rouge_score.py
+1
-1
model_zoo/mass/train.py
model_zoo/mass/train.py
+1
-0
未找到文件。
model_zoo/mass/scripts/run.sh
浏览文件 @
c9ba8499
...
...
@@ -18,7 +18,7 @@ export DEVICE_ID=0
export
RANK_ID
=
0
export
RANK_SIZE
=
1
options
=
`
getopt
-u
-o
ht:n:i:j:c:o:v:
-l
help
,task:,device_num:,device_id:,hccl_json:,config:,output:,vocab
--
"
$@
"
`
options
=
`
getopt
-u
-o
ht:n:i:j:c:o:v:
-l
help
,task:,device_num:,device_id:,hccl_json:,config:,output:,vocab
:
--
"
$@
"
`
eval set
--
"
$options
"
echo
$options
...
...
@@ -129,6 +129,7 @@ do
esac
done
file_path
=
$(
cd
"
$(
dirname
$0
)
"
||
exit
;
pwd
)
for
((
i
=
0
;
i <
$RANK_SIZE
;
i++
))
do
if
[
$RANK_SIZE
-gt
1
]
...
...
@@ -139,7 +140,6 @@ do
fi
echo
"Working on device
$i
"
file_path
=
$(
cd
"
$(
dirname
$0
)
"
||
exit
;
pwd
)
cd
$file_path
||
exit
cd
../
||
exit
...
...
model_zoo/mass/src/dataset/load_dataset.py
浏览文件 @
c9ba8499
...
...
@@ -13,7 +13,6 @@
# limitations under the License.
# ============================================================================
"""Dataset loader to feed into model."""
import
os
import
mindspore.common.dtype
as
mstype
import
mindspore.dataset.engine
as
de
import
mindspore.dataset.transforms.c_transforms
as
deC
...
...
@@ -40,12 +39,6 @@ def _load_dataset(input_files, batch_size, epoch_count=1,
if
not
input_files
:
raise
FileNotFoundError
(
"Require at least one dataset."
)
if
not
(
schema_file
and
os
.
path
.
exists
(
schema_file
)
and
os
.
path
.
isfile
(
schema_file
)
and
os
.
path
.
basename
(
schema_file
).
endswith
(
".json"
)):
raise
FileNotFoundError
(
"`dataset_schema` must be a existed json file."
)
if
not
isinstance
(
sink_mode
,
bool
):
raise
ValueError
(
"`sink` must be type of bool."
)
...
...
model_zoo/mass/src/utils/rouge_score.py
浏览文件 @
c9ba8499
...
...
@@ -47,7 +47,7 @@ def rouge(hypothesis: List[str], target: List[str]):
edited_ref
.
append
(
r
+
"
\n
"
)
_rouge
=
Rouge
()
scores
=
_rouge
.
get_scores
(
edited_hyp
,
target
,
avg
=
True
)
scores
=
_rouge
.
get_scores
(
edited_hyp
,
edited_ref
,
avg
=
True
)
print
(
" | ROUGE Score:"
)
print
(
f
" | RG-1(F):
{
scores
[
'rouge-1'
][
'f'
]
*
100
:
8.2
f
}
"
)
print
(
f
" | RG-2(F):
{
scores
[
'rouge-2'
][
'f'
]
*
100
:
8.2
f
}
"
)
...
...
model_zoo/mass/train.py
浏览文件 @
c9ba8499
...
...
@@ -120,6 +120,7 @@ def _build_training_pipeline(config: TransformerConfig,
test_dataset (Dataset): Test dataset.
"""
net_with_loss
=
TransformerNetworkWithLoss
(
config
,
is_training
=
True
)
net_with_loss
.
init_parameters_data
()
if
config
.
existed_ckpt
:
if
config
.
existed_ckpt
.
endswith
(
".npz"
):
...
...
编辑
预览
Markdown
is supported
0%
请重试
或
添加新附件
.
添加附件
取消
You are about to add
0
people
to the discussion. Proceed with caution.
先完成此消息的编辑!
取消
想要评论请
注册
或
登录