Skip to content
体验新版
项目
组织
正在加载...
登录
切换导航
打开侧边栏
magicwindyyd
mindspore
提交
e40ba6f8
M
mindspore
项目概览
magicwindyyd
/
mindspore
与 Fork 源项目一致
Fork自
MindSpore / mindspore
通知
1
Star
1
Fork
0
代码
文件
提交
分支
Tags
贡献者
分支图
Diff
Issue
0
列表
看板
标记
里程碑
合并请求
0
Wiki
0
Wiki
分析
仓库
DevOps
项目成员
Pages
M
mindspore
项目概览
项目概览
详情
发布
仓库
仓库
文件
提交
分支
标签
贡献者
分支图
比较
Issue
0
Issue
0
列表
看板
标记
里程碑
合并请求
0
合并请求
0
Pages
分析
分析
仓库分析
DevOps
Wiki
0
Wiki
成员
成员
收起侧边栏
关闭侧边栏
动态
分支图
创建新Issue
提交
Issue看板
提交
e40ba6f8
编写于
6月 30, 2020
作者:
M
mindspore-ci-bot
提交者:
Gitee
6月 30, 2020
浏览文件
操作
浏览文件
下载
差异文件
!2705 Solve Mass CodeX warning
Merge pull request !2705 from 刘崇鸣/solve_mass_codex_warning
上级
d08a89ab
490f9496
变更
1
隐藏空白更改
内联
并排
Showing
1 changed file
with
8 addition
and
8 deletion
+8
-8
model_zoo/mass/src/utils/byte_pair_encoding.py
model_zoo/mass/src/utils/byte_pair_encoding.py
+8
-8
未找到文件。
model_zoo/mass/src/utils/byte_pair_encoding.py
浏览文件 @
e40ba6f8
...
...
@@ -16,8 +16,8 @@
import
os
import
subprocess
ENCODER
=
"subword-nmt apply-bpe -c
{codes} -i {input} -o {output}
"
LEARN_DICT
=
"subword-nmt get-vocab -i
{input} -o {dict_path}
"
ENCODER
=
"subword-nmt apply-bpe -c"
LEARN_DICT
=
"subword-nmt get-vocab -i"
def
bpe_encode
(
codes_path
,
src_path
,
output_path
,
dict_path
):
...
...
@@ -43,10 +43,10 @@ def bpe_encode(codes_path, src_path, output_path, dict_path):
raise
FileNotFoundError
(
"Dir not found."
)
# Encoding.
print
(
f
" | Applying BPE encoding."
)
subprocess
.
call
(
ENCODER
.
format
(
codes
=
codes_path
,
input
=
src_path
,
output
=
output_path
),
shell
=
True
)
print
(
f
" | Fetching vocabulary from single file."
)
print
(
" | Applying BPE encoding."
)
commands
=
ENCODER
.
split
()
+
[
codes_path
]
+
[
"-i"
]
+
[
src_path
]
+
[
"-o"
]
+
[
output_path
]
subprocess
.
call
(
commands
)
print
(
" | Fetching vocabulary from single file."
)
# Learn vocab.
subprocess
.
call
(
LEARN_DICT
.
format
(
input
=
output_path
,
dict_path
=
dict_path
),
shell
=
True
)
commands
=
LEARN_DICT
.
split
()
+
[
output_path
]
+
[
"-o"
]
+
[
dict_path
]
subprocess
.
call
(
commands
)
编辑
预览
Markdown
is supported
0%
请重试
或
添加新附件
.
添加附件
取消
You are about to add
0
people
to the discussion. Proceed with caution.
先完成此消息的编辑!
取消
想要评论请
注册
或
登录