Skip to content
体验新版
项目
组织
正在加载...
登录
切换导航
打开侧边栏
magicwindyyd
mindspore
提交
c24122bb
M
mindspore
项目概览
magicwindyyd
/
mindspore
与 Fork 源项目一致
Fork自
MindSpore / mindspore
通知
1
Star
1
Fork
0
代码
文件
提交
分支
Tags
贡献者
分支图
Diff
Issue
0
列表
看板
标记
里程碑
合并请求
0
Wiki
0
Wiki
分析
仓库
DevOps
项目成员
Pages
M
mindspore
项目概览
项目概览
详情
发布
仓库
仓库
文件
提交
分支
标签
贡献者
分支图
比较
Issue
0
Issue
0
列表
看板
标记
里程碑
合并请求
0
合并请求
0
Pages
分析
分析
仓库分析
DevOps
Wiki
0
Wiki
成员
成员
收起侧边栏
关闭侧边栏
动态
分支图
创建新Issue
提交
Issue看板
提交
c24122bb
编写于
7月 23, 2020
作者:
M
mindspore-ci-bot
提交者:
Gitee
7月 23, 2020
浏览文件
操作
浏览文件
下载
差异文件
!3303 fix validator that checks the vocab_size is positive in vocab.from_file
Merge pull request !3303 from ZiruiWu/fix_vocab_validator
上级
4bbbf2dc
40ea84ae
变更
2
隐藏空白更改
内联
并排
Showing
2 changed file
with
4 addition
and
2 deletion
+4
-2
mindspore/dataset/text/validators.py
mindspore/dataset/text/validators.py
+1
-1
tests/ut/python/dataset/test_vocab.py
tests/ut/python/dataset/test_vocab.py
+3
-1
未找到文件。
mindspore/dataset/text/validators.py
浏览文件 @
c24122bb
...
...
@@ -67,7 +67,7 @@ def check_from_file(method):
check_unique_list_of_words
(
special_tokens
,
"special_tokens"
)
type_check_list
([
file_path
,
delimiter
],
(
str
,),
[
"file_path"
,
"delimiter"
])
if
vocab_size
is
not
None
:
check_
value
(
vocab_size
,
(
-
1
,
INT32_MAX
)
,
"vocab_size"
)
check_
positive
(
vocab_size
,
"vocab_size"
)
type_check
(
special_first
,
(
bool
,),
special_first
)
return
method
(
self
,
*
args
,
**
kwargs
)
...
...
tests/ut/python/dataset/test_vocab.py
浏览文件 @
c24122bb
...
...
@@ -133,7 +133,9 @@ def test_from_file():
assert
test_config
(
"w1 w2 w3 s1 s2 s3"
,
3
,
[
"s1"
,
"s2"
,
"s3"
],
False
)
==
[
0
,
1
,
2
,
3
,
4
,
5
]
# text exception special_words contains duplicate words
assert
"special_tokens contains duplicate"
in
test_config
(
"w1"
,
None
,
[
"s1"
,
"s1"
],
True
)
# test exception when vocab_size is negative
assert
"Input vocab_size must be greater than 0"
in
test_config
(
"w1 w2"
,
0
,
[],
True
)
assert
"Input vocab_size must be greater than 0"
in
test_config
(
"w1 w2"
,
-
1
,
[],
True
)
if
__name__
==
'__main__'
:
test_from_dict_exception
()
...
...
编辑
预览
Markdown
is supported
0%
请重试
或
添加新附件
.
添加附件
取消
You are about to add
0
people
to the discussion. Proceed with caution.
先完成此消息的编辑!
取消
想要评论请
注册
或
登录