Skip to content
体验新版
项目
组织
正在加载...
登录
切换导航
打开侧边栏
milvus
milvus
提交
d525e955
M
milvus
项目概览
milvus
/
milvus
大约 1 年 前同步成功
通知
261
Star
22476
Fork
2472
代码
文件
提交
分支
Tags
贡献者
分支图
Diff
Issue
0
列表
看板
标记
里程碑
合并请求
0
DevOps
流水线
流水线任务
计划
Wiki
0
Wiki
分析
仓库
DevOps
项目成员
Pages
M
milvus
项目概览
项目概览
详情
发布
仓库
仓库
文件
提交
分支
标签
贡献者
分支图
比较
Issue
0
Issue
0
列表
看板
标记
里程碑
合并请求
0
合并请求
0
Pages
DevOps
DevOps
流水线
流水线任务
计划
分析
分析
仓库分析
DevOps
Wiki
0
Wiki
成员
成员
收起侧边栏
关闭侧边栏
动态
分支图
创建新Issue
流水线任务
提交
Issue看板
体验新版 GitCode,发现更多精彩内容 >>
未验证
提交
d525e955
编写于
5月 20, 2022
作者:
G
groot
提交者:
GitHub
5月 20, 2022
浏览文件
操作
浏览文件
下载
电子邮件补丁
差异文件
Bulkload not allow duplicate numpy file (#17105)
Signed-off-by:
N
groot
<
yihua.mo@zilliz.com
>
上级
4eaacf49
变更
2
隐藏空白更改
内联
并排
Showing
2 changed file
with
17 addition
and
9 deletion
+17
-9
internal/util/importutil/import_wrapper.go
internal/util/importutil/import_wrapper.go
+8
-9
internal/util/importutil/import_wrapper_test.go
internal/util/importutil/import_wrapper_test.go
+9
-0
未找到文件。
internal/util/importutil/import_wrapper.go
浏览文件 @
d525e955
...
...
@@ -25,7 +25,7 @@ import (
const
(
JSONFileExt
=
".json"
NumpyFileExt
=
".npy"
MaxFileSize
=
4
*
1024
*
1024
*
1024
// maximum size of each file
MaxFileSize
=
1
*
1024
*
1024
*
1024
// maximum size of each file
)
type
ImportWrapper
struct
{
...
...
@@ -110,20 +110,20 @@ func getFileNameAndExt(filePath string) (string, string) {
}
func
(
p
*
ImportWrapper
)
fileValidation
(
filePaths
[]
string
,
rowBased
bool
)
error
{
// use this map to check duplicate file
s
files
:=
make
(
map
[
string
]
struct
{})
// use this map to check duplicate file
name(only for numpy file)
file
Name
s
:=
make
(
map
[
string
]
struct
{})
for
i
:=
0
;
i
<
len
(
filePaths
);
i
++
{
filePath
:=
filePaths
[
i
]
_
,
fileType
:=
getFileNameAndExt
(
filePath
)
_
,
ok
:=
file
s
[
filePath
]
name
,
fileType
:=
getFileNameAndExt
(
filePath
)
_
,
ok
:=
file
Names
[
name
]
if
ok
{
// only check dupliate numpy file
if
fileType
==
NumpyFileExt
{
return
errors
.
New
(
"duplicate file: "
+
filePath
)
return
errors
.
New
(
"duplicate file: "
+
name
+
"."
+
fileType
)
}
}
else
{
file
s
[
filePath
]
=
struct
{}{}
file
Names
[
name
]
=
struct
{}{}
}
// check file type
...
...
@@ -344,8 +344,7 @@ func (p *ImportWrapper) Import(filePaths []string, rowBased bool, onlyValidate b
flushFunc
:=
func
(
field
storage
.
FieldData
)
error
{
fields
:=
make
(
map
[
storage
.
FieldID
]
storage
.
FieldData
)
fields
[
id
]
=
field
combineFunc
(
fields
)
return
nil
return
combineFunc
(
fields
)
}
// for numpy file, we say the file name(without extension) is the filed name
...
...
internal/util/importutil/import_wrapper_test.go
浏览文件 @
d525e955
...
...
@@ -745,6 +745,15 @@ func Test_FileValidation(t *testing.T) {
err
=
wrapper
.
fileValidation
(
files
[
:
],
true
)
assert
.
NotNil
(
t
,
err
)
// unsupported file name
files
[
0
]
=
"a/1.npy"
files
[
1
]
=
"b/1.npy"
err
=
wrapper
.
fileValidation
(
files
[
:
],
true
)
assert
.
NotNil
(
t
,
err
)
err
=
wrapper
.
fileValidation
(
files
[
:
],
false
)
assert
.
NotNil
(
t
,
err
)
// unsupported file type
files
[
0
]
=
"1"
files
[
1
]
=
"1"
...
...
编辑
预览
Markdown
is supported
0%
请重试
或
添加新附件
.
添加附件
取消
You are about to add
0
people
to the discussion. Proceed with caution.
先完成此消息的编辑!
取消
想要评论请
注册
或
登录