Skip to content
体验新版
项目
组织
正在加载...
登录
切换导航
打开侧边栏
milvus
milvus
提交
ab9b091b
M
milvus
项目概览
milvus
/
milvus
11 个月 前同步成功
通知
261
Star
22476
Fork
2472
代码
文件
提交
分支
Tags
贡献者
分支图
Diff
Issue
0
列表
看板
标记
里程碑
合并请求
0
DevOps
流水线
流水线任务
计划
Wiki
0
Wiki
分析
仓库
DevOps
项目成员
Pages
M
milvus
项目概览
项目概览
详情
发布
仓库
仓库
文件
提交
分支
标签
贡献者
分支图
比较
Issue
0
Issue
0
列表
看板
标记
里程碑
合并请求
0
合并请求
0
Pages
DevOps
DevOps
流水线
流水线任务
计划
分析
分析
仓库分析
DevOps
Wiki
0
Wiki
成员
成员
收起侧边栏
关闭侧边栏
动态
分支图
创建新Issue
流水线任务
提交
Issue看板
体验新版 GitCode,发现更多精彩内容 >>
未验证
提交
ab9b091b
编写于
5月 16, 2022
作者:
Y
yanliang567
提交者:
GitHub
5月 16, 2022
浏览文件
操作
浏览文件
下载
电子邮件补丁
差异文件
Refine bulk load tests with data preparation (#16998)
Signed-off-by:
N
yanliang567
<
yanliang.qiao@zilliz.com
>
上级
aefff31b
变更
3
展开全部
隐藏空白更改
内联
并排
Showing
3 changed file
with
879 addition
and
610 deletion
+879
-610
tests/python_client/bulk_load/bulk_load_data.py
tests/python_client/bulk_load/bulk_load_data.py
+349
-221
tests/python_client/bulk_load/minio_comm.py
tests/python_client/bulk_load/minio_comm.py
+43
-0
tests/python_client/bulk_load/test_bulk_load.py
tests/python_client/bulk_load/test_bulk_load.py
+487
-389
未找到文件。
tests/python_client/bulk_load/bulk_load_data.py
浏览文件 @
ab9b091b
此差异已折叠。
点击以展开。
tests/python_client/bulk_load/minio_comm.py
0 → 100644
浏览文件 @
ab9b091b
import
os
from
minio
import
Minio
from
minio.error
import
S3Error
from
utils.util_log
import
test_log
as
log
def
copy_files_to_bucket
(
client
,
r_source
,
target_files
,
bucket_name
,
force
=
False
):
# check the bucket exist
found
=
client
.
bucket_exists
(
bucket_name
)
if
not
found
:
log
.
error
(
f
"Bucket
{
bucket_name
}
not found."
)
return
# copy target files from root source folder
os
.
chdir
(
r_source
)
for
target_file
in
target_files
:
found
=
False
try
:
result
=
client
.
stat_object
(
bucket_name
,
target_file
)
found
=
True
except
S3Error
as
exc
:
pass
if
force
or
not
found
:
res
=
client
.
fput_object
(
bucket_name
,
target_file
,
f
"
{
r_source
}
/
{
target_file
}
"
)
log
.
info
(
f
"copied
{
res
.
object_name
}
to minio"
)
else
:
log
.
info
(
f
"skip copy
{
res
.
object_name
}
to minio"
)
def
copy_files_to_minio
(
host
,
r_source
,
files
,
bucket_name
,
access_key
=
"minioadmin"
,
secret_key
=
"minioadmin"
,
secure
=
False
,
force
=
False
):
client
=
Minio
(
host
,
access_key
=
access_key
,
secret_key
=
secret_key
,
secure
=
secure
,
)
try
:
copy_files_to_bucket
(
client
,
r_source
=
r_source
,
target_files
=
files
,
bucket_name
=
bucket_name
,
force
=
force
)
except
S3Error
as
exc
:
log
.
error
(
"fail to copy files to minio"
,
exc
)
tests/python_client/bulk_load/test_bulk_load.py
浏览文件 @
ab9b091b
此差异已折叠。
点击以展开。
编辑
预览
Markdown
is supported
0%
请重试
或
添加新附件
.
添加附件
取消
You are about to add
0
people
to the discussion. Proceed with caution.
先完成此消息的编辑!
取消
想要评论请
注册
或
登录