Skip to content
体验新版
项目
组织
正在加载...
登录
切换导航
打开侧边栏
Juicedata
JuiceFS
提交
15db788c
JuiceFS
项目概览
Juicedata
/
JuiceFS
通知
10
Star
1
Fork
0
代码
文件
提交
分支
Tags
贡献者
分支图
Diff
Issue
0
列表
看板
标记
里程碑
合并请求
0
DevOps
流水线
流水线任务
计划
Wiki
0
Wiki
分析
仓库
DevOps
项目成员
Pages
JuiceFS
项目概览
项目概览
详情
发布
仓库
仓库
文件
提交
分支
标签
贡献者
分支图
比较
Issue
0
Issue
0
列表
看板
标记
里程碑
合并请求
0
合并请求
0
Pages
DevOps
DevOps
流水线
流水线任务
计划
分析
分析
仓库分析
DevOps
Wiki
0
Wiki
成员
成员
收起侧边栏
关闭侧边栏
动态
分支图
创建新Issue
流水线任务
提交
Issue看板
前往新版Gitcode,体验更适合开发者的 AI 搜索 >>
提交
15db788c
编写于
1月 26, 2021
作者:
T
tangyoupeng
浏览文件
操作
浏览文件
下载
电子邮件补丁
差异文件
java-sdk: refactor distcp checksum patch
上级
1f672f1f
变更
1
隐藏空白更改
内联
并排
Showing
1 changed file
with
4 addition
and
24 deletion
+4
-24
sdk/java/src/main/java/com/juicefs/JuiceFileSystem.java
sdk/java/src/main/java/com/juicefs/JuiceFileSystem.java
+4
-24
未找到文件。
sdk/java/src/main/java/com/juicefs/JuiceFileSystem.java
浏览文件 @
15db788c
...
...
@@ -63,30 +63,10 @@ public class JuiceFileSystem extends FilterFileSystem {
private
synchronized
static
void
patchDistCpChecksum
()
{
if
(
distcpPatched
)
return
;
ClassPool
classPool
=
ClassPool
.
getDefault
();
try
{
String
clsName
=
"org.apache.hadoop.tools.mapred.RetriableFileCopyCommand"
;
CtClass
copyClass
=
classPool
.
get
(
clsName
);
CtMethod
method
=
copyClass
.
getDeclaredMethod
(
"compareCheckSums"
);
method
.
insertBefore
(
"if (sourceFS.getFileStatus(source).getBlockSize() != targetFS.getFileStatus(target).getBlockSize()) {return ;}"
);
byte
[]
bytecode
=
copyClass
.
toBytecode
();
ClassDefinition
definition
=
new
ClassDefinition
(
Class
.
forName
(
clsName
),
bytecode
);
RedefineClassAgent
.
redefineClasses
(
definition
);
copyClass
.
detach
();
}
catch
(
NotFoundException
|
ClassNotFoundException
e
)
{
}
catch
(
NoClassDefFoundError
e
)
{
StackTraceElement
[]
stackTrace
=
Thread
.
currentThread
().
getStackTrace
();
if
(
stackTrace
.
length
>
1
)
{
StackTraceElement
element
=
stackTrace
[
stackTrace
.
length
-
1
];
if
(
element
.
getClassName
().
contains
(
"DistCp"
))
{
LOG
.
warn
(
"Please add tools.jar to classpath to skip checksum check for files with different block sizes."
);
}
}
}
catch
(
Throwable
e
)
{
LOG
.
warn
(
"patch distcp failed!"
,
e
);
}
PatchUtil
.
patchBefore
(
"org.apache.hadoop.tools.mapred.RetriableFileCopyCommand"
,
"compareCheckSums"
,
null
,
"if (sourceFS.getFileStatus(source).getBlockSize() != targetFS.getFileStatus(target).getBlockSize()) {return ;}"
);
distcpPatched
=
true
;
}
...
...
编辑
预览
Markdown
is supported
0%
请重试
或
添加新附件
.
添加附件
取消
You are about to add
0
people
to the discussion. Proceed with caution.
先完成此消息的编辑!
取消
想要评论请
注册
或
登录