Skip to content
体验新版
项目
组织
正在加载...
登录
切换导航
打开侧边栏
三久
DolphinScheduler
提交
9a53c6ac
DolphinScheduler
项目概览
三久
/
DolphinScheduler
与 Fork 源项目一致
Fork自
apache / DolphinScheduler
通知
1
Star
0
Fork
0
代码
文件
提交
分支
Tags
贡献者
分支图
Diff
Issue
0
列表
看板
标记
里程碑
合并请求
0
Wiki
0
Wiki
分析
仓库
DevOps
项目成员
Pages
DolphinScheduler
项目概览
项目概览
详情
发布
仓库
仓库
文件
提交
分支
标签
贡献者
分支图
比较
Issue
0
Issue
0
列表
看板
标记
里程碑
合并请求
0
合并请求
0
Pages
分析
分析
仓库分析
DevOps
Wiki
0
Wiki
成员
成员
收起侧边栏
关闭侧边栏
动态
分支图
创建新Issue
提交
Issue看板
体验新版 GitCode,发现更多精彩内容 >>
未验证
提交
9a53c6ac
编写于
8月 01, 2022
作者:
M
microeastcowboy
提交者:
GitHub
8月 01, 2022
浏览文件
操作
浏览文件
下载
电子邮件补丁
差异文件
fix work oom when task logs's size is very large (#11224)
上级
0141aa51
变更
1
隐藏空白更改
内联
并排
Showing
1 changed file
with
14 addition
and
31 deletion
+14
-31
dolphinscheduler-task-plugin/dolphinscheduler-task-api/src/main/java/org/apache/dolphinscheduler/plugin/task/api/AbstractCommandExecutor.java
...hinscheduler/plugin/task/api/AbstractCommandExecutor.java
+14
-31
未找到文件。
dolphinscheduler-task-plugin/dolphinscheduler-task-api/src/main/java/org/apache/dolphinscheduler/plugin/task/api/AbstractCommandExecutor.java
浏览文件 @
9a53c6ac
...
...
@@ -404,48 +404,31 @@ public abstract class AbstractCommandExecutor {
* @return app id list
*/
private
List
<
String
>
getAppIds
(
String
logPath
)
{
List
<
String
>
logs
=
convertFile2List
(
logPath
);
List
<
String
>
appIds
=
new
ArrayList
<>();
/*
* analysis log?get submited yarn application id
*/
for
(
String
log
:
logs
)
{
String
appId
=
findAppId
(
log
);
if
(
StringUtils
.
isNotEmpty
(
appId
)
&&
!
appIds
.
contains
(
appId
))
{
logger
.
info
(
"find app id: {}"
,
appId
);
appIds
.
add
(
appId
);
}
}
return
appIds
;
}
/**
* convert file to list
*
* @param filename file name
* @return line list
*/
private
List
<
String
>
convertFile2List
(
String
filename
)
{
List
<
String
>
lineList
=
new
ArrayList
<>(
100
);
File
file
=
new
File
(
filename
);
File
file
=
new
File
(
logPath
);
if
(!
file
.
exists
())
{
return
lineList
;
return
appIds
;
}
try
(
BufferedReader
br
=
new
BufferedReader
(
new
InputStreamReader
(
new
FileInputStream
(
filename
),
StandardCharsets
.
UTF_8
)))
{
/*
* analysis log?get submited yarn application id
*/
try
(
BufferedReader
br
=
new
BufferedReader
(
new
InputStreamReader
(
new
FileInputStream
(
logPath
),
StandardCharsets
.
UTF_8
)))
{
String
line
;
while
((
line
=
br
.
readLine
())
!=
null
)
{
lineList
.
add
(
line
);
String
appId
=
findAppId
(
line
);
if
(
StringUtils
.
isNotEmpty
(
appId
)
&&
!
appIds
.
contains
(
appId
))
{
logger
.
info
(
"find app id: {}"
,
appId
);
appIds
.
add
(
appId
);
}
}
}
catch
(
Exception
e
)
{
logger
.
error
(
String
.
format
(
"read file: %s failed : "
,
filename
),
e
);
logger
.
error
(
String
.
format
(
"read file: %s failed : "
,
logPath
),
e
);
}
return
lineList
;
return
appIds
;
}
/**
* find var pool
* @param line
...
...
编辑
预览
Markdown
is supported
0%
请重试
或
添加新附件
.
添加附件
取消
You are about to add
0
people
to the discussion. Proceed with caution.
先完成此消息的编辑!
取消
想要评论请
注册
或
登录