Skip to content
体验新版
项目
组织
正在加载...
登录
切换导航
打开侧边栏
taosdata
TDengine
提交
e0e7cc4f
T
TDengine
项目概览
taosdata
/
TDengine
大约 1 年 前同步成功
通知
1184
Star
22015
Fork
4786
代码
文件
提交
分支
Tags
贡献者
分支图
Diff
Issue
1
列表
看板
标记
里程碑
合并请求
0
Wiki
0
Wiki
分析
仓库
DevOps
项目成员
Pages
T
TDengine
项目概览
项目概览
详情
发布
仓库
仓库
文件
提交
分支
标签
贡献者
分支图
比较
Issue
1
Issue
1
列表
看板
标记
里程碑
合并请求
0
合并请求
0
Pages
分析
分析
仓库分析
DevOps
Wiki
0
Wiki
成员
成员
收起侧边栏
关闭侧边栏
动态
分支图
创建新Issue
提交
Issue看板
体验新版 GitCode,发现更多精彩内容 >>
提交
e0e7cc4f
编写于
12月 28, 2022
作者:
H
Hongze Cheng
浏览文件
操作
浏览文件
下载
电子邮件补丁
差异文件
more code
上级
a0fa3195
变更
1
显示空白变更内容
内联
并排
Showing
1 changed file
with
65 addition
and
9 deletion
+65
-9
source/dnode/vnode/src/tsdb/tsdbCompact.c
source/dnode/vnode/src/tsdb/tsdbCompact.c
+65
-9
未找到文件。
source/dnode/vnode/src/tsdb/tsdbCompact.c
浏览文件 @
e0e7cc4f
...
...
@@ -60,12 +60,20 @@ typedef struct {
STsdbFS
fs
;
int32_t
fid
;
SDFileSet
*
pDFileSet
;
// Reader
SDataFReader
*
pReader
;
STsdbDataIter
*
iterList
;
// list of iterators
SRBTree
rtree
;
STsdbDataIter
*
pIter
;
SBlockData
bData
;
SSkmInfo
tbSkm
;
// Writer
SDataFWriter
*
pWriter
;
SArray
*
aBlockIdx
;
// SArray<SBlockIdx>
SMapData
mDataBlk
;
// SMapData<SDataBlk>
SArray
*
aSttBlk
;
// SArray<SSttBlk>
}
STsdbCompactor
;
#define TSDB_FLG_DEEP_COMPACT 0x1
...
...
@@ -141,7 +149,7 @@ _exit:
_clear_exit:
*
ppIter
=
NULL
;
if
(
pIter
)
{
tBlockDataDestroy
(
&
pDataDIter
->
bData
,
1
);
tBlockDataDestroy
(
&
pDataDIter
->
bData
);
tMapDataClear
(
&
pDataDIter
->
mDataBlk
);
taosArrayDestroy
(
pDataDIter
->
aBlockIdx
);
taosMemoryFree
(
pIter
);
...
...
@@ -191,7 +199,7 @@ _exit:
_clear_exit:
*
ppIter
=
NULL
;
if
(
pIter
)
{
tBlockDataDestroy
(
&
pSttDIter
->
bData
,
1
);
tBlockDataDestroy
(
&
pSttDIter
->
bData
);
taosArrayDestroy
(
pSttDIter
->
aSttBlk
);
taosMemoryFree
(
pIter
);
}
...
...
@@ -559,6 +567,33 @@ static int32_t tsdbOpenCompactor(STsdbCompactor *pCompactor) {
pCompactor
->
pIter
=
NULL
;
tBlockDataReset
(
&
pCompactor
->
bData
);
// open writers
SDFileSet
fSet
=
{
0
};
// TODO
code
=
tsdbDataFWriterOpen
(
&
pCompactor
->
pWriter
,
pTsdb
,
NULL
);
TSDB_CHECK_CODE
(
code
,
lino
,
_exit
);
if
(
pCompactor
->
aBlockIdx
==
NULL
)
{
pCompactor
->
aBlockIdx
=
taosArrayInit
(
0
,
sizeof
(
SBlockIdx
));
if
(
pCompactor
->
aBlockIdx
==
NULL
)
{
code
=
TSDB_CODE_OUT_OF_MEMORY
;
TSDB_CHECK_CODE
(
code
,
lino
,
_exit
);
}
}
else
{
taosArrayClear
(
pCompactor
->
aBlockIdx
);
}
tMapDataReset
(
&
pCompactor
->
mDataBlk
);
if
(
pCompactor
->
aSttBlk
==
NULL
)
{
pCompactor
->
aSttBlk
=
taosArrayInit
(
0
,
sizeof
(
SSttBlk
));
if
(
pCompactor
->
aSttBlk
==
NULL
)
{
code
=
TSDB_CODE_OUT_OF_MEMORY
;
TSDB_CHECK_CODE
(
code
,
lino
,
_exit
);
}
}
else
{
taosArrayClear
(
pCompactor
->
aSttBlk
);
}
_exit:
if
(
code
)
{
tsdbError
(
"vgId:%d %s failed at line %d since %s"
,
TD_VID
(
pTsdb
->
pVnode
),
__func__
,
lino
,
tstrerror
(
code
));
...
...
@@ -666,6 +701,27 @@ int32_t tsdbCompact(STsdb *pTsdb, int32_t flag) {
TSDB_CHECK_CODE
(
code
,
lino
,
_exit
);
}
if
(
pCompactor
->
bData
.
nRow
>
0
)
{
// write again
}
code
=
tsdbWriteSttBlk
(
pCompactor
->
pWriter
,
pCompactor
->
aSttBlk
);
TSDB_CHECK_CODE
(
code
,
lino
,
_exit
);
if
(
pCompactor
->
mDataBlk
.
nItem
>
0
)
{
SBlockIdx
*
pBlockIdx
=
taosArrayReserve
(
pCompactor
->
aBlockIdx
,
1
);
if
(
pBlockIdx
==
NULL
)
{
code
=
TSDB_CODE_OUT_OF_MEMORY
;
TSDB_CHECK_CODE
(
code
,
lino
,
_exit
);
}
code
=
tsdbWriteDataBlk
(
pCompactor
->
pWriter
,
&
pCompactor
->
mDataBlk
,
pBlockIdx
);
TSDB_CHECK_CODE
(
code
,
lino
,
_exit
);
}
code
=
tsdbWriteBlockIdx
(
pCompactor
->
pWriter
,
pCompactor
->
aBlockIdx
);
TSDB_CHECK_CODE
(
code
,
lino
,
_exit
);
tsdbCloseCompactor
(
pCompactor
);
}
...
...
编辑
预览
Markdown
is supported
0%
请重试
或
添加新附件
.
添加附件
取消
You are about to add
0
people
to the discussion. Proceed with caution.
先完成此消息的编辑!
取消
想要评论请
注册
或
登录