Skip to content
体验新版
项目
组织
正在加载...
登录
切换导航
打开侧边栏
milvus
milvus
提交
e0761271
M
milvus
项目概览
milvus
/
milvus
大约 1 年 前同步成功
通知
261
Star
22476
Fork
2472
代码
文件
提交
分支
Tags
贡献者
分支图
Diff
Issue
0
列表
看板
标记
里程碑
合并请求
0
DevOps
流水线
流水线任务
计划
Wiki
0
Wiki
分析
仓库
DevOps
项目成员
Pages
M
milvus
项目概览
项目概览
详情
发布
仓库
仓库
文件
提交
分支
标签
贡献者
分支图
比较
Issue
0
Issue
0
列表
看板
标记
里程碑
合并请求
0
合并请求
0
Pages
DevOps
DevOps
流水线
流水线任务
计划
分析
分析
仓库分析
DevOps
Wiki
0
Wiki
成员
成员
收起侧边栏
关闭侧边栏
动态
分支图
创建新Issue
流水线任务
提交
Issue看板
体验新版 GitCode,发现更多精彩内容 >>
未验证
提交
e0761271
编写于
9月 15, 2021
作者:
Y
yukun
提交者:
GitHub
9月 15, 2021
浏览文件
操作
浏览文件
下载
电子邮件补丁
差异文件
[skip ci]Add rocksmq_retention comment (#8016)
Signed-off-by:
N
fishpenguin
<
kun.yu@zilliz.com
>
上级
0aa65f55
变更
1
隐藏空白更改
内联
并排
Showing
1 changed file
with
9 addition
and
0 deletion
+9
-0
internal/util/rocksmq/server/rocksmq/rocksmq_retention.go
internal/util/rocksmq/server/rocksmq/rocksmq_retention.go
+9
-0
未找到文件。
internal/util/rocksmq/server/rocksmq/rocksmq_retention.go
浏览文件 @
e0761271
...
...
@@ -107,6 +107,8 @@ func initRetentionInfo(kv *rocksdbkv.RocksdbKV, db *gorocksdb.DB) (*retentionInf
return
ri
,
nil
}
// Before do retention, load retention info from rocksdb to retention info structure in goroutines.
// Because loadRetentionInfo may need some time, so do this asynchronously. Finally start retention goroutine.
func
(
ri
*
retentionInfo
)
startRetentionInfo
()
error
{
var
wg
sync
.
WaitGroup
ri
.
kv
.
ResetPrefixLength
(
FixedChannelNameLen
)
...
...
@@ -123,6 +125,7 @@ func (ri *retentionInfo) startRetentionInfo() error {
return
nil
}
// Read retention infos from rocksdb so that retention check can be done based on memory data
func
(
ri
*
retentionInfo
)
loadRetentionInfo
(
topic
string
,
wg
*
sync
.
WaitGroup
)
{
// TODO(yukun): If there needs to add lock
// ll, ok := topicMu.Load(topic)
...
...
@@ -248,6 +251,7 @@ func (ri *retentionInfo) loadRetentionInfo(topic string, wg *sync.WaitGroup) {
func
(
ri
*
retentionInfo
)
retention
()
error
{
log
.
Debug
(
"Rocksmq retention goroutine start!"
)
// Do retention check every 6s
ticker
:=
time
.
NewTicker
(
time
.
Duration
(
TickerTimeInMinutes
*
int64
(
time
.
Minute
)
/
10
))
for
{
...
...
@@ -271,6 +275,11 @@ func (ri *retentionInfo) retention() error {
}
}
// 1. Obtain pageAckedInfo and do time expired check, get the expired page scope;
// 2. Do iteration in the page after the last page in step 1 and get the last time expired message id;
// 3. Do size expired check in next page, and get the last size expired message id;
// 4. Do delete by range of [start_msg_id, end_msg_id) in rocksdb
// 5. Delete corresponding data in retentionInfo
func
(
ri
*
retentionInfo
)
expiredCleanUp
(
topic
string
)
error
{
// log.Debug("Timeticker triggers an expiredCleanUp task for topic: " + topic)
var
ackedInfo
*
topicAckedInfo
...
...
编辑
预览
Markdown
is supported
0%
请重试
或
添加新附件
.
添加附件
取消
You are about to add
0
people
to the discussion. Proceed with caution.
先完成此消息的编辑!
取消
想要评论请
注册
或
登录