Skip to content
体验新版
项目
组织
正在加载...
登录
切换导航
打开侧边栏
codyshao
TDengine
提交
8c7100e8
T
TDengine
项目概览
codyshao
/
TDengine
与 Fork 源项目一致
Fork自
taosdata / TDengine
通知
2
Star
0
Fork
0
代码
文件
提交
分支
Tags
贡献者
分支图
Diff
Issue
0
列表
看板
标记
里程碑
合并请求
0
Wiki
0
Wiki
分析
仓库
DevOps
项目成员
Pages
T
TDengine
项目概览
项目概览
详情
发布
仓库
仓库
文件
提交
分支
标签
贡献者
分支图
比较
Issue
0
Issue
0
列表
看板
标记
里程碑
合并请求
0
合并请求
0
Pages
分析
分析
仓库分析
DevOps
Wiki
0
Wiki
成员
成员
收起侧边栏
关闭侧边栏
动态
分支图
创建新Issue
提交
Issue看板
体验新版 GitCode,发现更多精彩内容 >>
提交
8c7100e8
编写于
5月 30, 2020
作者:
H
Hongze Cheng
浏览文件
操作
浏览文件
下载
电子邮件补丁
差异文件
add kv data row definition
上级
540be24b
变更
4
显示空白变更内容
内联
并排
Showing
4 changed file
with
136 addition
and
0 deletion
+136
-0
src/common/inc/tdataformat.h
src/common/inc/tdataformat.h
+49
-0
src/common/src/tdataformat.c
src/common/src/tdataformat.c
+85
-0
src/inc/taosdef.h
src/inc/taosdef.h
+1
-0
src/util/inc/tutil.h
src/util/inc/tutil.h
+1
-0
未找到文件。
src/common/inc/tdataformat.h
浏览文件 @
8c7100e8
...
@@ -19,6 +19,7 @@
...
@@ -19,6 +19,7 @@
#include <stdlib.h>
#include <stdlib.h>
#include <string.h>
#include <string.h>
#include "talgo.h"
#include "taosdef.h"
#include "taosdef.h"
#include "tutil.h"
#include "tutil.h"
...
@@ -218,6 +219,54 @@ int tdMergeDataCols(SDataCols *target, SDataCols *src, int rowsToMerge);
...
@@ -218,6 +219,54 @@ int tdMergeDataCols(SDataCols *target, SDataCols *src, int rowsToMerge);
void
tdMergeTwoDataCols
(
SDataCols
*
target
,
SDataCols
*
src1
,
int
*
iter1
,
SDataCols
*
src2
,
int
*
iter2
,
int
tRows
);
void
tdMergeTwoDataCols
(
SDataCols
*
target
,
SDataCols
*
src1
,
int
*
iter1
,
SDataCols
*
src2
,
int
*
iter2
,
int
tRows
);
// ----------------- K-V data row structure
/*
* +----------+----------+---------------------------------+---------------------------------+
* | int16_t | int16_t | | |
* +----------+----------+---------------------------------+---------------------------------+
* | len | ncols | cols index | data part |
* +----------+----------+---------------------------------+---------------------------------+
*/
typedef
void
*
SKVDataRow
;
typedef
struct
{
int16_t
colId
;
int16_t
offset
;
}
SColIdx
;
#define TD_KV_DATA_ROW_HEAD_SIZE 2*sizeof(int16_t)
#define kvDataRowLen(r) (*(int16_t *)(r))
#define kvDataRowNCols(r) (*(int16_t *)POINTER_SHIFT(r, sizeof(int16_t)))
#define kvDataRowColIdx(r) (SColIdx *)POINTER_SHIFT(r, TD_KV_DATA_ROW_HEAD_SIZE)
#define kvDataRowValues(r) POINTER_SHIFT(r, TD_KV_DATA_ROW_HEAD_SIZE + sizeof(SColIdx) * kvDataRowNCols(r))
#define kvDataRowCpy(dst, r) memcpy((dst), (r), kvDataRowLen(r))
#define kvDataRowColVal(r, colIdx) POINTER_SHIFT(kvDataRowValues(r), (colIdx)->offset)
#define kvDataRowSetLen(r, len) kvDataRowLen(r) = (len)
#define kvDataRowSetNCols(r, n) kvDataRowNCols(r) = (n)
#define kvDataRowColIdxAt(r, i) (kvDataRowColIdx(r) + (i))
SKVDataRow
tdKVDataRowDup
(
SKVDataRow
row
);
SKVDataRow
tdSetKVRowDataOfCol
(
SKVDataRow
row
,
int16_t
colId
,
int8_t
type
,
void
*
value
);
void
*
tdEncodeKVDataRow
(
void
*
buf
,
SKVDataRow
row
);
void
*
tdDecodeKVDataRow
(
void
*
buf
,
SKVDataRow
*
row
);
static
FORCE_INLINE
int
comparTagId
(
const
void
*
key1
,
const
void
*
key2
)
{
if
(
*
(
int16_t
*
)
key1
>
((
SColIdx
*
)
key2
)
->
colId
)
{
return
1
;
}
else
if
(
*
(
int16_t
*
)
key1
<
((
SColIdx
*
)
key2
)
->
colId
)
{
return
-
1
;
}
else
{
return
0
;
}
}
static
FORCE_INLINE
void
*
tdGetKVRowDataOfCol
(
SKVDataRow
row
,
int16_t
colId
)
{
void
*
ret
=
taosbsearch
(
&
colId
,
kvDataRowColIdx
(
row
),
kvDataRowNCols
(
row
),
sizeof
(
SColIdx
),
comparTagId
,
TD_EQ
);
if
(
ret
==
NULL
)
return
NULL
;
return
kvDataRowColVal
(
row
,
(
SColIdx
*
)
ret
);
}
// ----------------- Tag row structure
// ----------------- Tag row structure
/* A tag row, the format is like below:
/* A tag row, the format is like below:
...
...
src/common/src/tdataformat.c
浏览文件 @
8c7100e8
...
@@ -595,3 +595,88 @@ void tdMergeTwoDataCols(SDataCols *target, SDataCols *src1, int *iter1, SDataCol
...
@@ -595,3 +595,88 @@ void tdMergeTwoDataCols(SDataCols *target, SDataCols *src1, int *iter1, SDataCol
}
}
}
}
}
}
SKVDataRow
tdKVDataRowDup
(
SKVDataRow
row
)
{
SKVDataRow
trow
=
malloc
(
kvDataRowLen
(
row
));
if
(
trow
==
NULL
)
return
NULL
;
kvDataRowCpy
(
trow
,
row
);
return
trow
;
}
SKVDataRow
tdSetKVRowDataOfCol
(
SKVDataRow
row
,
int16_t
colId
,
int8_t
type
,
void
*
value
)
{
// TODO
return
NULL
;
// SColIdx *pColIdx = NULL;
// SKVDataRow rrow = row;
// SKVDataRow nrow = NULL;
// void *ptr = taosbsearch(&colId, kvDataRowColIdx(row), kvDataRowNCols(row), sizeof(SColIdx), comparTagId, TD_GE);
// if (ptr == NULL || ((SColIdx *)ptr)->colId < colId) { // need to add a column value to the row
// int tlen = kvDataRowLen(row) + sizeof(SColIdx) + (IS_VAR_DATA_TYPE(type) ? varDataTLen(value) : TYPE_BYTES[type]);
// nrow = malloc(tlen);
// if (nrow == NULL) return NULL;
// kvDataRowSetNCols(nrow, kvDataRowNCols(row)+1);
// kvDataRowSetLen(nrow, tlen);
// if (ptr == NULL) ptr = kvDataRowValues(row);
// // Copy the columns before the col
// if (POINTER_DISTANCE(ptr, kvDataRowColIdx(row)) > 0) {
// memcpy(kvDataRowColIdx(nrow), kvDataRowColIdx(row), POINTER_DISTANCE(ptr, kvDataRowColIdx(row)));
// memcpy(kvDataRowValues(nrow), kvDataRowValues(row), ((SColIdx *)ptr)->offset); // TODO: here is not correct
// }
// // Set the new col value
// pColIdx = (SColIdx *)POINTER_SHIFT(nrow, POINTER_DISTANCE(ptr, row));
// pColIdx->colId = colId;
// pColIdx->offset = ((SColIdx *)ptr)->offset; // TODO: here is not correct
// if (IS_VAR_DATA_TYPE(type)) {
// memcpy(POINTER_SHIFT(kvDataRowValues(nrow), pColIdx->offset), value, varDataLen(value));
// } else {
// memcpy(POINTER_SHIFT(kvDataRowValues(nrow), pColIdx->offset), value, TYPE_BYTES[type]);
// }
// // Copy the columns after the col
// if (POINTER_DISTANCE(kvDataRowValues(row), ptr) > 0) {
// // TODO: memcpy();
// }
// } else {
// // TODO
// ASSERT(((SColIdx *)ptr)->colId == colId);
// if (IS_VAR_DATA_TYPE(type)) {
// void *pOldVal = kvDataRowColVal(row, (SColIdx *)ptr);
// if (varDataTLen(value) == varDataTLen(pOldVal)) { // just update the column value in place
// memcpy(pOldVal, value, varDataTLen(value));
// } else { // enlarge the memory
// // rrow = realloc(rrow, kvDataRowLen(rrow) + varDataTLen(value) - varDataTLen(pOldVal));
// // if (rrow == NULL) return NULL;
// // memmove();
// // for () {
// // ((SColIdx *)ptr)->offset += balabala;
// // }
// // kvDataRowSetLen();
// }
// } else {
// memcpy(kvDataRowColVal(row, (SColIdx *)ptr), value, TYPE_BYTES[type]);
// }
// }
// return rrow;
}
void
*
tdEncodeKVDataRow
(
void
*
buf
,
SKVDataRow
row
)
{
// May change the encode purpose
kvDataRowCpy
(
buf
,
row
);
return
POINTER_SHIFT
(
buf
,
kvDataRowLen
(
row
));
}
void
*
tdDecodeKVDataRow
(
void
*
buf
,
SKVDataRow
*
row
)
{
*
row
=
tdKVDataRowDup
(
buf
);
return
POINTER_SHIFT
(
buf
,
kvDataRowLen
(
*
row
));
}
\ No newline at end of file
src/inc/taosdef.h
浏览文件 @
8c7100e8
...
@@ -52,6 +52,7 @@ typedef struct tstr {
...
@@ -52,6 +52,7 @@ typedef struct tstr {
#define varDataCopy(dst, v) memcpy((dst), (void*) (v), varDataTLen(v))
#define varDataCopy(dst, v) memcpy((dst), (void*) (v), varDataTLen(v))
#define varDataLenByData(v) (*(VarDataLenT *)(((char*)(v)) - VARSTR_HEADER_SIZE))
#define varDataLenByData(v) (*(VarDataLenT *)(((char*)(v)) - VARSTR_HEADER_SIZE))
#define varDataSetLen(v, _len) (((VarDataLenT *)(v))[0] = (VarDataLenT) (_len))
#define varDataSetLen(v, _len) (((VarDataLenT *)(v))[0] = (VarDataLenT) (_len))
#define IS_VAR_DATA_TYPE(t) (((t) == TSDB_DATA_TYPE_BINARY) || ((t) == TSDB_DATA_TYPE_NCHAR))
// this data type is internally used only in 'in' query to hold the values
// this data type is internally used only in 'in' query to hold the values
#define TSDB_DATA_TYPE_ARRAY (TSDB_DATA_TYPE_NCHAR + 1)
#define TSDB_DATA_TYPE_ARRAY (TSDB_DATA_TYPE_NCHAR + 1)
...
...
src/util/inc/tutil.h
浏览文件 @
8c7100e8
...
@@ -46,6 +46,7 @@ extern "C" {
...
@@ -46,6 +46,7 @@ extern "C" {
// Pointer p drift right by b bytes
// Pointer p drift right by b bytes
#define POINTER_SHIFT(p, b) ((void *)((char *)(p) + (b)))
#define POINTER_SHIFT(p, b) ((void *)((char *)(p) + (b)))
#define POINTER_DISTANCE(p1, p2) ((char *)p1 - (char *)p2)
#ifndef NDEBUG
#ifndef NDEBUG
#define ASSERT(x) assert(x)
#define ASSERT(x) assert(x)
...
...
编辑
预览
Markdown
is supported
0%
请重试
或
添加新附件
.
添加附件
取消
You are about to add
0
people
to the discussion. Proceed with caution.
先完成此消息的编辑!
取消
想要评论请
注册
或
登录