Skip to content
体验新版
项目
组织
正在加载...
登录
切换导航
打开侧边栏
Cherenkov effect
TDengine
提交
087d2adf
T
TDengine
项目概览
Cherenkov effect
/
TDengine
与 Fork 源项目一致
Fork自
taosdata / TDengine
通知
2
Star
0
Fork
0
代码
文件
提交
分支
Tags
贡献者
分支图
Diff
Issue
0
列表
看板
标记
里程碑
合并请求
0
Wiki
0
Wiki
分析
仓库
DevOps
项目成员
Pages
T
TDengine
项目概览
项目概览
详情
发布
仓库
仓库
文件
提交
分支
标签
贡献者
分支图
比较
Issue
0
Issue
0
列表
看板
标记
里程碑
合并请求
0
合并请求
0
Pages
分析
分析
仓库分析
DevOps
Wiki
0
Wiki
成员
成员
收起侧边栏
关闭侧边栏
动态
分支图
创建新Issue
提交
Issue看板
体验新版 GitCode,发现更多精彩内容 >>
提交
087d2adf
编写于
2月 12, 2020
作者:
S
slguan
浏览文件
操作
浏览文件
下载
差异文件
Merge branch 'develop' into 2.0
上级
20cf2d53
772cd18f
变更
15
展开全部
隐藏空白更改
内联
并排
Showing
15 changed file
with
658 addition
and
42 deletion
+658
-42
documentation/webdocs/markdowndocs/Super Table-ch.md
documentation/webdocs/markdowndocs/Super Table-ch.md
+1
-1
documentation/webdocs/markdowndocs/Super Table.md
documentation/webdocs/markdowndocs/Super Table.md
+1
-1
documentation/webdocs/markdowndocs/advanced features-ch.md
documentation/webdocs/markdowndocs/advanced features-ch.md
+1
-1
minidevops/README.MD
minidevops/README.MD
+6
-0
packaging/docker/Dockerfile
packaging/docker/Dockerfile
+1
-1
packaging/docker/dockerbuild.sh
packaging/docker/dockerbuild.sh
+2
-8
src/client/src/tscFunctionImpl.c
src/client/src/tscFunctionImpl.c
+579
-16
src/client/src/tscSQLParser.c
src/client/src/tscSQLParser.c
+30
-5
src/rpc/src/trpc.c
src/rpc/src/trpc.c
+2
-2
src/util/CMakeLists.txt
src/util/CMakeLists.txt
+2
-0
src/util/inc/tsqlfunction.h
src/util/inc/tsqlfunction.h
+9
-2
src/util/src/ttokenizer.c
src/util/src/ttokenizer.c
+1
-0
src/vnode/detail/inc/vnodeQueryImpl.h
src/vnode/detail/inc/vnodeQueryImpl.h
+1
-0
src/vnode/detail/src/vnodeQueryImpl.c
src/vnode/detail/src/vnodeQueryImpl.c
+20
-3
src/vnode/detail/src/vnodeQueryProcess.c
src/vnode/detail/src/vnodeQueryProcess.c
+2
-2
未找到文件。
documentation/webdocs/markdowndocs/Super Table-ch.md
浏览文件 @
087d2adf
...
...
@@ -72,7 +72,7 @@ STable从属于库,一个STable只属于一个库,但一个库可以有一
DROP TABLE <stable_name>
```
Note: 删除STable
不会级联删除通过STable创建的表;相反删除STable时要求通过该STable创建的表都已经
被删除。
Note: 删除STable
时,所有通过该STable创建的表都将
被删除。
-
查看属于某STable并满足查询条件的表
...
...
documentation/webdocs/markdowndocs/Super Table.md
浏览文件 @
087d2adf
...
...
@@ -142,7 +142,7 @@ It lists the STable's schema and tags
DROP TABLE <stable_name>
```
To delete a STable, all the tables created via this STable
shall be deleted first, otherwise, it will fail
.
To delete a STable, all the tables created via this STable
will be deleted first
.
### List the Associated Tables of a STable
...
...
documentation/webdocs/markdowndocs/advanced features-ch.md
浏览文件 @
087d2adf
...
...
@@ -76,7 +76,7 @@ TDengine通过查询函数向用户提供毫秒级的数据获取能力。直接
TDengine分配固定大小的内存空间作为缓存空间,缓存空间可根据应用的需求和硬件资源配置。通过适当的设置缓存空间,TDengine可以提供极高性能的写入和查询的支持。TDengine中每个虚拟节点(virtual node)创建时分配独立的缓存池。每个虚拟节点管理自己的缓存池,不同虚拟节点间不共享缓存池。每个虚拟节点内部所属的全部表共享该虚拟节点的缓存池。
TDengine将内存池按块划分进行管理,数据在内存块里按照列式存储。一个vnode的内存池是在vnode创建时按块分配好的,而且每个内存块按照先进先出的原则进行管理。一张表所需要的内存块是从vnode的内存池中进行分配的,块的大小由系统配置参数cache决定。每张表最大内存块的数目由配置参数tblocks决定,每张表平均的内存块的个数由配置参数ablocks决定。因此对于一个vnode, 总的内存大小为:
cache
*ablocks*
tables
。内存块参数cache不宜过小,一个cache block需要能存储至少几十条以上记录,才会有效率。参数ablocks最小为2,保证每张表平均至少能分配两个内存块。
TDengine将内存池按块划分进行管理,数据在内存块里按照列式存储。一个vnode的内存池是在vnode创建时按块分配好的,而且每个内存块按照先进先出的原则进行管理。一张表所需要的内存块是从vnode的内存池中进行分配的,块的大小由系统配置参数cache决定。每张表最大内存块的数目由配置参数tblocks决定,每张表平均的内存块的个数由配置参数ablocks决定。因此对于一个vnode, 总的内存大小为:
`cache * ablocks * tables`
。内存块参数cache不宜过小,一个cache block需要能存储至少几十条以上记录,才会有效率。参数ablocks最小为2,保证每张表平均至少能分配两个内存块。
你可以通过函数last_row快速获取一张表或一张超级表的最后一条记录,这样很便于在大屏显示各设备的实时状态或采集值。例如:
...
...
minidevops/README.MD
浏览文件 @
087d2adf
...
...
@@ -7,8 +7,10 @@
-
grafana/grafana Grafana的镜像,一个广泛应用的开源可视化监控软件
-
telegraf:latest 一个广泛应用的开源数据采集程序
-
prom/prometheus:latest 一个广泛应用的k8s领域的开源数据采集程序
## 说明
本文中的图片链接在Github上显示不出来,建议将MD文件下载后用vscode或其他md文件浏览工具进行查看
## 前提条件
1.
一台linux服务器或运行linux操作系统的虚拟机或者运行MacOS的计算机
2.
安装了Docker软件。Docker软件的安装方法请参考linux下安装Docker
...
...
@@ -216,4 +218,8 @@ use telegraf;
使用telegraf这个数据库。然后执行show tables,describe table等命令详细查询下telegraf这个库里保存了些什么数据。
具体TDengine的查询语句可以参考
[
TDengine官方文档
](
https://www.taosdata.com/cn/documentation/taos-sql/
)
## 接入多个监控对象
<<<<<<< HEAD
就像前面原理介绍的,这个miniDevops的小系统,已经提供了一个时序数据库和可视化系统,对于多台机器的监控,只需要将每台机器的telegraf或prometheus配置按上面所述修改,就可以完成监控数据采集和可视化呈现了。
=======
就像前面原理介绍的,这个miniDevops的小系统,已经提供了一个时序数据库和可视化系统,对于多台机器的监控,只需要将每台机器的telegraf或prometheus配置按上面所述修改,就可以完成监控数据采集和可视化呈现了。
>>>>>>> 740f82af58c4ecc2deecfa36fb1de4ef5ee55efc
packaging/docker/Dockerfile
浏览文件 @
087d2adf
...
...
@@ -4,7 +4,7 @@ WORKDIR /root
COPY
tdengine.tar.gz /root/
RUN
tar
-zxf
tdengine.tar.gz
WORKDIR
/root/
tdengine
/
WORKDIR
/root/
TDengine-server
/
RUN
sh install.sh
...
...
packaging/docker/dockerbuild.sh
浏览文件 @
087d2adf
#!/bin/bash
set
-x
$1
tar
-zxf
$1
DIR
=
`
echo
$1
|awk
-F
.
'{print($1"."$2"."$3"."$4)}'
`
mv
$DIR
tdengine
tar
-czf
tdengine.tar.gz tdengine
TMP
=
`
echo
$1
|awk
-F
.
'{print($2"."$3"."$4)}'
`
TAG
=
"1."
$TMP
docker build
--rm
-f
"Dockerfile"
-t
tdengine/tdengine:
$TAG
"."
docker build
--rm
-f
"Dockerfile"
-t
tdengine/tdengine:
$1
"."
docker login
-u
tdengine
-p
********
#replace the docker registry username and password
docker push tdengine/tdengine:
$TAG
\ No newline at end of file
docker push tdengine/tdengine:
$1
\ No newline at end of file
src/client/src/tscFunctionImpl.c
浏览文件 @
087d2adf
此差异已折叠。
点击以展开。
src/client/src/tscSQLParser.c
浏览文件 @
087d2adf
...
...
@@ -1122,7 +1122,7 @@ int32_t parseSelectClause(SSqlCmd* pCmd, int32_t clauseIndex, tSQLExprList* pSel
if
(
addProjectionExprAndResultField
(
pQueryInfo
,
pItem
)
!=
TSDB_CODE_SUCCESS
)
{
return
TSDB_CODE_INVALID_SQL
;
}
}
else
if
(
pItem
->
pNode
->
nSQLOptr
>=
TK_COUNT
&&
pItem
->
pNode
->
nSQLOptr
<=
TK_
LAST_ROW
)
{
}
else
if
(
pItem
->
pNode
->
nSQLOptr
>=
TK_COUNT
&&
pItem
->
pNode
->
nSQLOptr
<=
TK_
AVG_IRATE
)
{
// sql function in selection clause, append sql function info in pSqlCmd structure sequentially
if
(
addExprAndResultField
(
pQueryInfo
,
outputIndex
,
pItem
)
!=
TSDB_CODE_SUCCESS
)
{
return
TSDB_CODE_INVALID_SQL
;
...
...
@@ -1504,6 +1504,12 @@ int32_t addExprAndResultField(SQueryInfo* pQueryInfo, int32_t colIdx, tSQLExprIt
}
case
TK_SUM
:
case
TK_AVG
:
case
TK_RATE
:
case
TK_IRATE
:
case
TK_SUM_RATE
:
case
TK_SUM_IRATE
:
case
TK_AVG_RATE
:
case
TK_AVG_IRATE
:
case
TK_TWA
:
case
TK_MIN
:
case
TK_MAX
:
...
...
@@ -1956,6 +1962,24 @@ int32_t changeFunctionID(int32_t optr, int16_t* functionId) {
case
TK_AVG
:
*
functionId
=
TSDB_FUNC_AVG
;
break
;
case
TK_RATE
:
*
functionId
=
TSDB_FUNC_RATE
;
break
;
case
TK_IRATE
:
*
functionId
=
TSDB_FUNC_IRATE
;
break
;
case
TK_SUM_RATE
:
*
functionId
=
TSDB_FUNC_SUM_RATE
;
break
;
case
TK_SUM_IRATE
:
*
functionId
=
TSDB_FUNC_SUM_IRATE
;
break
;
case
TK_AVG_RATE
:
*
functionId
=
TSDB_FUNC_AVG_RATE
;
break
;
case
TK_AVG_IRATE
:
*
functionId
=
TSDB_FUNC_AVG_IRATE
;
break
;
case
TK_MIN
:
*
functionId
=
TSDB_FUNC_MIN
;
break
;
...
...
@@ -2149,7 +2173,8 @@ int32_t tscTansformSQLFunctionForSTableQuery(SQueryInfo* pQueryInfo) {
int16_t
functionId
=
aAggs
[
pExpr
->
functionId
].
stableFuncId
;
if
((
functionId
>=
TSDB_FUNC_SUM
&&
functionId
<=
TSDB_FUNC_TWA
)
||
(
functionId
>=
TSDB_FUNC_FIRST_DST
&&
functionId
<=
TSDB_FUNC_LAST_DST
))
{
(
functionId
>=
TSDB_FUNC_FIRST_DST
&&
functionId
<=
TSDB_FUNC_LAST_DST
)
||
(
functionId
>=
TSDB_FUNC_RATE
&&
functionId
<=
TSDB_FUNC_AVG_IRATE
))
{
if
(
getResultDataInfo
(
pField
->
type
,
pField
->
bytes
,
functionId
,
pExpr
->
param
[
0
].
i64Key
,
&
type
,
&
bytes
,
&
intermediateBytes
,
0
,
true
)
!=
TSDB_CODE_SUCCESS
)
{
return
TSDB_CODE_INVALID_SQL
;
...
...
@@ -2912,7 +2937,7 @@ static int32_t validateSQLExpr(tSQLExpr* pExpr, SQueryInfo* pQueryInfo, SColumnL
pList
->
ids
[
pList
->
num
++
]
=
index
;
}
else
if
(
pExpr
->
nSQLOptr
==
TK_FLOAT
&&
(
isnan
(
pExpr
->
val
.
dKey
)
||
isinf
(
pExpr
->
val
.
dKey
)))
{
return
TSDB_CODE_INVALID_SQL
;
}
else
if
(
pExpr
->
nSQLOptr
>=
TK_MIN
&&
pExpr
->
nSQLOptr
<=
TK_
LAST_ROW
)
{
}
else
if
(
pExpr
->
nSQLOptr
>=
TK_MIN
&&
pExpr
->
nSQLOptr
<=
TK_
AVG_IRATE
)
{
return
TSDB_CODE_INVALID_SQL
;
}
...
...
@@ -2966,8 +2991,8 @@ static bool isValidExpr(tSQLExpr* pLeft, tSQLExpr* pRight, int32_t optr) {
*
* However, columnA < 4+12 is valid
*/
if
((
pLeft
->
nSQLOptr
>=
TK_COUNT
&&
pLeft
->
nSQLOptr
<=
TK_
LAST_ROW
)
||
(
pRight
->
nSQLOptr
>=
TK_COUNT
&&
pRight
->
nSQLOptr
<=
TK_
LAST_ROW
)
||
if
((
pLeft
->
nSQLOptr
>=
TK_COUNT
&&
pLeft
->
nSQLOptr
<=
TK_
AVG_IRATE
)
||
(
pRight
->
nSQLOptr
>=
TK_COUNT
&&
pRight
->
nSQLOptr
<=
TK_
AVG_IRATE
)
||
(
pLeft
->
nSQLOptr
>=
TK_BOOL
&&
pLeft
->
nSQLOptr
<=
TK_BINARY
&&
pRight
->
nSQLOptr
>=
TK_BOOL
&&
pRight
->
nSQLOptr
<=
TK_BINARY
))
{
return
false
;
...
...
src/rpc/src/trpc.c
浏览文件 @
087d2adf
...
...
@@ -239,8 +239,8 @@ char *taosBuildReqHeader(void *param, char type, char *msg) {
pHeader
->
spi
=
0
;
pHeader
->
tcp
=
0
;
pHeader
->
encrypt
=
0
;
pHeader
->
tranId
=
atomic_add_fetch_
32
(
&
pConn
->
tranId
,
1
);
if
(
pHeader
->
tranId
==
0
)
pHeader
->
tranId
=
atomic_add_fetch_
32
(
&
pConn
->
tranId
,
1
);
pHeader
->
tranId
=
atomic_add_fetch_
16
(
&
pConn
->
tranId
,
1
);
if
(
pHeader
->
tranId
==
0
)
pHeader
->
tranId
=
atomic_add_fetch_
16
(
&
pConn
->
tranId
,
1
);
pHeader
->
sourceId
=
pConn
->
ownId
;
pHeader
->
destId
=
pConn
->
peerId
;
...
...
src/util/CMakeLists.txt
浏览文件 @
087d2adf
...
...
@@ -56,6 +56,7 @@ ELSEIF (TD_WINDOWS_64)
LIST
(
APPEND SRC ./src/tmempool.c
)
LIST
(
APPEND SRC ./src/tmodule.c
)
LIST
(
APPEND SRC ./src/tnote.c
)
LIST
(
APPEND SRC ./src/tpercentile.c
)
LIST
(
APPEND SRC ./src/tsched.c
)
LIST
(
APPEND SRC ./src/tskiplist.c
)
LIST
(
APPEND SRC ./src/tsocket.c
)
...
...
@@ -91,6 +92,7 @@ ELSEIF(TD_DARWIN_64)
LIST
(
APPEND SRC ./src/tmempool.c
)
LIST
(
APPEND SRC ./src/tmodule.c
)
LIST
(
APPEND SRC ./src/tnote.c
)
LIST
(
APPEND SRC ./src/tpercentile.c
)
LIST
(
APPEND SRC ./src/tsched.c
)
LIST
(
APPEND SRC ./src/tskiplist.c
)
LIST
(
APPEND SRC ./src/tsocket.c
)
...
...
src/util/inc/tsqlfunction.h
浏览文件 @
087d2adf
...
...
@@ -60,6 +60,13 @@ extern "C" {
#define TSDB_FUNC_LAST_DST 26
#define TSDB_FUNC_INTERP 27
#define TSDB_FUNC_RATE 28
#define TSDB_FUNC_IRATE 29
#define TSDB_FUNC_SUM_RATE 30
#define TSDB_FUNC_SUM_IRATE 31
#define TSDB_FUNC_AVG_RATE 32
#define TSDB_FUNC_AVG_IRATE 33
#define TSDB_FUNCSTATE_SO 0x1U // single output
#define TSDB_FUNCSTATE_MO 0x2U // dynamic number of output, not multinumber of output e.g., TOP/BOTTOM
#define TSDB_FUNCSTATE_STREAM 0x4U // function avail for stream
...
...
@@ -287,10 +294,10 @@ typedef struct STwaInfo {
}
STwaInfo
;
/* global sql function array */
extern
struct
SQLAggFuncElem
aAggs
[
28
];
extern
struct
SQLAggFuncElem
aAggs
[];
/* compatible check array list */
extern
int32_t
funcCompatDefList
[
28
];
extern
int32_t
funcCompatDefList
[];
void
getStatistics
(
char
*
priData
,
char
*
data
,
int32_t
size
,
int32_t
numOfRow
,
int32_t
type
,
int64_t
*
min
,
int64_t
*
max
,
int64_t
*
sum
,
int16_t
*
minIndex
,
int16_t
*
maxIndex
,
int32_t
*
numOfNull
);
...
...
src/util/src/ttokenizer.c
浏览文件 @
087d2adf
...
...
@@ -231,6 +231,7 @@ static SKeyword keywordTable[] = {
{
"RATE"
,
TK_RATE
},
{
"IRATE"
,
TK_IRATE
},
{
"SUM_RATE"
,
TK_SUM_RATE
},
{
"SUM_IRATE"
,
TK_SUM_IRATE
},
{
"AVG_RATE"
,
TK_AVG_RATE
},
{
"AVG_IRATE"
,
TK_AVG_IRATE
},
};
...
...
src/vnode/detail/inc/vnodeQueryImpl.h
浏览文件 @
087d2adf
...
...
@@ -126,6 +126,7 @@ static FORCE_INLINE SMeterObj* getMeterObj(void* hashHandle, int32_t sid) {
bool
isQueryKilled
(
SQuery
*
pQuery
);
bool
isFixedOutputQuery
(
SQuery
*
pQuery
);
bool
isPointInterpoQuery
(
SQuery
*
pQuery
);
bool
isSumAvgRateQuery
(
SQuery
*
pQuery
);
bool
isTopBottomQuery
(
SQuery
*
pQuery
);
bool
isFirstLastRowQuery
(
SQuery
*
pQuery
);
bool
isTSCompQuery
(
SQuery
*
pQuery
);
...
...
src/vnode/detail/src/vnodeQueryImpl.c
浏览文件 @
087d2adf
...
...
@@ -2438,8 +2438,9 @@ void setExecParams(SQuery *pQuery, SQLFunctionCtx *pCtx, int64_t startQueryTimes
// store the first&last timestamp into the intermediate buffer [1], the true
// value may be null but timestamp will never be null
pCtx
->
ptsList
=
(
int64_t
*
)(
primaryColumnData
+
startOffset
*
TSDB_KEYSIZE
);
}
else
if
(
functionId
==
TSDB_FUNC_TOP
||
functionId
==
TSDB_FUNC_BOTTOM
||
functionId
==
TSDB_FUNC_TWA
||
functionId
==
TSDB_FUNC_DIFF
)
{
}
else
if
(
functionId
==
TSDB_FUNC_TOP
||
functionId
==
TSDB_FUNC_BOTTOM
||
functionId
==
TSDB_FUNC_TWA
||
functionId
==
TSDB_FUNC_DIFF
||
(
functionId
>=
TSDB_FUNC_RATE
&&
functionId
<=
TSDB_FUNC_AVG_IRATE
))
{
/*
* leastsquares function needs two columns of input, currently, the x value of linear equation is set to
* timestamp column, and the y-value is the column specified in pQuery->pSelectExpr[i].colIdxInBuffer
...
...
@@ -2723,6 +2724,22 @@ bool isPointInterpoQuery(SQuery *pQuery) {
}
// TODO REFACTOR:MERGE WITH CLIENT-SIDE FUNCTION
bool
isSumAvgRateQuery
(
SQuery
*
pQuery
)
{
for
(
int32_t
i
=
0
;
i
<
pQuery
->
numOfOutputCols
;
++
i
)
{
int32_t
functionId
=
pQuery
->
pSelectExpr
[
i
].
pBase
.
functionId
;
if
(
functionId
==
TSDB_FUNC_TS
)
{
continue
;
}
if
(
functionId
==
TSDB_FUNC_SUM_RATE
||
functionId
==
TSDB_FUNC_SUM_IRATE
||
functionId
==
TSDB_FUNC_AVG_RATE
||
functionId
==
TSDB_FUNC_AVG_IRATE
)
{
return
true
;
}
}
return
false
;
}
bool
isTopBottomQuery
(
SQuery
*
pQuery
)
{
for
(
int32_t
i
=
0
;
i
<
pQuery
->
numOfOutputCols
;
++
i
)
{
int32_t
functionId
=
pQuery
->
pSelectExpr
[
i
].
pBase
.
functionId
;
...
...
@@ -4584,7 +4601,7 @@ int32_t vnodeMultiMeterQueryPrepare(SQInfo *pQInfo, SQuery *pQuery, void *param)
initSlidingWindowInfo
(
&
pRuntimeEnv
->
swindowResInfo
,
4096
,
type
,
pQuery
->
rowSize
,
pSupporter
->
pResult
);
}
if
(
pQuery
->
nAggTimeInterval
!=
0
)
{
if
(
pQuery
->
nAggTimeInterval
!=
0
||
isSumAvgRateQuery
(
pQuery
)
)
{
// one page for each table at least
ret
=
createResultBuf
(
&
pRuntimeEnv
->
pResultBuf
,
pSupporter
->
numOfMeters
,
pQuery
->
rowSize
);
if
(
ret
!=
TSDB_CODE_SUCCESS
)
{
...
...
src/vnode/detail/src/vnodeQueryProcess.c
浏览文件 @
087d2adf
...
...
@@ -398,7 +398,7 @@ static void queryOnMultiDataFiles(SQInfo *pQInfo, SMeterDataInfo *pMeterDataInfo
restoreIntervalQueryRange
(
pRuntimeEnv
,
pMeterQueryInfo
);
if
(
pQuery
->
nAggTimeInterval
==
0
)
{
// normal query
if
(
pQuery
->
nAggTimeInterval
==
0
&&
!
isSumAvgRateQuery
(
pQuery
)
)
{
// normal query
if
((
pQuery
->
lastKey
>
pQuery
->
ekey
&&
QUERY_IS_ASC_QUERY
(
pQuery
))
||
(
pQuery
->
lastKey
<
pQuery
->
ekey
&&
!
QUERY_IS_ASC_QUERY
(
pQuery
)))
{
qTrace
(
...
...
@@ -964,7 +964,7 @@ static void vnodeMultiMeterQueryProcessor(SQInfo *pQInfo) {
return
;
}
if
(
pQuery
->
nAggTimeInterval
>
0
)
{
if
(
pQuery
->
nAggTimeInterval
>
0
||
isSumAvgRateQuery
(
pQuery
)
)
{
assert
(
pSupporter
->
subgroupIdx
==
0
&&
pSupporter
->
numOfGroupResultPages
==
0
);
if
(
mergeMetersResultToOneGroups
(
pSupporter
)
==
TSDB_CODE_SUCCESS
)
{
...
...
编辑
预览
Markdown
is supported
0%
请重试
或
添加新附件
.
添加附件
取消
You are about to add
0
people
to the discussion. Proceed with caution.
先完成此消息的编辑!
取消
想要评论请
注册
或
登录