Merge branch '2.6' into feat/sangshuduo/TD-14141-update-taostools-for2.6

docs/en/12-taos-sql/index.md

@@ -5,7 +5,7 @@ description: "The syntax supported by TDengine SQL "
 
 This section explains the syntax of SQL to perform operations on databases, tables and STables, insert data, select data and use functions. We also provide some tips that can be used in TDengine SQL. If you have previous experience with SQL this section will be fairly easy to understand. If you do not have previous experience with SQL, you'll come to appreciate the simplicity and power of SQL.
 
-TDengine SQL is the major interface for users to write data into or query from TDengine. For ease of use, the syntax is similar to that of standard SQL. However, please note that TDengine SQL is not standard SQL. For instance, TDengine doesn't provide a delete function for time series data and so corresponding statements are not provided in TDengine SQL.
+TDengine SQL is the major interface for users to write data into or query from TDengine. For ease of use, the syntax is similar to that of standard SQL. However, please note that TDengine SQL is not standard SQL. For instance, TDengine doesn't provide a delete function for time series data and so corresponding statements are not provided in TDengine SQL. However, TDengine Enterprise Edition provides the DELETE function since version 2.6.
 
 Syntax Specifications used in this chapter:
 

docs/zh/12-taos-sql/index.md

@@ -5,7 +5,7 @@ description: "TAOS SQL 支持的语法规则、主要查询功能、支持的 SQ
 
 本文档说明 TAOS SQL 支持的语法规则、主要查询功能、支持的 SQL 查询函数，以及常用技巧等内容。阅读本文档需要读者具有基本的 SQL 语言的基础。
 
-TAOS SQL 是用户对 TDengine 进行数据写入和查询的主要工具。TAOS SQL 为了便于用户快速上手，在一定程度上提供与标准 SQL 类似的风格和模式。严格意义上，TAOS SQL 并不是也不试图提供标准的 SQL 语法。此外，由于 TDengine 针对的时序性结构化数据不提供删除功能，因此在 TAO SQL 中不提供数据删除的相关功能。
+TAOS SQL 是用户对 TDengine 进行数据写入和查询的主要工具。TAOS SQL 为了便于用户快速上手，在一定程度上提供与标准 SQL 类似的风格和模式。严格意义上，TAOS SQL 并不是也不试图提供标准的 SQL 语法。此外，由于 TDengine 没有提供时序数据的删除功能，因此 TAOS SQL 中也没有提供数据删除的相关功能。不过从 TDengine 企业版从 2.6 开始提供了 DELETE 语句。
 
 本章节 SQL 语法遵循如下约定：
 

docs/zh/20-third-party/12-IDEA.mdx

+---
+sidebar_label: IDEA
+title: 通过 IDEA 数据库管理工具连接 TDengine
+---
+
+IDEA 全称 IntelliJ IDEA，是 Java 语言开发的集成环境，被公认为最友好且使用范围最广的 Java 开发工具之一。
+
+IDEA Ultimate 版自带数据库管理工具，类似于一个小型 Navicat。这个工具让我们能在 IDEA 上对数据库做简单操作，不需要再切换到其他工具上。对于 TDengine 来说，用户可以通过 JDBC 驱动建立与 IDEA 的连接，不需要再到命令行去写 SQL 语句，直接在 IDEA 中执行即可。
+
+此处以 2.0.40 版本的 JDBC Connector 为例，给大家介绍如何使用源码编译、打包，以及如何使用 IDEA 数据库工具连接 TDengine。
+
+## 前置条件
+
+要让 IDEA 能正常连接 TDengine ，需要以下几方面的准备工作。
+
+- TDengine 集群已经部署并正常运行。
+- 若使用 TSDBDriver 驱动类连接请在本地安装 TDengine 客户端。
+- 若使用 RestfulDriver 驱动类连接 TDengine，请确保 taosAdapter 已经正常运行。
+
+## 配置步骤
+
+### 源码编译 JDBC-Connector
+
+去各大仓库下载 [dist-jar 包](https://search.maven.org/artifact/com.taosdata.jdbc/taos-jdbcdriver)或者通过源码编译，此处介绍源码编译方法。
+
+- 首先从 GitHub 仓库克隆 JDBC 连接器的源码，`git clone https://github.com/taosdata/taos-connector-jdbc.git -b 2.0.40`（此处推荐 -b 指定发布了的 Tags 版本），也可以在 IDEA 上操作：
+
+![image](https://user-images.githubusercontent.com/70138133/180187698-395762d1-fcac-4cea-b44f-cc8cd07ea0c8.png)
+
+- 克隆完源码后，若是编译 2.0.40 及以下版本的 JDBC-Connector 需要修改 taos-connector-jdbc 目录下 pom.xml 文件,将 dependencies 下的 commons-logging 依赖包的 scope 值由 test 改为 compile，否则编译完后导入 IDEA database 管理工具可能提醒缺少此驱动类。 
+
+![image](https://user-images.githubusercontent.com/70138133/180206650-561f9e24-ebb9-4cd2-8868-6f1cede54803.png)
+
+- 在 taos-connector-jdbc 目录下执行：`mvn clean package -Dmaven.test.skip=true`
+
+![image](https://user-images.githubusercontent.com/70138133/180353366-f515a6ae-904d-42d6-9967-1c298112fe88.png)
+
+![image](https://user-images.githubusercontent.com/70138133/180353831-cb0b2c5e-b9a3-4182-ba78-58abfa81e1b4.png)
+
+- 此时 taos-connector-jdbc 目录的 target 文件夹内产生了 taos-jdbcdriver-2.0.40-dist.jar 等驱动包。
+
+### 使用 IDEA database 工具连接 TDengine
+
+- 打开 IDEA database 工具，新建驱动，驱动程序文件选择 target 文件夹下的 taos-jdbcdriver-2.0.40-dist.jar。
+
+- 选择 RESTful 方式进行连接（注意：若使用 com.taosdata.jdbc.TSDBDriver 驱动类需要安装 TDengine 客户端）。
+
+![image](https://user-images.githubusercontent.com/70138133/180208261-34e7ed91-217f-46b5-80f9-f65f67d67662.png)
+
+- 然后通过驱动创建数据源。TDengine 的 JDBC URL 规范为：
+`jdbc:[TAOS|TAOS-RS]://[host_name]:[port]/[database_name]?[user={user}|&password={password}|&charset={charset}|&cfgdir={config_dir}|&locale={locale}|&timezone={timezone}]`
+
+- 此处使用 RESTful 连接，URL 示例为：jdbc:TAOS-RS://VM-24-8-centos:6041/log（需要在 Hosts 文件内添加域名解析；URL 内的 locale、timezone 参数在 RESTful 连接中不生效）
+
+![image](https://user-images.githubusercontent.com/70138133/180354534-7d73fe33-c4d3-400d-922b-28b20aadfb1b.png)
+
+- 点击测试连接，出现黄色感叹号不影响使用。
+
+![image](https://user-images.githubusercontent.com/70138133/180197251-98764434-bb7b-4e3a-9674-0620ab6d8bad.png)
+
+
+## 验证
+
+- 配置完后进行验证，点击刷新后再点击显示所有数据库：
+
+![image](https://user-images.githubusercontent.com/70138133/180202803-6e277132-44bd-4b22-8921-a54d16190d2b.png)
+
+
+- 右击数据源，新建查询控制台测试能否查询。需要注意的是，RESTful 请求是无状态的，查询、写入需要在表名前带上数据库名。
+
+- 2.X 版本中默认带 log 库，我们可以使用 `SHOW log.stables` 查看包含哪些超级表后对特定表进行查询、调试:
+
+![image](https://user-images.githubusercontent.com/70138133/180202329-6734c874-d4f5-40a3-be7d-c4fabbe73a19.png)
+
+- 可以看到有个超级表叫做 vgroups_info，执行 `DESCRIBE log.vgroups_info` 查看表结构：
+
+![image](https://user-images.githubusercontent.com/70138133/180204391-36fd0806-8cd6-43b8-97eb-1e7ff235846a.png)
+
+
+- 再执行`SELECT last_row(*) FROM log.vgroups_info GROUP BY vgroup_id`通过 vgroup_id 分组能查看各 VgroupId 下的最新一条数据：
+
+![image](https://user-images.githubusercontent.com/70138133/180205161-7f0314eb-cdaa-442c-acb5-d33931c32648.png)
+
+

docs/zh/20-third-party/13-Google-Data-Studio.mdx

+---
+sidebar_label: Google Data Studio 连接器
+title: 如何通过 Google Data Studio 可视化处理 TDengine 数据
+---
+
+Google Data Studio 是一个强大的报表可视化工具，它提供了丰富的数据图表和数据连接，可以非常方便地按照既定模板生成报表。因其简便易用和生态丰富而在数据分析领域得到一众数据科学家的青睐。
+
+Data Studio 可以支持多种数据来源，除了诸如 Google Analytics、Google AdWords、Search Console、BigQuery 等 Google 自己的服务之外，用户也可以直接将离线文件上传至 Google Cloud Storage，或是通过连接器来接入其它数据源。
+
+目前 TDengine 连接器已经发布到 Google Data Studio 应用商店，你可以在 “Connect to Data” 页面下直接搜索 TDengine，将其选作数据源。
+
+![image](./gds/GDS-2-2.png)
+
+接下来选择 AUTHORIZE 按钮。
+
+![image](./gds/GDS-3-2.png)
+
+设置允许连接自己的账号到外部服务。
+
+![image](./gds/GDS-4-1.png)
+
+在接下来的页面选择运行 TDengine REST 服务的 URL，并输入用户名、密码、数据库名称、表名称以及查询时间范围，并点击右上角的 CONNECT 按钮。
+
+注意：查询时间范围为可选输入项，如果不设置查询开始时间和结束时间，那么返回的数据为截至当前时间前30天的数据。如果30天内没有数据，生成的报告的会没数据。
+
+![image](./gds/GDS-5-1024x426.png)
+
+连接成功后，就可以使用 GDS 方便地进行数据处理并创建报表了。
+
+![image](./gds/GDS-6-1024x368.png)
+
+目前的维度和指标规则是：timestamp 类型的字段和 tag 字段会被连接器定义为维度，而其他类型的字段是指标。用户还可以根据自己的需求创建不同的表。
+
+以下为使用 GDS 对 TDengine 提供数据进行可视化图表设计的过程示例。
+
+![image](./gds/GDS-7-1024x528.png)
+
+![image](./gds/GDS-8-1024x531.png)
+
+![image](./gds/GDS-9-1024x531.png)
+
+![image](./gds/GDS-10-1-1024x531.png)
+
+![image](./gds/GDS-11-1024x531.png)

src/client/inc/tsclient.h

@@ -387,6 +387,7 @@ typedef struct SSqlObj {
   SSqlRes          res;
 
   SSubqueryState   subState;
+  pthread_mutex_t  mtxSubs;        // avoid double access pSubs after failure
   struct SSqlObj **pSubs;
   struct SSqlObj  *rootObj;
 

src/client/src/tscAsync.c

@@ -46,6 +46,8 @@ void doAsyncQuery(STscObj* pObj, SSqlObj* pSql, __async_cb_func_t fp, void* para
   pSql->fetchFp   = fp;
   pSql->rootObj   = pSql;
 
+  pthread_mutex_init(&pSql->mtxSubs, NULL);
+
   registerSqlObj(pSql);
 
   pSql->sqlstr = calloc(1, sqlLen + 1);
@@ -313,7 +315,7 @@ static void tscAsyncResultCallback(SSchedMsg *pMsg) {
   }
 
   assert(pSql->res.code != TSDB_CODE_SUCCESS);
-  if (tsShortcutFlag) {
+  if (tsShortcutFlag && (pSql->res.code == TSDB_CODE_RPC_SHORTCUT)) {
     tscDebug("0x%" PRIx64 " async result callback, code:%s", pSql->self, tstrerror(pSql->res.code));
     pSql->res.code = TSDB_CODE_SUCCESS;
   } else {

src/client/src/tscServer.c

@@ -335,7 +335,7 @@ int tscSendMsgToServer(SSqlObj *pSql) {
 
   if ((rpcMsg.msgType == TSDB_MSG_TYPE_SUBMIT) && (tsShortcutFlag & TSDB_SHORTCUT_RB_RPC_SEND_SUBMIT)) {
     rpcFreeCont(rpcMsg.pCont);
-    return TSDB_CODE_FAILED;
+    return TSDB_CODE_RPC_SHORTCUT;
   }
 
   rpcSendRequest(pObj->pRpcObj->pDnodeConn, &pSql->epSet, &rpcMsg, &pSql->rpcRid);
@@ -3251,7 +3251,9 @@ int tscRenewTableMeta(SSqlObj *pSql) {
   pSql->rootObj->retryReason = pSql->retryReason;
 
   SSqlObj *rootSql = pSql->rootObj;
+  pthread_mutex_lock(&rootSql->mtxSubs);
   tscFreeSubobj(rootSql);
+  pthread_mutex_unlock(&rootSql->mtxSubs);
   tfree(rootSql->pSubs);
   tscResetSqlCmd(&rootSql->cmd, true, rootSql->self);
 

src/client/src/tscUtil.c

@@ -1760,6 +1760,10 @@ void tscFreeSqlObj(SSqlObj* pSql) {
 
   tscFreeSubobj(pSql);
 
+  if (pSql && (pSql == pSql->rootObj)) {
+    pthread_mutex_destroy(&pSql->mtxSubs);
+  }
+
   pSql->signature = NULL;
   pSql->fp = NULL;
   tfree(pSql->sqlstr);

src/inc/taoserror.h

@@ -60,6 +60,7 @@ int32_t* taosGetErrno();
 #define TSDB_CODE_APP_NOT_READY                 TAOS_DEF_ERROR_CODE(0, 0x0014)  //"Database not ready"
 #define TSDB_CODE_RPC_FQDN_ERROR                TAOS_DEF_ERROR_CODE(0, 0x0015)  //"Unable to resolve FQDN"
 #define TSDB_CODE_RPC_INVALID_VERSION           TAOS_DEF_ERROR_CODE(0, 0x0016)  //"Invalid app version"
+#define TSDB_CODE_RPC_SHORTCUT                  TAOS_DEF_ERROR_CODE(0, 0x0017)  //"Shortcut"
 
 //common & util
 #define TSDB_CODE_COM_OPS_NOT_SUPPORT           TAOS_DEF_ERROR_CODE(0, 0x0100)  //"Operation not supported"

src/util/src/terror.c

@@ -68,6 +68,7 @@ TAOS_DEFINE_ERROR(TSDB_CODE_RPC_INVALID_TIME_STAMP,       "Client and server's t
 TAOS_DEFINE_ERROR(TSDB_CODE_APP_NOT_READY,                "Database not ready")
 TAOS_DEFINE_ERROR(TSDB_CODE_RPC_FQDN_ERROR,               "Unable to resolve FQDN")
 TAOS_DEFINE_ERROR(TSDB_CODE_RPC_INVALID_VERSION,          "Invalid app version")
+TAOS_DEFINE_ERROR(TSDB_CODE_RPC_SHORTCUT,                 "Shortcut")
 
 //common & util
 TAOS_DEFINE_ERROR(TSDB_CODE_COM_OPS_NOT_SUPPORT,          "Operation not supported")