Merge pull request #5368 from taosdata/hotfix/sangshuduo/TD-3147-insert-rate-more-than-1s

Hotfix/sangshuduo/td 3147 insert rate more than 1s

documentation20/cn/00.index/docs.md

@@ -120,6 +120,7 @@ TDengine是一个高效的存储、查询、分析时序大数据的平台，专
 * [TDengine性能对比测试工具](https://www.taosdata.com/blog/2020/01/18/1166.html)
 * [IDEA数据库管理工具可视化使用TDengine](https://www.taosdata.com/blog/2020/08/27/1767.html)
 * [基于eletron开发的跨平台TDengine图形化管理工具](https://github.com/skye0207/TDengineGUI)
+* [DataX，支持TDengine的离线数据采集/同步工具](https://github.com/alibaba/DataX)
 
 ## TDengine与其他数据库的对比测试
 

documentation20/cn/03.architecture/docs.md

@@ -178,11 +178,11 @@ TDengine 分布式架构的逻辑结构图如下：
 
 **FQDN配置**：一个数据节点有一个或多个FQDN，可以在系统配置文件taos.cfg通过参数“fqdn"进行指定，如果没有指定，系统将自动获取计算机的hostname作为其FQDN。如果节点没有配置FQDN，可以直接将该节点的配置参数fqdn设置为它的IP地址。但不建议使用IP，因为IP地址可变，一旦变化，将让集群无法正常工作。一个数据节点的EP(End Point)由FQDN + Port组成。采用FQDN，需要保证DNS服务正常工作，或者在节点以及应用所在的节点配置好hosts文件。
 
-**端口配置：**一个数据节点对外的端口由TDengine的系统配置参数serverPort决定，对集群内部通讯的端口是serverPort+5。集群内数据节点之间的数据复制操作还占有一个TCP端口，是serverPort+10. 为支持多线程高效的处理UDP数据，每个对内和对外的UDP连接，都需要占用5个连续的端口。因此一个数据节点总的端口范围为serverPort到serverPort + 10，总共11个TCP/UDP端口。使用时，需要确保防火墙将这些端口打开。每个数据节点可以配置不同的serverPort。
+**端口配置：**一个数据节点对外的端口由TDengine的系统配置参数serverPort决定，对集群内部通讯的端口是serverPort+5。集群内数据节点之间的数据复制操作还占有一个TCP端口，是serverPort+10. 为支持多线程高效的处理UDP数据，每个对内和对外的UDP连接，都需要占用5个连续的端口。因此一个数据节点总的端口范围为serverPort到serverPort + 10，总共11个TCP/UDP端口。（另外还可能有 RESTful、Arbitrator 所使用的端口，那样的话就一共是 13 个。）使用时，需要确保防火墙将这些端口打开，以备使用。每个数据节点可以配置不同的serverPort。
 
 **集群对外连接:** TDengine集群可以容纳单个、多个甚至几千个数据节点。应用只需要向集群中任何一个数据节点发起连接即可，连接需要提供的网络参数是一数据节点的End Point(FQDN加配置的端口号）。通过命令行CLI启动应用taos时，可以通过选项-h来指定数据节点的FQDN, -P来指定其配置的端口号，如果端口不配置，将采用TDengine的系统配置参数serverPort。
 
-**集群内部通讯**: 各个数据节点之间通过TCP/UDP进行连接。一个数据节点启动时，将获取mnode所在的dnode的EP信息，然后与系统中的mnode建立起连接，交换信息。获取mnode的EP信息有三步，1：检查mnodeEpList文件是否存在，如果不存在或不能正常打开获得mnode EP信息，进入第二步；2：检查系统配置文件taos.cfg, 获取节点配置参数firstEp, secondEp，（这两个参数指定的节点可以是不带mnode的普通节点，这样的话，节点被连接时会尝试重定向到mnode节点）如果不存在或者taos.cfg里没有这两个配置参数，或无效，进入第三步；3：将自己的EP设为mnode EP, 并独立运行起来。获取mnode EP列表后，数据节点发起连接，如果连接成功，则成功加入进工作的集群，如果不成功，则尝试mnode EP列表中的下一个。如果都尝试了，但连接都仍然失败，则休眠几秒后，再进行尝试。
+**集群内部通讯**: 各个数据节点之间通过TCP/UDP进行连接。一个数据节点启动时，将获取mnode所在的dnode的EP信息，然后与系统中的mnode建立起连接，交换信息。获取mnode的EP信息有三步，1：检查mnodeEpSet文件是否存在，如果不存在或不能正常打开获得mnode EP信息，进入第二步；2：检查系统配置文件taos.cfg, 获取节点配置参数firstEp, secondEp，（这两个参数指定的节点可以是不带mnode的普通节点，这样的话，节点被连接时会尝试重定向到mnode节点）如果不存在或者taos.cfg里没有这两个配置参数，或无效，进入第三步；3：将自己的EP设为mnode EP, 并独立运行起来。获取mnode EP列表后，数据节点发起连接，如果连接成功，则成功加入进工作的集群，如果不成功，则尝试mnode EP列表中的下一个。如果都尝试了，但连接都仍然失败，则休眠几秒后，再进行尝试。
 
 **MNODE的选择:** TDengine逻辑上有管理节点，但没有单独的执行代码，服务器侧只有一套执行代码taosd。那么哪个数据节点会是管理节点呢？这是系统自动决定的，无需任何人工干预。原则如下：一个数据节点启动时，会检查自己的End Point, 并与获取的mnode EP List进行比对，如果在其中，该数据节点认为自己应该启动mnode模块，成为mnode。如果自己的EP不在mnode EP List里，则不启动mnode模块。在系统的运行过程中，由于负载均衡、宕机等原因，mnode有可能迁移至新的dnode，但一切都是透明的，无需人工干预，配置参数的修改，是mnode自己根据资源做出的决定。
 

documentation20/cn/08.connector/docs.md

@@ -209,7 +209,7 @@ C/C++的API类似于MySQL的C API。应用程序使用时，需要包含TDengine
 
 - `TAOS_RES* taos_query(TAOS *taos, const char *sql)`
 
-  该API用来执行SQL语句，可以是DQL、DML或DDL语句。 其中的`taos`参数是通过`taos_connect`获得的指针。返回值 NULL 表示失败。
+  该API用来执行SQL语句，可以是DQL、DML或DDL语句。 其中的`taos`参数是通过`taos_connect`获得的指针。不能通过返回值是否是 NULL 来判断执行结果是否失败，而是需要用`taos_errno`函数解析结果集中的错误代码来进行判断。
 
 - `int taos_result_precision(TAOS_RES *res)`
 
@@ -591,7 +591,8 @@ curl -u username:password -d '<SQL>' <ip>:<PORT>/rest/sql
 ```json
 {
     "status": "succ",
-    "head": ["Time Stamp","current", …],
+    "head": ["ts","current", …],
+    "column_meta": [["ts",9,8],["current",6,4], …],
     "data": [
         ["2018-10-03 14:38:05.000", 10.3, …],
         ["2018-10-03 14:38:15.000", 12.6, …]
@@ -602,10 +603,23 @@ curl -u username:password -d '<SQL>' <ip>:<PORT>/rest/sql
 
 说明：
 
-- status: 告知操作结果是成功还是失败
-- head: 表的定义，如果不返回结果集，仅有一列“affected_rows”
-- data: 具体返回的数据，一排一排的呈现，如果不返回结果集，仅[[affected_rows]]
-- rows: 表明总共多少行数据
+- status: 告知操作结果是成功还是失败。
+- head: 表的定义，如果不返回结果集，则仅有一列“affected_rows”。（从 2.0.17 版本开始，建议不要依赖 head 返回值来判断数据列类型，而推荐使用 column_meta。在未来版本中，有可能会从返回值中去掉 head 这一项。）
+- column_meta: 从 2.0.17 版本开始，返回值中增加这一项来说明 data 里每一列的数据类型。具体每个列会用三个值来说明，分别为：列名、列类型、类型长度。例如`["current",6,4]`表示列名为“current”；列类型为 6，也即 float 类型；类型长度为 4，也即对应 4 个字节表示的 float。如果列类型为 binary 或 nchar，则类型长度表示该列最多可以保存的内容长度，而不是本次返回值中的具体数据长度。当列类型是 nchar 的时候，其类型长度表示可以保存的 unicode 字符数量，而不是 bytes。
+- data: 具体返回的数据，一行一行的呈现，如果不返回结果集，那么就仅有[[affected_rows]]。data 中每一行的数据列顺序，与 column_meta 中描述数据列的顺序完全一致。
+- rows: 表明总共多少行数据。
+
+column_meta 中的列类型说明：
+* 1：BOOL
+* 2：TINYINT
+* 3：SMALLINT
+* 4：INT
+* 5：BIGINT
+* 6：FLOAT
+* 7：DOUBLE
+* 8：BINARY
+* 9：TIMESTAMP
+* 10：NCHAR
 
 ### 自定义授权码
 
@@ -651,7 +665,8 @@ curl -H 'Authorization: Basic cm9vdDp0YW9zZGF0YQ==' -d 'select * from demo.d1001
 ```json
 {
     "status": "succ",
-    "head": ["Time Stamp","current","voltage","phase"],
+    "head": ["ts","current","voltage","phase"],
+    "column_meta": [["ts",9,8],["current",6,4],["voltage",4,4],["phase",6,4]],
     "data": [
         ["2018-10-03 14:38:05.000",10.3,219,0.31],
         ["2018-10-03 14:38:15.000",12.6,218,0.33]
@@ -671,8 +686,9 @@ curl -H 'Authorization: Basic cm9vdDp0YW9zZGF0YQ==' -d 'create database demo' 19
 {
     "status": "succ",
     "head": ["affected_rows"],
+    "column_meta": [["affected_rows",4,4]],
     "data": [[1]],
-    "rows": 1,
+    "rows": 1
 }
 ```
 
@@ -691,7 +707,8 @@ curl -H 'Authorization: Basic cm9vdDp0YW9zZGF0YQ==' -d 'select * from demo.d1001
 ```json
 {
     "status": "succ",
-    "head": ["column1","column2","column3"],
+    "head": ["ts","current","voltage","phase"],
+    "column_meta": [["ts",9,8],["current",6,4],["voltage",4,4],["phase",6,4]],
     "data": [
         [1538548685000,10.3,219,0.31],
         [1538548695000,12.6,218,0.33]
@@ -712,7 +729,8 @@ HTTP请求URL采用`sqlutc`时，返回结果集的时间戳将采用UTC时间
 ```json
 {
     "status": "succ",
-    "head": ["column1","column2","column3"],
+    "head": ["ts","current","voltage","phase"],
+    "column_meta": [["ts",9,8],["current",6,4],["voltage",4,4],["phase",6,4]],
     "data": [
         ["2018-10-03T14:38:05.000+0800",10.3,219,0.31],
         ["2018-10-03T14:38:15.000+0800",12.6,218,0.33]

documentation20/cn/09.connections/docs.md

@@ -155,11 +155,3 @@ TDengine客户端暂不支持如下函数：
 - dbExistsTable(conn, "test")：是否存在表test
 - dbListTables(conn)：显示连接中的所有表
 
-
-## <a class="anchor" id="datax"></a>DataX
-
-[DataX](https://github.com/alibaba/DataX) 是阿里巴巴集团开源的一款通用离线数据采集/同步工具，能够简单、高效地接入 TDengine 进行数据写入和读取。
-
-* 数据读取集成的方法请参见 [TSDBReader 插件文档](https://github.com/alibaba/DataX/blob/master/tsdbreader/doc/tsdbreader.md)
-* 数据写入集成的方法请参见 [TSDBWriter 插件文档](https://github.com/alibaba/DataX/blob/master/tsdbwriter/doc/tsdbhttpwriter.md)
-

documentation20/cn/10.cluster/docs.md

@@ -13,7 +13,7 @@ TDengine的集群管理极其简单，除添加和删除节点需要人工干预
 **第零步**：规划集群所有物理节点的FQDN，将规划好的FQDN分别添加到每个物理节点的/etc/hostname；修改每个物理节点的/etc/hosts，将所有集群物理节点的IP与FQDN的对应添加好。【如部署了DNS，请联系网络管理员在DNS上做好相关配置】
 
 **第一步**：如果搭建集群的物理节点中，存有之前的测试数据、装过1.X的版本，或者装过其他版本的TDengine，请先将其删除，并清空所有数据，具体步骤请参考博客[《TDengine多种安装包的安装和卸载》](https://www.taosdata.com/blog/2019/08/09/566.html )   
-**注意1：**因为FQDN的信息会写进文件，如果之前没有配置或者更改FQDN，且启动了TDengine。请一定在确保数据无用或者备份的前提下，清理一下之前的数据（rm -rf /var/lib/taos/）；  
+**注意1：**因为FQDN的信息会写进文件，如果之前没有配置或者更改FQDN，且启动了TDengine。请一定在确保数据无用或者备份的前提下，清理一下之前的数据（`rm -rf /var/lib/taos/*`）；  
 **注意2：**客户端也需要配置，确保它可以正确解析每个节点的FQDN配置，不管是通过DNS服务，还是 Host 文件。
 
 **第二步**：建议关闭所有物理节点的防火墙，至少保证端口：6030 - 6042的TCP和UDP端口都是开放的。**强烈建议**先关闭防火墙，集群搭建完毕之后，再来配置端口；

documentation20/cn/12.taos-sql/docs.md

@@ -627,19 +627,21 @@ Query OK, 1 row(s) in set (0.001091s)
 
 ### 支持的条件过滤操作
 
-| Operation | Note                          | Applicable Data Types                 |
-| --------- | ----------------------------- | ------------------------------------- |
-| >         | larger than                   | **`timestamp`** and all numeric types |
-| <         | smaller than                  | **`timestamp`** and all numeric types |
-| >=        | larger than or equal to       | **`timestamp`** and all numeric types |
-| <=        | smaller than or equal to      | **`timestamp`** and all numeric types |
-| =         | equal to                      | all types                             |
-| <>        | not equal to                  | all types                             |
-| %         | match with any char sequences | **`binary`** **`nchar`**              |
-| _         | match with a single char      | **`binary`** **`nchar`**              |
+| Operation   | Note                          | Applicable Data Types                 |
+| ----------- | ----------------------------- | ------------------------------------- |
+| >           | larger than                   | **`timestamp`** and all numeric types |
+| <           | smaller than                  | **`timestamp`** and all numeric types |
+| >=          | larger than or equal to       | **`timestamp`** and all numeric types |
+| <=          | smaller than or equal to      | **`timestamp`** and all numeric types |
+| =           | equal to                      | all types                             |
+| <>          | not equal to                  | all types                             |
+| between and | within a certain range        | **`timestamp`** and all numeric types |
+| %           | match with any char sequences | **`binary`** **`nchar`**              |
+| _           | match with a single char      | **`binary`** **`nchar`**              |
 
 1. 同时进行多个字段的范围过滤，需要使用关键词 AND 来连接不同的查询条件，暂不支持 OR 连接的不同列之间的查询过滤条件。
-2. 针对单一字段的过滤，如果是时间过滤条件，则一条语句中只支持设定一个；但针对其他的（普通）列或标签列，则可以使用``` OR``` 关键字进行组合条件的查询过滤。例如：((value > 20 and value < 30) OR (value < 12)) 。
+2. 针对单一字段的过滤，如果是时间过滤条件，则一条语句中只支持设定一个；但针对其他的（普通）列或标签列，则可以使用 `OR` 关键字进行组合条件的查询过滤。例如：((value > 20 AND value < 30) OR (value < 12)) 。
+3. 从 2.0.17 版本开始，条件过滤开始支持 BETWEEN AND 语法，例如 `WHERE col2 BETWEEN 1.5 AND 3.25` 表示查询条件为“1.5 ≤ col2 ≤ 3.25”。
 
 ### SQL 示例 
 

src/kit/taosdemo/taosdemo.c

@@ -4232,7 +4232,8 @@ static void* syncWriteWithStb(void *sarg) {
   uint64_t st = 0;
   uint64_t et = 0;
 
-  debugPrint("DEBUG - %s() LN%d insertRows=%ld\n", __func__, __LINE__, superTblInfo->insertRows);
+  debugPrint("DEBUG - %s() LN%d insertRows=%"PRId64"\n", __func__, __LINE__, superTblInfo->insertRows);
+
   for (int i = 0; i < superTblInfo->insertRows;) {
 
     for (uint32_t tID = winfo->start_table_id; tID <= winfo->end_table_id; tID++) {
@@ -4325,7 +4326,6 @@ static void* syncWriteWithStb(void *sarg) {
         k++;
         totalRowsInserted++;
   
-        debugPrint("DEBUG %s() LN%d inserted=%ld k=%d totalRowsInserted=%ld superTblInfo->insertRows=%ld\n", __func__, __LINE__, inserted, k, totalRowsInserted, superTblInfo->insertRows);
         if (inserted > superTblInfo->insertRows)
             break;
 /*        if (inserted >= superTblInfo->insertRows