From 5417cf7c54605f30180bbb2b6c112c710dc8ee09 Mon Sep 17 00:00:00 2001 From: Jeff Tao Date: Sat, 1 Aug 2020 23:52:42 +0000 Subject: [PATCH] minor changes --- .../webdocs/markdowndocs/administrator-ch.md | 459 +++++++----------- 1 file changed, 184 insertions(+), 275 deletions(-) diff --git a/documentation/webdocs/markdowndocs/administrator-ch.md b/documentation/webdocs/markdowndocs/administrator-ch.md index b48cf23995..45a3501a0f 100644 --- a/documentation/webdocs/markdowndocs/administrator-ch.md +++ b/documentation/webdocs/markdowndocs/administrator-ch.md @@ -1,349 +1,236 @@ -#系统管理 +# TDengine的运营与维护 -## 文件目录结构 - -安装TDengine的过程中，安装程序将在操作系统中创建以下目录或文件： - -| 目录/文件 | 说明 | -| ---------------------- | :------------------------------------------------| -| /etc/taos/taos.cfg | 默认[配置文件] | -| /usr/local/taos/driver | 动态链接库目录 | -| /var/lib/taos | 默认数据文件目录,可通过[配置文件]修改位置. | -| /var/log/taos | 默认日志文件目录,可通过[配置文件]修改位置 | -| /usr/local/taos/bin | 可执行文件目录 | - -### 可执行文件 - -TDengine的所有可执行文件默认存放在 _/usr/local/taos/bin_ 目录下。其中包括： +## 容量规划 -- _taosd_：TDengine服务端可执行文件。 -- _taos_： TDengine Shell可执行文件。 -- _taosdump_：数据导出工具。 -- *rmtaos*： 卸载TDengine的脚本, 该脚本会删除全部的程序和数据文件。请务必谨慎执行，如非必须不建议使用。 +使用TDengine来搭建一个物联网大数据平台，计算资源、存储资源需要根据业务场景进行规划。下面分别讨论系统运行所需要的内存、CPU以及硬盘空间。 -您可以通过修改系统配置文件taos.cfg来配置不同的数据目录和日志目录 +### 内存需求 -## 服务端配置 +每个DB可以创建固定数目的vnode，默认与CPU核数相同，可通过maxVgroupsPerDb配置；每个vnode会占用固定大小的内存（大小与数据库的配置参数blocks和cache有关)；每个Table会占用与标签总长度有关的内存；此外，系统会有一些固定的内存开销。因此，每个DB需要的系统内存可通过如下公式计算： -TDengine系统后台服务程序是`taosd`，其启动时候读取的配置文件缺省目录是`/etc/taos`。可以通过命令行执行参数-c指定配置文件目录，比如 ``` -taosd -c /home/user +Memory Size = maxVgroupsPerDb * (blocks * cache + 10Mb) + numOfTables * (tagSizePerTable + 0.5Kb) ``` -指定`taosd`启动的时候读取`/home/user`目录下的配置文件taos.cfg。 - -下面仅仅列出一些重要的配置参数，更多的参数请看配置文件里的说明。各个参数的详细介绍及作用请看前述章节。**注意：配置修改后，需要重启*taosd*服务才能生效。** - -**privateIp** -- 默认值：物理节点IP地址列表中的第一个IP地址 - -对外提供服务的IP地址。 - -**publicIp** -- 默认值：与privateIp相同 - -对于阿里等云平台，此为公网IP地址，publicIp在内部映射为对应的privateIP地址，仅对企业版有效。 -**masterIp** -- 默认值：与privateIp相同 +示例：假设是4核机器，cache是缺省大小16M, blocks是缺省值6，假设有10万张表，标签总长度是256字节，则总的内存需求为：4\*(16\*6+10) + 100000*(0.25+0.5)/1000 = 499M。 -集群内第一个物理节点的privateIp地址，仅对企业版有效。 +实际运行的系统往往会根据数据特点的不同，将数据存放在不同的DB里。因此做规划时，也需要考虑。 -**secondIp** -- 默认值：与privateIp相同 +如果内存充裕，可以加大Blocks的配置，这样更多数据将保存在内存里，提高查询速度。 -集群内第二个物理节点的privateIp地址，仅对企业版有效。 +### CPU需求 -**mgmtShellPort** -- 默认值： _6030_ +CPU的需求取决于如下两方面： -数据库服务中管理节点与客户端通信使用的TCP/UDP端口号。 -> 端口范围 _6030_ - _6034_ 均用于UDP通讯。此外，还使用端口 _6030_ 用于TCP通讯。 +* __数据插入__ TDengine单核每秒能至少处理一万个插入请求。每个插入请求可以带多条记录，一次插入一条记录与插入10条记录，消耗的计算资源差别很小。因此每次插入，条数越大，插入效率越高。如果一个插入请求带200条以上记录，单核就能达到每秒插入100万条记录的速度。但对前端数据采集的要求越高，因为需要缓存记录，然后一批插入。 +* __查询需求__ TDengine提供高效的查询，但是每个场景的查询差异很大，查询频次变化也很大，难以给出客观数字。需要用户针对自己的场景，写一些查询语句，才能确定。 -**vnodeShellPort** -- 默认值： _6035_ +因此仅对数据插入而言，CPU是可以估算出来的，但查询所耗的计算资源无法估算。在实际运营过程中，不建议CPU使用率超过50%，超过后，需要增加新的节点，以获得更多计算资源。 -数据节点与客户端通信使用的TCP/UDP端口号。 -> 端口范围 _6035_ - _6039_ 的5个端口用于UDP通信。此外，还使用端口 _6035_ 用于TCP通讯。 +### 存储需求 -**mgmtVnodePort** -- 默认值： _6040_ +TDengine相对于通用数据库，有超高的压缩比，在绝大多数场景下，TDengine的压缩比不会低于5倍，有的场合，压缩比可达到10倍以上，取决于实际场景的数据特征。压缩前的原始数据大小可通过如下方式计算： -管理节点与数据节点通信使用的TCP/UDP端口号，仅对企业版有效。 -> 端口范围 _6040_ - _6044_ 的5个端口用于UDP通信。此外，还使用端口 _6040_ 用于TCP通讯。 - -**vnodeVnodePort** -- 默认值： _6045_ - -数据节点与数据节点通信使用的TCP/UDP端口号，仅对企业版有效。 -> 端口范围 _6045_ - _6049_ 的5个端口用于UDP通信。此外，还使用端口 _6045_ 用于TCP通讯。 +``` +Raw DataSize = numOfTables * rowSizePerTable * rowsPerTable +``` -**mgmtMgmtPort** -- 默认值： _6050_ +示例：1000万台智能电表，每台电表每15分钟采集一次数据，每次采集的数据128字节，那么一年的原始数据量是：10000000\*128\*24\*60/15*365 = 44851T。TDengine大概需要消耗44851/5=8970T, 8.9P空间。 -管理节点与管理节点通信使用的UDP端口号，仅对企业版有效。 +用户可以通过参数keep，设置数据在磁盘中的最大保存时长。为进一步减少存储成本，TDengine还提供多级存储，最冷的数据可以存放在最廉价的存储介质上，应用的访问不用做任何调整，只是读取速度降低了。 -**mgmtSyncPort** -- 默认值： _6050_ +为提高速度，可以配置多快硬盘，这样可以并发写入或读取数据。需要提醒的是，TDengine采取多副本的方式提供数据的高可靠，因此不再需要采用昂贵的磁盘阵列。 -管理节点与管理节点同步使用的TCP端口号，仅对企业版有效。 +### 物理机或虚拟机台数 -**httpPort** -- 默认值： _6020_ +根据上面的内存、CPU、存储的预估，就可以知道整个系统需要多少核、多少内存、多少存储空间。如果数据副本数不为1，总需求量需要再乘以副本数。 -RESTful服务使用的端口号，所有的HTTP请求（TCP）都需要向该接口发起查询/写入请求。 +因为TDengine具有很好的水平扩展能力，根据总量，再根据单个物理机或虚拟机的资源，就可以轻松决定需要购置多少台物理机或虚拟机了。 -**dataDir** -- 默认值：/var/lib/taos +## 容错和灾备 -数据文件目录，所有的数据文件都将写入该目录。 +### 容错 -**logDir** -- 默认值：/var/log/taos +TDengine支持**WAL**（Write Ahead Log）机制，实现数据的容错能力，保证数据的高可用。 -日志文件目录，客户端和服务器的运行日志将写入该目录。 +TDengine接收到应用的请求数据包时，先将请求的原始数据包写入数据库日志文件，等数据成功写入数据库数据文件后，再删除相应的WAL。这样保证了TDengine能够在断电等因素导致的服务重启时从数据库日志文件中恢复数据，避免数据的丢失。 -**shellActivityTimer** -- 默认值：3 +涉及的系统配置参数有两个： -系统在服务端保持结果集的最长时间，单位：秒，范围[1-120]。 +- walLevel：WAL级别，0：不写wal; 1：写wal, 但不执行fsync; 2：写wal, 而且执行fsync。 +- fsync：当walLevel设置为2时，执行fsync的周期。设置为0，表示每次写入，立即执行fsync。 -**maxUsers** -- 默认值：10,000 +如果要100%的保证数据不丢失，需要将walLevel设置为2，fsync设置为0。这时写入速度将会下降。但如果应用侧启动的写数据的线程数达到一定的数量(超过50)，那么写入数据的性能也会很不错，只会比fsync设置为3000毫秒下降30%左右。 -系统允许创建用户数量的上限 +### 灾备 -**maxDbs** -- 默认值：1,000 +TDengine的集群通过多个副本的机制，来提供系统的高可用性，实现灾备能力。 -系统允许的创建数据库的上限 +TDengine集群是由mnode负责管理的，为保证mnode的高可靠，可以配置多个mnode副本，副本数由系统配置参数numOfMnodes决定，为了支持高可靠，需要设置大于1。为保证元数据的强一致性，mnode副本之间通过同步方式进行数据复制，保证了元数据的强一致性。 -**maxTables** -- 默认值：650,000 +TDengine集群中的时序数据的副本数是与数据库关联的，一个集群里可以有多个数据库，每个数据库可以配置不同的副本数。创建数据库时，通过参数replica 指定副本数。为了支持高可靠，需要设置副本数大于1。 -系统允许创建数据表的上限。 ->系统能够创建的表受到多种因素的限制，单纯地增大该参数并不能直接增加系统能够创建的表数量。例如，由于每个表创建均需要消耗一定量的缓存空间，系统可用内存一定的情况下，创建表的总数的上限是一个固定的值。 +TDengine集群的节点数必须大于等于副本数，否则创建表时将报错。 -**monitor** -- 默认值：1（激活状态） +当TDengine集群中的节点部署在不同的物理机上，并设置多个副本数时，就实现了系统的高可靠性，无需再使用其他软件或工具。TDengine企业版还可以将副本部署在不同机房，从而实现异地容灾。 -服务器内部的系统监控开关。监控主要负责收集物理节点的负载状况，包括CPU、内存、硬盘、网络带宽、HTTP请求量的监控记录，记录信息存储在`LOG`库中。0表示关闭监控服务，1表示激活监控服务。 +## 服务端配置 -**numOfLogLines** -- 默认值：10,000,000 +TDengine系统后台服务由taosd提供，可以在配置文件taos.cfg里修改配置参数，以满足不同场景的需求。配置文件的缺省位置在/etc/taos目录，可以通过taosd命令行执行参数-c指定配置文件目录。比如taosd -c /home/user来指定配置文件位于/home/user这个目录。 -单个日志文件允许的最大行数（10,000,000行）。 +下面仅仅列出一些重要的配置参数，更多的参数请看配置文件里的说明。各个参数的详细介绍及作用请看前述章节，而且这些参数的缺省配置都是工作的，一般无需设置。**注意：配置修改后，需要重启*taosd*服务才能生效。** -**debugFlag** -- 默认值：131（仅输出错误和警告信息） +- firstEp: taosd启动时，主动连接的集群中第一个dnode的end point, 缺省值为 localhost:6030。 +- secondEp: taosd启动时，如果first连接不上，尝试连接集群中第二个dnode的end point, 缺省值为空。 +- fqdn：数据节点的FQDN。如果为空，将自动获取操作系统配置的第一个, 缺省值为空。 +- serverPort：taosd启动后，对外服务的端口号，默认值为6030。 +- httpPort: RESTful服务使用的端口号，所有的HTTP请求（TCP）都需要向该接口发起查询/写入请求。 +- dataDir: 数据文件目录，所有的数据文件都将写入该目录。默认值：/var/lib/taos。 +- logDir：日志文件目录，客户端和服务器的运行日志文件将写入该目录。默认值：/var/log/taos。 +- arbitrator：系统中裁决器的end point, 缺省值为空。 +- role：dnode的可选角色。0-any; 既可作为mnode，也可分配vnode；1-mgmt;只能作为mnode，不能分配vnode；2-dnode;不能作为mnode，只能分配vnode +- debugFlag：运行日志开关。131（输出错误和警告日志），135（ 输出错误、警告和调试日志），143（ 输出错误、警告、调试和跟踪日志）。默认值：131或135（不同模块有不同的默认值）。 +- numOfLogLines：单个日志文件允许的最大行数。默认值：10,000,000行。 +- maxSQLLength：单条SQL语句允许最长限制。默认值：65380字节。 +- maxBinaryDisplayWidth：Shell中binary 和 nchar字段的显示宽度上限，超过此限制的部分将被隐藏。默认值：30。可在 shell 中通过命令 set max_binary_display_width nn动态修改此选项。 -系统（服务端和客户端）运行日志开关： -- 131 仅输出错误和警告信息 -- 135 输出错误（ERROR）、警告（WARN）、信息（Info） +**注意：**对于端口，TDengine会使用从serverPort起11个连续的TCP和UDP端口号，请务必在防火墙打开。因此如果是缺省配置，需要打开从6030都6040共11个端口，而且必须TCP和UDP都打开。 不同应用场景的数据往往具有不同的数据特征，比如保留天数、副本数、采集频次、记录大小、采集点的数量、压缩等都可完全不同。为获得在存储上的最高效率，TDengine提供如下存储相关的系统配置参数： -- days：数据文件存储数据的时间跨度，单位为天 -- keep：数据保留的天数 -- rows: 文件块中记录条数 -- comp: 文件压缩标志位，0：关闭，1:一阶段压缩，2:两阶段压缩 -- ctime：数据从写入内存到写入硬盘的最长时间间隔，单位为秒 -- clog：数据提交日志(WAL)的标志位，0为关闭，1为打开 -- tables：每个vnode允许创建表的最大数目 -- cache: 内存块的大小（字节数） -- tblocks: 每张表最大的内存块数 -- ablocks: 每张表平均的内存块数 -- precision：时间戳为微秒的标志位，ms表示毫秒，us表示微秒 +- days：一个数据文件存储数据的时间跨度，单位为天，默认值：10。 +- keep：数据库中数据保留的天数，单位为天，默认值：3650。 +- minRows: 文件块中记录的最小条数，单位为条，默认值：100。 +- maxRows: 文件块中记录的最大条数，单位为条，默认值：4096。 +- comp: 文件压缩标志位，0：关闭，1:一阶段压缩，2:两阶段压缩。默认值：2。 +- walLevel：WAL级别。1：写wal, 但不执行fsync; 2：写wal, 而且执行fsync。默认值：1。 +- fsync：当wal设置为2时，执行fsync的周期。设置为0，表示每次写入，立即执行fsync。单位为毫秒，默认值：3000。 +- cache: 内存块的大小，单位为兆字节（MB），默认值：16。 +- blocks: 每个VNODE（TSDB）中有多少cache大小的内存块。因此一个VNODE的用的内存大小粗略为（cache * blocks）。单位为块，默认值：4。 +- replica：副本个数，取值范围：1-3。单位为个，默认值：1 +- precision：时间戳精度标识，ms表示毫秒，us表示微秒。默认值：ms -对于一个应用场景，可能有多种数据特征的数据并存，最佳的设计是将具有相同数据特征的表放在一个库里，这样一个应用有多个库，而每个库可以配置不同的存储参数，从而保证系统有最优的性能。TDengine容许应用在创建库时指定上述存储参数，如果指定，该参数就将覆盖对应的系统配置参数。举例，有下述SQL： +对于一个应用场景，可能有多种数据特征的数据并存，最佳的设计是将具有相同数据特征的表放在一个库里，这样一个应用有多个库，而每个库可以配置不同的存储参数，从而保证系统有最优的性能。TDengine允许应用在创建库时指定上述存储参数，如果指定，该参数就将覆盖对应的系统配置参数。举例，有下述SQL： ``` - create database demo days 10 cache 16000 ablocks 4 + create database demo days 10 cache 32 blocks 8 replica 3; ``` -该SQL创建了一个库demo, 每个数据文件保留10天数据，内存块为16000字节，每个表平均占用4个内存块，而其他参数与系统配置完全一致。 - -## 客户端配置 - -TDengine系统的前台交互客户端应用程序为taos（Windows平台上为taos.exe）。与服务端程序一样，也可以通过设置taos.cfg来配置`taos`启动和运行的配置项。启动的时候如果不指定taos加载配置文件路径，默认读取`/etc/taos/`路径下的`taos.cfg`文件。指定配置文件来启动`taos`的命令如下： - -``` -taos -c /home/cfg/ -``` -**注意：启动设置的是配置文件所在目录，而不是配置文件本身** +该SQL创建了一个库demo, 每个数据文件存储10天数据，内存块为32兆字节，每个VNODE占用8个内存块，副本数为3，而其他参数与系统配置完全一致。 -如果`/home/cfg/`目录下没有配置文件，程序会继续启动并打印如下告警信息： -```plaintext -Welcome to the TDengine shell from linux, client version:1.6.4.0 -option file:/home/cfg/taos.cfg not found, all options are set to system default -``` -更多taos的使用方法请见[Shell命令行程序](#_TDengine_Shell命令行程序)。本节主要讲解taos客户端应用在配置文件taos.cfg文件中使用到的参数。 +TDengine集群中加入一个新的dnode时，涉及集群相关的一些参数必须与已有集群的配置相同，否则不能成功加入到集群中。会进行校验的参数如下： -客户端配置参数说明 +- numOfMnodes：系统中管理节点个数。默认值：3。 +- balance：是否启动负载均衡。0：否，1：是。默认值：1。 +- mnodeEqualVnodeNum: 一个mnode等同于vnode消耗的个数。默认值：4。 +- offlineThreshold: dnode离线阈值，超过该时间将导致该dnode从集群中删除。单位为秒，默认值：86400*10（即10天）。 +- statusInterval: dnode向mnode报告状态时长。单位为秒，默认值：1。 +- maxTablesPerVnode: 每个vnode中能够创建的最大表个数。默认值：1000000。 +- maxVgroupsPerDb: 每个数据库中能够使用的最大vnode个数。 +- arbitrator: 系统中裁决器的end point，缺省为空 +- timezone：时区。从系统中动态获取当前的时区设置。 +- locale：系统区位信息及编码格式。系统中动态获取，如果自动获取失败，需要用户在配置文件设置或通过API设置。 +- charset：字符集编码。系统中动态获取，如果自动获取失败，需要用户在配置文件设置或通过API设置。 -**masterIP** -- 默认值：127.0.0.1 - -客户端连接的TDengine服务器IP地址，如果不设置默认连接127.0.0.1的节点。以下两个命令等效： -``` -taos -taos -h 127.0.0.1 -``` -其中的IP地址是从配置文件中读取的masterIP的值。 +## 客户端配置 -**locale** -- 默认值：系统中动态获取，如果自动获取失败，需要用户在配置文件设置或通过API设置 +TDengine系统的前台交互客户端应用程序为taos，它与taosd共享同一个配置文件taos.cfg。运行taos时，使用参数-c指定配置文件目录，如taos -c /home/cfg，表示使用/home/cfg/目录下的taos.cfg配置文件中的参数，缺省目录是/etc/taos。更多taos的使用方法请见[Shell命令行程序](#_TDengine_Shell命令行程序)。本节主要讲解taos客户端应用在配置文件taos.cfg文件中使用到的参数。 -TDengine为存储中文、日文、韩文等非ASCII编码的宽字符，提供一种专门的字段类型`nchar`。写入`nchar`字段的数据将统一采用`UCS4-LE`格式进行编码并发送到服务器。需要注意的是，**编码正确性**是客户端来保证。因此，如果用户想要正常使用`nchar`字段来存储诸如中文、日文、韩文等非ASCII字符，需要正确设置客户端的编码格式。 +客户端配置参数列表及解释 -客户端的输入的字符均采用操作系统当前默认的编码格式，在Linux系统上多为`UTF-8`，部分中文系统编码则可能是`GB18030`或`GBK`等。在docker环境中默认的编码是`POSIX`。在中文版Windows系统中，编码则是`CP936`。客户端需要确保正确设置自己所使用的字符集，即客户端运行的操作系统当前编码字符集，才能保证`nchar`中的数据正确转换为`UCS4-LE`编码格式。 +- firstEp: taos启动时，主动连接的集群中第一个taosd实例的end point, 缺省值为 localhost:6030。 +- secondEp: taos启动时，如果first连接不上，尝试连接集群中第二个taosd实例的end point, 缺省值为空。 +- charset：字符集编码。系统中动态获取，如果自动获取失败，需要用户在配置文件设置或通过API设置。 +- locale：系统区位信息及编码格式。系统中动态获取，如果自动获取失败，需要用户在配置文件设置或通过API设置。 -在 Linux 中 locale 的命名规则为： -`<语言>_<地区>.<字符集编码>` -如：`zh_CN.UTF-8`，zh代表中文，CN代表大陆地区，UTF-8表示字符集。字符集编码为客户端正确解析本地字符串提供编码转换的说明。Linux系统与Mac OSX系统可以通过设置locale来确定系统的字符编码，由于Windows使用的locale中不是POSIX标准的locale格式，因此在Windows下需要采用另一个配置参数`charset`来指定字符编码。在Linux系统中也可以使用charset来指定字符编码。 +日志的配置参数，与server的配置参数完全一样。 -**charset** -- 默认值：系统中动态获取，如果自动获取失败，需要用户在配置文件设置或通过API设置 +启动taos时，也可以从命令行指定一个taosd实例的end point，否则就从taos.cfg读取。 -如果配置文件中不设置`charset`，在Linux系统中，taos在启动时候，自动读取系统当前的locale信息，并从locale信息中解析提取charset编码格式。如果自动读取locale信息失败，则尝试读取charset配置，如果读取charset配置也失败，**则中断启动过程**。 +## 用户管理 -在Linux系统中，locale信息包含了字符编码信息，因此正确设置了Linux系统locale以后可以不用再单独设置charset。例如： -``` -locale zh_CN.UTF-8 -``` -在Windows系统中，无法从locale获取系统当前编码。如果无法从配置文件中读取字符串编码信息，`taos`默认设置为字符编码为`CP936`。其等效在配置文件中添加如下配置： -``` -charset CP936 -``` -如果需要调整字符编码，请查阅当前操作系统使用的编码，并在配置文件中正确设置。 +系统管理员可以在CLI界面里添加、删除用户，也可以修改密码。CLI里SQL语法如下： -在Linux系统中，如果用户同时设置了locale和字符集编码charset，并且locale和charset的不一致，后设置的值将覆盖前面设置的值。 -``` -locale zh_CN.UTF-8 -charset GBK -``` -则`charset`的有效值是`GBK`。 ``` -charset GBK -locale zh_CN.UTF-8 +CREATE USER PASS <‘password’>; ``` -`charset`的有效值是`UTF-8`。 -**sockettype** -- 默认值：UDP +创建用户，并指定用户名和密码，密码需要用单引号引起来 -客户端连接服务端的套接字的方式，可以使用`UDP`和`TCP`两种配置。 -在客户端和服务端之间的通讯需要经过恶劣的网络环境下（如公共网络、互联网）、客户端与数据库服务端连接不稳定（由于MTU的问题导致UDP丢包）的情况下，可以将连接的套接字类型调整为`TCP` - ->注意：客户端套接字的类型需要和服务端的套接字类型相同，否则无法连接数据库。 - -**compressMsgSize** -- 默认值：-1（不压缩） - -客户端与服务器之间进行消息通讯过程中，对通讯的消息进行压缩的阈值，默认值为-1（不压缩）。如果要压缩消息，建议设置为64330字节，即大于64330字节的消息体才进行压缩。在配置文件中增加如下配置项即可： ``` -compressMsgSize 64330 +DROP USER ; ``` -如果配置项设置为0，`compressMsgSize 0`表示对所有的消息均进行压缩。 -**timezone** -- 默认值：从系统中动态获取当前的时区设置 - -客户端运行系统所在的时区。为应对多时区的数据写入和查询问题，TDengine采用Unix时间戳([Unix Timestamp](https://en.wikipedia.org/wiki/Unix_time))来记录和存储时间戳。Unix时间戳的特点决定了任一时刻不论在任何时区，产生的时间戳均一致。需要注意的是，Unix时间戳是在客户端完成转换和记录。为了确保客户端其他形式的时间转换为正确的Unix时间戳，需要设置正确的时区。 +删除用户，限root用户使用 -在Linux系统中，客户端会自动读取系统设置的时区信息。用户也可以采用多种方式在配置文件设置时区。例如： ``` -timezone UTC-8 -timezone GMT-8 -timezone Asia/Shanghai +ALTER USER PASS <‘password’>; ``` -均是合法的设置东八区时区的格式。 +修改用户密码, 为避免被转换为小写，密码需要用单引号引用 -时区的设置对于查询和写入SQL语句中非Unix时间戳的内容（时间戳字符串、关键词`now`的解析）产生影响。例如： ``` -SELECT count(*) FROM table_name WHERE TS<'2019-04-11 12:01:08'; +SHOW USERS; ``` -在东八区，SQL语句等效于 -``` -SELECT count(*) FROM table_name WHERE TS<1554955268000; -``` -在UTC时区，SQL语句等效于 -``` -SELECT count(*) FROM table_name WHERE TS<1554984068000; -``` -为了避免使用字符串时间格式带来的不确定性，也可以直接使用Unix时间戳。此外，还可以在SQL语句中使用带有时区的时间戳字符串，例如：RFC3339格式的时间戳字符串，`2013-04-12T15:52:01.123+08:00`或者ISO-8601格式时间戳字符串`2013-04-12T15:52:01.123+0800`。上述两个字符串转化为Unix时间戳不受系统所在时区的影响。 - -**defaultUser** -- 默认值：root -登录用户名，客户端登录的时候，如果不指定用户名，则自动使用该用户名登录。默认情况下，以下的两个命令等效 -``` -taos -taos -u root -``` -用户名为从配置中读取的`defaultUser`配置项。如果更改`defaultUser abc`，则以下两个命令等效： -``` -taos -taos -u abc -``` +显示所有用户 -**defaultPass** -- 默认值：taosdata +**注意：**SQL 语法中，< >表示需要用户输入的部分，但请不要输入< >本身 -登录用户名，客户端登录的时候，如果不指定密码，则自动使用该密码登录。默认情况下，以下的两个命令等效 -``` -taos -taos -ptaosdata -``` +## 数据导入 -TCP/UDP端口，以及日志的配置参数，与server的配置参数完全一样。使用命令`taos -?` 可查看`taos`允许的可选项。 +TDengine提供多种方便的数据导入功能，一种按脚本文件导入，一种按数据文件导入，一种是taosdump工具导入本身导出的文件。 -## 用户管理 +**按脚本文件导入** -系统管理员可以在CLI界面里添加、删除用户，也可以修改密码。CLI里SQL语法如下： +TDengine的shell支持source filename命令，用于批量运行文件中的SQL语句。用户可将建库、建表、写数据等SQL命令写在同一个文件中，每条命令单独一行，在shell中运行source命令，即可按顺序批量运行文件中的SQL语句。以‘#’开头的SQL语句被认为是注释，shell将自动忽略。 -``` -CREATE USER user_name PASS ‘password’ -``` +**按数据文件导入** -创建用户，并制定用户名和密码，密码需要用单引号引起来 +TDengine也支持在shell对已存在的表从CSV文件中进行数据导入。CSV文件只属于一张表且CSV文件中的数据格式需与要导入表的结构相同, 在导入的时候，其语法如下 +```mysql +INSERT INTO FILE <'path/data.csv'>; ``` -DROP USER user_name -``` +注意：如果CSV文件首行存在描述信息，请手动删除后再导入 -删除用户，限root用户使用 +例如，现在存在一个子表d1001, 其表结构如下： +```mysql +taos> DESCRIBE d1001 + Field | Type | Length | Note | +================================================================================= + ts | TIMESTAMP | 8 | | + current | FLOAT | 4 | | + voltage | INT | 4 | | + phase | FLOAT | 4 | | + location | BINARY | 64 | TAG | + groupid | INT | 4 | TAG | ``` -ALTER USER user_name PASS ‘password’ -``` +要导入的data.csv的格式如下： -修改用户密码, 为避免被转换为小写，密码需要用单引号引用 +```csv +'2018-10-04 06:38:05.000',10.30000,219,0.31000 +'2018-10-05 06:38:15.000',12.60000,218,0.33000 +'2018-10-06 06:38:16.800',13.30000,221,0.32000 +'2018-10-07 06:38:05.000',13.30000,219,0.33000 +'2018-10-08 06:38:05.000',14.30000,219,0.34000 +'2018-10-09 06:38:05.000',15.30000,219,0.35000 +'2018-10-10 06:38:05.000',16.30000,219,0.31000 +'2018-10-11 06:38:05.000',17.30000,219,0.32000 +'2018-10-12 06:38:05.000',18.30000,219,0.31000 +``` +那么可以用如下命令导入数据 ``` -SHOW USERS +taos> insert into d1001 file '~/data.csv'; +Query OK, 9 row(s) affected (0.004763s) ``` -显示所有用户 -## 数据导入 +**taosdump工具导入** -TDengine提供两种方便的数据导入功能，一种按脚本文件导入，一种按数据文件导入。 - -**按脚本文件导入** - -TDengine的shell支持source filename命令，用于批量运行文件中的SQL语句。用户可将建库、建表、写数据等SQL命令写在同一个文件中，每条命令单独一行，在shell中运行source命令，即可按顺序批量运行文件中的SQL语句。以‘#’开头的SQL语句被认为是注释，shell将自动忽略。 - -**按数据文件导入** - -TDengine也支持在shell对已存在的表从CSV文件中进行数据导入。每个CSV文件只属于一张表且CSV文件中的数据格式需与要导入表的结构相同。其语法如下 - -```mysql -insert into tb1 file a.csv b.csv tb2 c.csv … -import into tb1 file a.csv b.csv tb2 c.csv … -``` -> 注意：导入的CSV文件不能够带表头, 且表的列与CSV文件的列需要严格对应。 -> 同样还可以使用[样例数据导入工具][1]对数据进行横向和纵向扩展导入。 +TDengine提供了方便的数据库导入导出工具taosdump。用户可以将taosdump从一个系统导出的数据，导入到其他系统中。具体使用方法，请参见博客：TDengine DUMP工具使用指南 ## 数据导出 @@ -354,66 +241,88 @@ import into tb1 file a.csv b.csv tb2 c.csv … 如果用户需要导出一个表或一个STable中的数据，可在shell中运行 ``` -select * from >> a.csv +SELECT * FROM >> ; ``` -这样，表tb中的数据就会按照CSV格式导出到文件a.csv中。 +这样，表tb_name中的数据就会按照CSV格式导出到文件data.csv中。 **用taosdump导出数据** -TDengine提供了方便的数据库导出工具taosdump。用户可以根据需要选择导出所有数据库、一个数据库或者数据库中的一张表,所有数据或一时间段的数据，甚至仅仅表的定义。其用法如下： - -- 导出数据库中的一张或多张表：taosdump [OPTION…] dbname tbname … -- 导出一个或多个数据库： taosdump [OPTION…] --databases dbname… -- 导出所有数据库（不含监控数据库）：taosdump [OPTION…] --all-databases - -用户可通过运行taosdump --help获得更详细的用法说明 +TDengine提供了方便的数据库导出工具taosdump。用户可以根据需要选择导出所有数据库、一个数据库或者数据库中的一张表,所有数据或一时间段的数据，甚至仅仅表的定义。具体使用方法，请参见博客：TDengine DUMP工具使用指南 ## 系统连接、任务查询管理 系统管理员可以从CLI查询系统的连接、正在进行的查询、流式计算，并且可以关闭连接、停止正在进行的查询和流式计算。CLI里SQL语法如下： ``` -SHOW CONNECTIONS +SHOW CONNECTIONS; ``` 显示数据库的连接，其中一列显示ip:port, 为连接的IP地址和端口号。 ``` -KILL CONNECTION +KILL CONNECTION ; ``` -强制关闭数据库连接，其中的connection-id是SHOW CONNECTIONS中显示的 ip:port字串，如“192.168.0.1:42198”，拷贝粘贴即可。 +强制关闭数据库连接，其中的connection-id是SHOW CONNECTIONS中显示的第一列的数字。 ``` -SHOW QUERIES +SHOW QUERIES; ``` -显示数据查询，其中一列显示ip:port:id, 为发起该query应用的IP地址，端口号，以及系统分配的ID。 +显示数据查询，其中第一列显示的以冒号隔开的两个数字为query-id，为发起该query应用连接的connection-id和查询次数。 ``` -KILL QUERY +KILL QUERY ; ``` -强制关闭数据查询，其中query-id是SHOW QUERIES中显示的ip:port:id字串，如“192.168.0.1:42198:11”，拷贝粘贴即可。 +强制关闭数据查询，其中query-id是SHOW QUERIES中显示的 connection-id:query-no字串，如“105:2”，拷贝粘贴即可。 ``` -SHOW STREAMS +SHOW STREAMS; ``` -显示流式计算，其中一列显示ip:port:id, 为启动该stream的IP地址、端口和系统分配的ID。 +显示流式计算，其中第一列显示的以冒号隔开的两个数字为stream-id, 为启动该stream应用连接的connection-id和发起stream的次数。 ``` -KILL STREAM +KILL STREAM ; ``` -强制关闭流式计算，其中的中stream-id是SHOW STREAMS中显示的ip:port:id字串，如“192.168.0.1:42198:18”，拷贝粘贴即可。 +强制关闭流式计算，其中的中stream-id是SHOW STREAMS中显示的connection-id:stream-no字串，如103:2，拷贝粘贴即可。 + +注意：SQL语法中，< >表示需要用户输入的部分，但请不要输入< >本身 ## 系统监控 -TDengine启动后，会自动创建一个监测数据库`LOG`，并自动将服务器的CPU、内存、硬盘空间、带宽、请求数、磁盘读写速度、慢查询等信息定时写入该数据库。TDengine还将重要的系统操作（比如登录、创建、删除数据库等）日志以及各种错误报警信息记录下来存放在`LOG`库里。系统管理员可以通过客户端程序查看记录库中的运行负载信息，（在企业版中）还可以通过浏览器查看数据的图标可视化结果。 +TDengine启动后，会自动创建一个监测数据库SYS，并自动将服务器的CPU、内存、硬盘空间、带宽、请求数、磁盘读写速度、慢查询等信息定时写入该数据库。TDengine还将重要的系统操作（比如登录、创建、删除数据库等）日志以及各种错误报警信息记录下来存放在SYS库里。系统管理员可以从CLI直接查看这个数据库，也可以在WEB通过图形化界面查看这些监测信息。 + +这些监测信息的采集缺省是打开的，但可以修改配置文件里的选项enableMonitor将其关闭或打开。 + +## 文件目录结构 + +安装TDengine后，默认会在操作系统中生成下列目录或文件： + +| 目录/文件 | 说明 | +| ------------------------- | :----------------------------------------------------------- | +| /usr/local/taos/bin | TDengine可执行文件目录。其中的执行文件都会软链接到/usr/bin目录下。 | +| /usr/local/taos/connector | TDengine各种连接器目录。 | +| /usr/local/taos/driver | TDengine动态链接库目录。会软链接到/usr/lib目录下。 | +| /usr/local/taos/examples | TDengine各种语言应用示例目录。 | +| /usr/local/taos/include | TDengine对外提供的C语言接口的头文件。 | +| /etc/taos/taos.cfg | TDengine默认[配置文件] | +| /var/lib/taos | TDengine默认数据文件目录,可通过[配置文件]修改位置. | +| /var/log/taos | TDengine默认日志文件目录,可通过[配置文件]修改位置 | + +**可执行文件** + +TDengine的所有可执行文件默认存放在 _/usr/local/taos/bin_ 目录下。其中包括： + +- _taosd_：TDengine服务端可执行文件 +- _taos_： TDengine Shell可执行文件 +- _taosdump_：数据导入导出工具 +- remove.sh：卸载TDengine的脚本, 请谨慎执行，链接到/usr/bin目录下的rmtaos命令。会删除TDengine的安装目录/usr/local/taos，但会保留/etc/taos、/var/lib/taos、/var/log/taos。 + +您可以通过修改系统配置文件taos.cfg来配置不同的数据目录和日志目录。 -这些监测信息的采集缺省是打开的，但可以修改配置文件里的选项`monitor`将其关闭或打开。 -[1]: https://github.com/taosdata/TDengine/tree/develop/importSampleData -- GitLab