summingmergetree.md 8.6 KB
Newer Older
1 2 3 4 5
---
toc_priority: 34
toc_title: SummingMergeTree
---

6
# SummingMergeTree {#summingmergetree}
7

A
Alexey Milovidov 已提交
8
Движок наследует функциональность [MergeTree](mergetree.md#table_engines-mergetree). Отличие заключается в том, что для таблиц `SummingMergeTree` при слиянии кусков данных ClickHouse все строки с одинаковым первичным ключом (точнее, с одинаковым [ключом сортировки](mergetree.md)) заменяет на одну, которая хранит только суммы значений из столбцов с цифровым типом данных. Если ключ сортировки подобран таким образом, что одному значению ключа соответствует много строк, это значительно уменьшает объём хранения и ускоряет последующую выборку данных.
9 10 11

Мы рекомендуем использовать движок в паре с `MergeTree`. В `MergeTree` храните полные данные, а `SummingMergeTree` используйте для хранения агрегированных данных, например, при подготовке отчетов. Такой подход позволит не утратить ценные данные из-за неправильно выбранного первичного ключа.

12
## Создание таблицы {#sozdanie-tablitsy}
13

14
``` sql
15 16 17 18 19
CREATE TABLE [IF NOT EXISTS] [db.]table_name [ON CLUSTER cluster]
(
    name1 [type1] [DEFAULT|MATERIALIZED|ALIAS expr1],
    name2 [type2] [DEFAULT|MATERIALIZED|ALIAS expr2],
    ...
20
) ENGINE = SummingMergeTree([columns])
21 22 23 24 25 26
[PARTITION BY expr]
[ORDER BY expr]
[SAMPLE BY expr]
[SETTINGS name=value, ...]
```

27
Описание параметров запроса смотрите в [описании запроса](../../../engines/table-engines/mergetree-family/summingmergetree.md).
28 29 30

**Параметры SummingMergeTree**

31 32
-   `columns` — кортеж с именами столбцов, в которых будут суммироваться данные. Необязательный параметр.
    Столбцы должны иметь числовой тип и не должны входить в первичный ключ.
33

34
        Если `columns` не задан, то ClickHouse суммирует значения во всех столбцах с числовым типом данных, не входящих в первичный ключ.
35 36 37

**Секции запроса**

S
Sergei Bocharov 已提交
38
При создании таблицы `SummingMergeTree` используются те же [секции](mergetree.md) запроса, что и при создании таблицы `MergeTree`.
39

40 41 42
<details markdown="1">

<summary>Устаревший способ создания таблицы</summary>
43

44
!!! attention "Attention"
45 46
    Не используйте этот способ в новых проектах и по возможности переведите старые проекты на способ описанный выше.

47
``` sql
48 49 50 51 52 53
CREATE TABLE [IF NOT EXISTS] [db.]table_name [ON CLUSTER cluster]
(
    name1 [type1] [DEFAULT|MATERIALIZED|ALIAS expr1],
    name2 [type2] [DEFAULT|MATERIALIZED|ALIAS expr2],
    ...
) ENGINE [=] SummingMergeTree(date-column [, sampling_expression], (primary, key), index_granularity, [columns])
54
```
55

56 57
Все параметры, кроме `columns` имеют то же значение, что в и `MergeTree`.

58
-   `columns` — кортеж с именами столбцов для суммирования данных. Необязательный параметр. Описание смотрите выше по тексту.
59

60 61
</details>

62
## Пример использования {#primer-ispolzovaniia}
63 64

Рассмотрим следующую таблицу:
65

66
``` sql
67 68 69 70 71 72 73
CREATE TABLE summtt
(
    key UInt32,
    value UInt32
)
ENGINE = SummingMergeTree()
ORDER BY key
74
```
75

76
Добавим в неё данные:
77

78
``` sql
79
INSERT INTO summtt Values(1,1),(1,2),(2,1)
80
```
81

I
Ivan Blinkov 已提交
82
ClickHouse может не полностью просуммировать все строки ([смотрите ниже по тексту](#obrabotka-dannykh)), поэтому при запросе мы используем агрегатную функцию `sum` и секцию `GROUP BY`.
83

84
``` sql
85 86
SELECT key, sum(value) FROM summtt GROUP BY key
```
87 88

``` text
89 90 91 92 93 94
┌─key─┬─sum(value)─┐
│   2 │          1 │
│   1 │          3 │
└─────┴────────────┘
```

95
## Обработка данных {#obrabotka-dannykh}
96 97 98

При вставке данных в таблицу они сохраняются как есть. Периодически ClickHouse выполняет слияние вставленных кусков данных и именно в этот момент производится суммирование и замена многих строк с одинаковым первичным ключом на одну для каждого результирующего куска данных.

99
ClickHouse может слить куски данных таким образом, что не все строки с одинаковым первичным ключом окажутся в одном финальном куске, т.е. суммирование будет не полным. Поэтому, при выборке данных (`SELECT`) необходимо использовать агрегатную функцию [sum()](../../../engines/table-engines/mergetree-family/summingmergetree.md#agg_function-sum) и секцию `GROUP BY` как описано в примере выше.
100

101
### Общие правила суммирования {#obshchie-pravila-summirovaniia}
102 103 104 105

Суммируются значения в столбцах с числовым типом данных. Набор столбцов определяется параметром `columns`.

Если значения во всех столбцах для суммирования оказались нулевыми, то строчка удаляется.
106

107
Для столбцов, не входящих в первичный ключ и не суммирующихся, выбирается произвольное значение из имеющихся.
108

109
Значения для столбцов, входящих в первичный ключ, не суммируются.
K
KochetovNicolai 已提交
110

111
### Суммирование в столбцах AggregateFunction {#summirovanie-v-stolbtsakh-aggregatefunction}
112

113
Для столбцов типа [AggregateFunction](../../../sql-reference/data-types/aggregatefunction.md#data-type-aggregatefunction) ClickHouse выполняет агрегацию согласно заданной функции, повторяя поведение движка [AggregatingMergeTree](aggregatingmergetree.md).
114

115
### Вложенные структуры {#vlozhennye-struktury}
116 117 118 119 120

Таблица может иметь вложенные структуры данных, которые обрабатываются особым образом.

Если название вложенной таблицы заканчивается на `Map` и она содержит не менее двух столбцов, удовлетворяющих критериям:

121
-   первый столбец - числовой `(*Int*, Date, DateTime)` или строковый `(String, FixedString)`, назовем его условно `key`,
122
-   остальные столбцы - арифметические `(*Int*, Float32/64)`, условно `(values...)`,
123 124

то вложенная таблица воспринимается как отображение `key => (values...)` и при слиянии её строк выполняется слияние элементов двух множеств по `key` со сложением соответствующих `(values...)`.
125 126

Примеры:
127

128
``` text
129 130 131 132 133
[(1, 100)] + [(2, 150)] -> [(1, 100), (2, 150)]
[(1, 100)] + [(1, 150)] -> [(1, 250)]
[(1, 100)] + [(1, 150), (2, 150)] -> [(1, 250), (2, 150)]
[(1, 100), (2, 150)] + [(1, -100)] -> [(2, 150)]
```
134

135
При запросе данных используйте функцию [sumMap(key, value)](../../../engines/table-engines/mergetree-family/summingmergetree.md) для агрегации `Map`.
136

137
Для вложенной структуры данных не нужно указывать её столбцы в кортеже столбцов для суммирования.
I
Ivan Blinkov 已提交
138