提交 579ec85b 编写于 作者: B BayoNet 提交者: Ivan Blinkov

DOCAPI-5102: JSONEachRow + insert_sample_with_metadata. EN review and RU Translation (#4882)

* DOCAPI-5102: New setting insert_sample_with_metadata description.

* DOCAPI-5102: Updated the descriptions of insert_sample_with_metadata setting and JSONEachRow format.

* DOCAPI-5102: Fixed the title case.

* DOCAPI-5102: Clarified the JSONEachRow and insert_sample_with_metadata descriptions.

* DOCAPI-5102: Clarification of the JSONEachRow description.

* DOCAPI-5102: EN review.

* DOCAPI-5102: RU translation.

* DOCAPI-5102: Fixed links.
上级 87f6889a
......@@ -307,7 +307,7 @@ See also the `JSONEachRow` format.
## JSONEachRow {#jsoneachrow}
When using this format, ClickHouse outputs rows as separated, newline delimited JSON objects, but the whole data is not a valid JSON.
When using this format, ClickHouse outputs rows as separated, newline-delimited JSON objects, but the data as a whole is not valid JSON.
```json
{"SearchPhrase":"curtain designs","count()":"1064"}
......@@ -317,7 +317,7 @@ When using this format, ClickHouse outputs rows as separated, newline delimited
When inserting the data, you should provide a separate JSON object for each row.
### Inserting the Data
### Inserting Data
```
INSERT INTO UserActivity FORMAT JSONEachRow {"PageViews":5, "UserID":"4324182021466249494", "Duration":146,"Sign":-1} {"UserID":"4324182021466249494","PageViews":6,"Duration":185,"Sign":1}
......@@ -326,17 +326,17 @@ INSERT INTO UserActivity FORMAT JSONEachRow {"PageViews":5, "UserID":"4324182021
ClickHouse allows:
- Any order of key-value pairs in the object.
- The omission of some values.
- Omitting some values.
ClickHouse ignores spaces between elements and commas after the objects. You can pass all the objects to a line. You do not have to separate them with line breaks.
ClickHouse ignores spaces between elements and commas after the objects. You can pass all the objects in one line. You don't have to separate them with line breaks.
**Processing of omitted values**
**Omitted values processing**
ClickHouse substitutes the omitted values with the default values of corresponding [data types](../data_types/index.md).
ClickHouse substitutes omitted values with the default values for the corresponding [data types](../data_types/index.md).
In case of the `DEFAULT expr` is specified, ClickHouse uses different substitution rules depending on the [insert_sample_with_metadata](../operations/settings/settings.md#session_settings-insert_sample_with_metadata) setting.
If `DEFAULT expr` is specified, ClickHouse uses different substitution rules depending on the [insert_sample_with_metadata](../operations/settings/settings.md#session_settings-insert_sample_with_metadata) setting.
Let's consider the following table:
Consider the following table:
```
CREATE TABLE IF NOT EXISTS example_table
......@@ -346,15 +346,15 @@ CREATE TABLE IF NOT EXISTS example_table
) ENGINE = Memory;
```
- If `insert_sample_with_metadata = 0`, then the default value for `x` and `a` equals `0` (as a default value for `UInt32` data type).
- If `insert_sample_with_metadata = 0`, then the default value for `x` and `a` equals `0` (as the default value for the `UInt32` data type).
- If `insert_sample_with_metadata = 1`, then the default value for `x` equals `0`, but the default value of `a` equals `x * 2`.
!!! note "Warning"
Use this option carefully, enabling it negatively affects the performance of the ClickHouse server.
Use this option carefully. Enabling it negatively affects the performance of the ClickHouse server.
### Selecting the Data
### Selecting Data
Let's consider the `UserActivity` table as an example:
Consider the `UserActivity` table as an example:
```
┌──────────────UserID─┬─PageViews─┬─Duration─┬─Sign─┐
......@@ -373,7 +373,7 @@ The query `SELECT * FROM UserActivity FORMAT JSONEachRow` returns:
Unlike the [JSON](#json) format, there is no substitution of invalid UTF-8 sequences. Values are escaped in the same way as for `JSON`.
!!! note "Note"
Any set of bytes can be output in the strings. Use the `JSONEachRow` format if you are sure that the data in the table can be formatted into JSON without losing any information.
Any set of bytes can be output in the strings. Use the `JSONEachRow` format if you are sure that the data in the table can be formatted as JSON without losing any information.
## Native {#native}
......
......@@ -139,6 +139,7 @@ If an error occurred while reading rows but the error counter is still less than
If `input_format_allow_errors_ratio` is exceeded, ClickHouse throws an exception.
## input_format_values_interpret_expressions {#settings-input_format_values_interpret_expressions}
Turns on the full SQL parser if the fast stream parser can't parse the data. This setting is used only for [Values](../../interfaces/formats.md#data-format-values) format at the data insertion. For more information about syntax parsing, see the [Syntax](../../query_language/syntax.md) section.
......@@ -186,20 +187,20 @@ Ok.
## insert_sample_with_metadata {#session_settings-insert_sample_with_metadata}
Turns on/off the extended data exchange between a ClickHouse client and a ClickHouse server. The setting is applies for `INSERT` queries.
Turns on/off the extended data exchange between a ClickHouse client and a ClickHouse server. This setting applies for `INSERT` queries.
When executing the `INSERT` query, ClickHouse client prepares data and sends it to the server for writing. During the preparation of the data, the client gets the table structure from the server. In some cases, the client needs more information than the server sends by default. Turn on the extended data exchange with `insert_sample_with_metadata = 1`.
When executing the `INSERT` query, the ClickHouse client prepares data and sends it to the server for writing. The client gets the table structure from the server when preparing the data. In some cases, the client needs more information than the server sends by default. Turn on the extended data exchange with `insert_sample_with_metadata = 1`.
When the extended data exchange is enabled, the server sends the additional metadata along with the table structure. The composition of the metadata depends on the operation.
Operations where you may need the extended data exchange enabled:
- Inserting the data of the [JSONEachRow](../../interfaces/formats.md#jsoneachrow) format.
- Inserting data in [JSONEachRow](../../interfaces/formats.md#jsoneachrow) format.
For all other operations ClickHouse doesn't apply the setting.
For all other operations, ClickHouse doesn't apply the setting.
!!! note "Note"
The functionality of the extended data exchange consumes additional computing resources on the server and can reduce the performance.
The extended data exchange functionality consumes additional computing resources on the server and can reduce performance.
**Possible values**
......@@ -208,6 +209,7 @@ For all other operations ClickHouse doesn't apply the setting.
**Default value:** 0.
## join_default_strictness {#settings-join_default_strictness}
Sets default strictness for [JOIN clauses](../../query_language/select.md#select-join).
......@@ -223,12 +225,12 @@ Sets default strictness for [JOIN clauses](../../query_language/select.md#select
## join_use_nulls {#settings-join_use_nulls}
Sets the type of [JOIN](../../query_language/select.md) behavior. When merging tables the empty cells may appear. ClickHouse fills them differently based on setting.
Sets the type of [JOIN](../../query_language/select.md) behavior. When merging tables, empty cells may appear. ClickHouse fills them differently based on this setting.
**Possible values**
- 0 — The empty cells are filled with the default value of the corresponding field type.
- 1 — `JOIN` behaves like in standard SQL. The type of the corresponding field is converted to [Nullable](../../data_types/nullable.md#data_type-nullable), and empty cells are filled with [NULL](../../query_language/syntax.md).
- 1 — `JOIN` behaves the same way as in standard SQL. The type of the corresponding field is converted to [Nullable](../../data_types/nullable.md#data_type-nullable), and empty cells are filled with [NULL](../../query_language/syntax.md).
**Default value**: 0.
......
此差异已折叠。
......@@ -15,10 +15,10 @@ ClickHouse применяет настройку в тех случаях, ко
Возможные значения:
- `deny` — значение по умолчанию. Запрещает использование таких подзапросов (При попытке использование вернет исключение "Double-distributed IN/JOIN subqueries is denied");
- `local` - заменяет базу данных и таблицу в подзапросе на локальные для конечного сервера (шарда), оставив обычный `IN` / `JOIN.`
- `global` - заменяет запрос `IN` / `JOIN` на `GLOBAL IN` / `GLOBAL JOIN.`
- `allow` - разрешает использование таких подзапросов.
- `deny` — значение по умолчанию. Запрещает использование таких подзапросов (При попытке использование вернет исключение "Double-distributed IN/JOIN subqueries is denied");
- `local` заменяет базу данных и таблицу в подзапросе на локальные для конечного сервера (шарда), оставив обычный `IN` / `JOIN.`
- `global` заменяет запрос `IN` / `JOIN` на `GLOBAL IN` / `GLOBAL JOIN.`
- `allow` разрешает использование таких подзапросов.
## enable_optimize_predicate_expression
......@@ -101,6 +101,30 @@ ClickHouse применяет настройку в тех случаях, ко
В случае превышения `input_format_allow_errors_ratio` ClickHouse генерирует исключение.
## insert_sample_with_metadata {#session_settings-insert_sample_with_metadata}
Включает/выключает расширенный обмен данными между клиентом ClickHouse и сервером ClickHouse. Параметр применяется для запросов `INSERT`.
При выполнении запроса`INSERT`, клиент ClickHouse подготавливает данные и отправляет их на сервер для записи. При подготовке данных клиент получает структуру таблицы от сервера. В некоторых случаях клиенту требуется больше информации, чем сервер отправляет по умолчанию. Включите расширенный обмен данными с помощью настройки `insert_sample_with_metadata = 1`.
Если расширенный обмен данными включен, сервер отправляет дополнительные метаданные вместе со структурой таблицы. Состав метаданных зависит от операции.
Операции, для которых может потребоваться включить расширенный обмен данными:
- Вставка данных в формате [JSONEachRow](../../interfaces/formats.md#jsoneachrow).
Для всех остальных операций ClickHouse не применяет этот параметр.
!!! Примечание " Примечание"
Функциональность расширенного обмена данными потребляет дополнительные вычислительные ресурсы на сервере и может снизить производительность.
**Возможные значения**
- 0 — функциональность выключена.
- 1 — функциональность включена.
**Значение по умолчанию**: 0.
## join_default_strictness {#settings-join_default_strictness}
Устанавливает строгость по умолчанию для [JOIN](../../query_language/select.md#select-join).
......@@ -108,7 +132,7 @@ ClickHouse применяет настройку в тех случаях, ко
**Возможные значения**
- `ALL` — если в правой таблице несколько совпадающих строк, данные умножаются на количество этих строк. Это нормальное поведение `JOIN` как в стандартном SQL.
- `ANY` — если в правой таблице несколько соответствующих строк, то соединяется только первая найденная. Если в "правой" таблице есть не более одной подходящей строки, то результаты `ANY` и `ALL` совпадают.
- `ANY` — если в правой таблице несколько соответствующих строк, то соединяется только первая найденная. Если в "правой" таблице есть не более одной подходящей строки, то результаты `ANY` и `ALL` совпадают.
- `Пустая строка` — если `ALL` или `ANY` не указаны в запросе, то ClickHouse генерирует исключение.
**Значение по умолчанию**: `ALL`
......@@ -120,7 +144,7 @@ ClickHouse применяет настройку в тех случаях, ко
**Возможные значения**
- 0 — пустые ячейки заполняются значением по умолчанию соответствующего типа поля.
- 1 — `JOIN` ведет себя как в стандартном SQL. Тип соответствующего поля преобразуется в [Nullable](../../data_types/nullable.md#data_type-nullable), а пустые ячейки заполняются значениями [NULL](../../query_language/syntax.md).
- 1 — `JOIN` ведет себя как в стандартном SQL. Тип соответствующего поля преобразуется в [Nullable](../../data_types/nullable.md#data_type-nullable), а пустые ячейки заполняются значениями [NULL](../../query_language/syntax.md).
**Значение по умолчанию**: 0.
......@@ -140,7 +164,7 @@ ClickHouse применяет настройку в тех случаях, ко
## merge_tree_uniform_read_distribution {#setting-merge_tree_uniform_read_distribution}
При чтении из таблиц [MergeTree*](../table_engines/mergetree.md) ClickHouse использует несколько потоков. Этот параметр включает/выключает равномерное распределение заданий по рабочим потокам. Алгоритм равномерного распределения стремится сделать время выполнения всех потоков примерно равным для одного запроса `SELECT`.
При чтении из таблиц [MergeTree*](../table_engines/mergetree.md) ClickHouse использует несколько потоков. Этот параметр включает/выключает равномерное распределение заданий по рабочим потокам. Алгоритм равномерного распределения стремится сделать время выполнения всех потоков примерно равным для одного запроса `SELECT`.
**Возможные значения**
......@@ -181,7 +205,7 @@ ClickHouse применяет настройку в тех случаях, ко
## merge_tree_max_rows_to_use_cache {#setting-merge_tree_max_rows_to_use_cache}
Если требуется прочитать более, чем `merge_tree_max_rows_to_use_cache` строк в одном запросе, ClickHouse не используют кэш несжатых блоков. Настройка сервера [uncompressed_cache_size](../server_settings/settings.md#server-settings-uncompressed_cache_size) определяет размер кэша несжатых блоков.
Если требуется прочитать более, чем `merge_tree_max_rows_to_use_cache` строк в одном запросе, ClickHouse не используют кэш несжатых блоков. Настройка сервера [uncompressed_cache_size](../server_settings/settings.md#server-settings-uncompressed_cache_size) определяет размер кэша несжатых блоков.
**Возможные значения**
......@@ -228,7 +252,7 @@ ClickHouse применяет настройку в тех случаях, ко
Этот параметр относится к потокам, которые выполняют параллельно одни стадии конвейера выполнения запроса.
Например, при чтении из таблицы, если есть возможность вычислять выражения с функциями, фильтровать с помощью WHERE и предварительно агрегировать для GROUP BY параллельно, используя хотя бы количество потоков max_threads, то используются max_threads.
По умолчанию - 2.
Значение по умолчанию: 2.
Если на сервере обычно исполняется менее одного запроса SELECT одновременно, то выставите этот параметр в значение чуть меньше количества реальных процессорных ядер.
......@@ -256,7 +280,7 @@ ClickHouse применяет настройку в тех случаях, ко
Как правило, не имеет смысла менять эту настройку.
## max_query_size
## max_query_size {#settings-max_query_size}
Максимальный кусок запроса, который будет считан в оперативку для разбора парсером языка SQL.
Запрос INSERT также содержит данные для INSERT-а, которые обрабатываются отдельным, потоковым парсером (расходующим O(1) оперативки), и не учитываются в этом ограничении.
......@@ -285,7 +309,7 @@ ClickHouse применяет настройку в тех случаях, ко
Максимальное количество одновременных соединений с удалёнными серверами при распределённой обработке одного запроса к одной таблице типа Distributed. Рекомендуется выставлять не меньше, чем количество серверов в кластере.
По умолчанию - 1024.
Значение по умолчанию: 1024.
Следующие параметры имеют значение только на момент создания таблицы типа Distributed (и при запуске сервера), поэтому их не имеет смысла менять в рантайме.
......@@ -293,7 +317,7 @@ ClickHouse применяет настройку в тех случаях, ко
Максимальное количество одновременных соединений с удалёнными серверами при распределённой обработке всех запросов к одной таблице типа Distributed. Рекомендуется выставлять не меньше, чем количество серверов в кластере.
По умолчанию - 1024.
Значение по умолчанию: 1024.
## connect_timeout_with_failover_ms
......@@ -316,7 +340,7 @@ ClickHouse применяет настройку в тех случаях, ко
## use_uncompressed_cache {#setting-use_uncompressed_cache}
Использовать ли кэш разжатых блоков. Принимает 0 или 1. По умолчанию - 0 (выключено).
Использование кэша несжатых блоков (только для таблиц семейства MergeTree) может существенно сократить задержку и увеличить пропускную способность при работе с большим количеством коротких запросов. Включите эту настройку для пользователей, от которых идут частые короткие запросы. Также обратите внимание на конфигурационный параметр [uncompressed_cache_size](../server_settings/settings.md#server-settings-uncompressed_cache_size) (настраивается только в конфигурационном файле) - размер кэша разжатых блоков. По умолчанию - 8 GiB. Кэш разжатых блоков заполняется по мере надобности, а наиболее невостребованные данные автоматически удаляются.
Использование кэша несжатых блоков (только для таблиц семейства MergeTree) может существенно сократить задержку и увеличить пропускную способность при работе с большим количеством коротких запросов. Включите эту настройку для пользователей, от которых идут частые короткие запросы. Также обратите внимание на конфигурационный параметр[uncompressed_cache_size](../server_settings/settings.md#server-settings-uncompressed_cache_size) (настраивается только в конфигурационном файле) - размер кэша разжатых блоков. По умолчанию - 8 GiB. Кэш разжатых блоков заполняется по мере надобности, а наиболее невостребованные данные автоматически удаляются.
Для запросов, читающих хоть немного приличный объём данных (миллион строк и больше), кэш разжатых блоков автоматически выключается, чтобы оставить место для действительно мелких запросов. Поэтому, можно держать настройку `use_uncompressed_cache` всегда выставленной в 1.
......@@ -337,7 +361,7 @@ ClickHouse применяет настройку в тех случаях, ко
## stream_flush_interval_ms
Работает для таблиц со стриммингом в случае тайм-аута, или когда поток генерирует [max_insert_block_size](#settings-max_insert_block_size) строк.
Работает для таблиц со стриммингом в случае тайм-аута, или когда поток генерирует [max_insert_block_size](#settings-max_insert_block_size) строк.
Значение по умолчанию - 7500.
......@@ -404,11 +428,7 @@ ClickHouse применяет настройку в тех случаях, ко
Если значение равно true, то при выполнении INSERT входные данные из столбцов с неизвестными именами будут пропущены. В противном случае эта ситуация создаст исключение.
Работает для форматов JSONEachRow и TSKV.
## insert_sample_with_metadata
Для запросов INSERT. Указывает, что серверу необходимо отправлять клиенту метаданные о значениях столбцов по умолчанию, которые будут использоваться для вычисления выражений по умолчанию. По умолчанию отключено.
## output_format_json_quote_64bit_integers
## output_format_json_quote_64bit_integers {#session_settings-output_format_json_quote_64bit_integers}
Если значение истинно, то при использовании JSON\* форматов UInt64 и Int64 числа выводятся в кавычках (из соображений совместимости с большинством реализаций JavaScript), иначе - без кавычек.
......@@ -470,4 +490,3 @@ ClickHouse применяет настройку в тех случаях, ко
- [insert_quorum_timeout](#settings-insert_quorum_timeout)
[Оригинальная статья](https://clickhouse.yandex/docs/ru/operations/settings/settings/) <!--hide-->
Markdown is supported
0% .
You are about to add 0 people to the discussion. Proceed with caution.
先完成此消息的编辑!
想要评论请 注册