developer-instruction.md 32.0 KB
Newer Older
1 2
---
toc_priority: 61
3
toc_title: "Инструкция для разработчиков"
4 5
---

6 7
# Инструкция для разработчиков

A
Alexander Kazakov 已提交
8 9
Сборка ClickHouse поддерживается на Linux, FreeBSD, Mac OS X.

10
## Если вы используете Windows {#esli-vy-ispolzuete-windows}
A
Alexander Kazakov 已提交
11

V
vladimir golovchenko 已提交
12
Если вы используете Windows, вам потребуется создать виртуальную машину с Ubuntu. Для работы с виртуальной машиной, установите VirtualBox. Скачать Ubuntu можно на сайте: https://www.ubuntu.com/#download Создайте виртуальную машину из полученного образа. Выделите для неё не менее 4 GB оперативной памяти. Для запуска терминала в Ubuntu, найдите в меню программу со словом terminal (gnome-terminal, konsole или что-то в этом роде) или нажмите Ctrl+Alt+T.
A
Alexander Kazakov 已提交
13

14
## Если вы используете 32-битную систему {#esli-vy-ispolzuete-32-bitnuiu-sistemu}
15 16 17

ClickHouse не работает и не собирается на 32-битных системах. Получите доступ к 64-битной системе и продолжайте.

18
## Создание репозитория на GitHub {#sozdanie-repozitoriia-na-github}
A
Alexander Kazakov 已提交
19 20 21 22 23

Для работы с репозиторием ClickHouse, вам потребуется аккаунт на GitHub. Наверное, он у вас уже есть.

Если аккаунта нет - зарегистрируйтесь на https://github.com/. Создайте ssh ключи, если их нет, и загрузите публичные ключи на GitHub. Это потребуется для отправки изменений. Для работы с GitHub можно использовать такие же ssh ключи, как и для работы с другими ssh серверами - скорее всего, они уже у вас есть.

24
Создайте fork репозитория ClickHouse. Для этого, на странице https://github.com/ClickHouse/ClickHouse нажмите на кнопку «fork» в правом верхнем углу. Вы получите полную копию репозитория ClickHouse на своём аккаунте, которая называется «форк». Процесс разработки состоит в том, чтобы внести нужные изменения в свой форк репозитория, а затем создать «pull request» для принятия изменений в основной репозиторий.
A
Alexander Kazakov 已提交
25 26 27 28

Для работы с git репозиториями, установите `git`.

В Ubuntu выполните в терминале:
29

30 31
    sudo apt update
    sudo apt install git
A
Alexander Kazakov 已提交
32

33
Краткое руководство по использованию Git: https://education.github.com/git-cheat-sheet-education.pdf
A
Alexander Kazakov 已提交
34 35 36

Подробное руководство по использованию Git: https://git-scm.com/book/ru/v2

37
## Клонирование репозитория на рабочую машину {#klonirovanie-repozitoriia-na-rabochuiu-mashinu}
A
Alexander Kazakov 已提交
38

39
Затем вам потребуется загрузить исходники для работы на свой компьютер. Это называется «клонирование репозитория», потому что создаёт на вашем компьютере локальную копию репозитория, с которой вы будете работать.
A
Alexander Kazakov 已提交
40 41

Выполните в терминале:
42

43 44
    git clone --recursive git@github.com:ClickHouse/ClickHouse.git
    cd ClickHouse
45

A
Alexander Kazakov 已提交
46 47 48 49 50 51 52
Замените *yandex* на имя вашего аккаунта на GitHub.

Эта команда создаст директорию ClickHouse, содержащую рабочую копию проекта.

Необходимо, чтобы путь к рабочей копии не содержал пробелы в именах директорий. Это может привести к проблемам в работе системы сборки.

Обратите внимание, что репозиторий ClickHouse использует submodules. Так называются ссылки на дополнительные репозитории (например, внешние библиотеки, от которых зависит проект). Это значит, что при клонировании репозитория, следует указывать ключ `--recursive`, как в примере выше. Если репозиторий был клонирован без submodules, то для их скачивания, необходимо выполнить:
53

54 55
    git submodule init
    git submodule update
56

A
Alexander Kazakov 已提交
57 58 59 60
Проверить наличие submodules можно с помощью команды `git submodule status`.

Если вы получили сообщение об ошибке:

61 62
    Permission denied (publickey).
    fatal: Could not read from remote repository.
63

64 65
    Please make sure you have the correct access rights
    and the repository exists.
66

A
Alexander Kazakov 已提交
67 68 69
Как правило это означает, что отсутствуют ssh ключи для соединения с GitHub. Ключи расположены в директории `~/.ssh`. В интерфейсе GitHub, в настройках, необходимо загрузить публичные ключи, чтобы он их понимал.

Вы также можете клонировать репозиторий по протоколу https:
70

71
    git clone https://github.com/ClickHouse/ClickHouse.git
72

A
Alexander Kazakov 已提交
73 74 75 76
Этот вариант не подходит для отправки изменений на сервер. Вы можете временно его использовать, а затем добавить ssh ключи и заменить адрес репозитория с помощью команды `git remote`.

Вы можете также добавить для своего локального репозитория адрес оригинального репозитория Яндекса, чтобы притягивать оттуда обновления:

77
    git remote add upstream git@github.com:ClickHouse/ClickHouse.git
A
Alexander Kazakov 已提交
78

79 80
После этого, вы сможете добавлять в свой репозиторий обновления из репозитория Яндекса с помощью команды `git pull upstream master`.

81
### Работа с сабмодулями Git {#rabota-s-sabmoduliami-git}
82 83 84

Работа с сабмодулями git может быть достаточно болезненной. Следующие команды позволят содержать их в порядке:

85 86 87 88 89 90 91 92 93
    # ! Каждая команда принимает аргумент --recursive
    # Обновить URLs удалённого репозитория для каждого сабмодуля, используется относительно редко
    git submodule sync
    # Добавить новые сабмодули
    git submodule init
    # Обновить сабмодули до актуального состояния
    git submodule update
    # Две последние команды могут быть объединены вместе:
    git submodule update --init
94 95 96 97

The next commands would help you to reset all submodules to the initial state (!WARING! - any chenges inside will be deleted):
Следующие команды помогут сбросить все сабмодули в изначальное состояние (!ВНИМАНИЕ! - все изменения в сабмодулях будут утеряны):

98 99 100 101 102 103 104 105 106 107 108 109 110 111
    # Synchronizes submodules' remote URL with .gitmodules
    # Обновить URLs удалённого репозитория для каждого сабмодуля
    git submodule sync --recursive
    # Обновить существующие модули и добавить отсутствующие
    git submodule update --init --recursive
    # Удалить все изменения в сабмодуле относительно HEAD
    git submodule foreach git reset --hard
    # Очистить игнорируемые файлы
    git submodule foreach git clean -xfd
    # Повторить последние 4 команды для каждого из сабмодулей
    git submodule foreach git submodule sync --recursive
    git submodule foreach git submodule update --init --recursive
    git submodule foreach git submodule foreach git reset --hard
    git submodule foreach git submodule foreach git clean -xfd
112

113
## Система сборки {#sistema-sborki}
A
Alexander Kazakov 已提交
114 115 116 117 118 119 120 121 122 123 124 125 126 127

ClickHouse использует систему сборки CMake и Ninja.

CMake - генератор задач сборки.
Ninja - система запуска сборочных задач.

Для установки на Ubuntu или Debian, Mint, выполните `sudo apt install cmake ninja-build`.

Для установки на CentOS, RedHat, выполните `sudo yum install cmake ninja-build`.

Если у вас Arch или Gentoo, то вы сами знаете, как установить CMake.

Для установки CMake и Ninja на Mac OS X, сначала установите Homebrew, а затем, с помощью него, установите всё остальное.

128 129
    /usr/bin/ruby -e "$(curl -fsSL https://raw.githubusercontent.com/Homebrew/install/master/install)"
    brew install cmake ninja
A
Alexander Kazakov 已提交
130

131
Проверьте версию CMake: `cmake --version`. Если версия меньше 3.3, то установите новую версию с сайта https://cmake.org/download/
A
Alexander Kazakov 已提交
132

133
## Необязательные внешние библиотеки {#neobiazatelnye-vneshnie-biblioteki}
A
Alexander Kazakov 已提交
134

135
ClickHouse использует для сборки некоторое количество внешних библиотек. Но ни одну из них не требуется отдельно устанавливать, так как они собираются вместе с ClickHouse, из исходников, которые расположены в submodules. Посмотреть набор этих библиотек можно в директории contrib.
A
Alexander Kazakov 已提交
136

137
## Компилятор C++ {#kompiliator-c}
A
Alexander Kazakov 已提交
138 139 140 141 142 143 144

В качестве компилятора C++ поддерживается GCC начиная с версии 9 или Clang начиная с версии 8.

Официальные сборки от Яндекса, на данный момент, используют GCC, так как он генерирует слегка более производительный машинный код (разница в среднем до нескольких процентов по нашим бенчмаркам). Clang обычно более удобен для разработки. Впрочем, наша среда continuous integration проверяет около десятка вариантов сборки.

Для установки GCC под Ubuntu, выполните: `sudo apt install gcc g++`.

145
Проверьте версию gcc: `gcc --version`. Если версия меньше 10, то следуйте инструкции: https://clickhouse.tech/docs/ru/development/build/#install-gcc-10.
A
Alexander Kazakov 已提交
146

N
Nikita Mikhaylov 已提交
147
Сборка под Mac OS X поддерживается только для компилятора Clang. Чтобы установить его выполните `brew install llvm`
A
Alexander Kazakov 已提交
148 149 150

Если вы решили использовать Clang, вы также можете установить `libc++` и `lld`, если вы знаете, что это такое. При желании, установите `ccache`.

151
## Процесс сборки {#protsess-sborki}
A
Alexander Kazakov 已提交
152 153

Теперь вы готовы к сборке ClickHouse. Для размещения собранных файлов, рекомендуется создать отдельную директорию build внутри директории ClickHouse:
154

155 156
    mkdir build
    cd build
157

A
Alexey Milovidov 已提交
158
Вы можете иметь несколько разных директорий (build_release, build_debug) для разных вариантов сборки.
A
Alexander Kazakov 已提交
159 160 161

Находясь в директории build, выполните конфигурацию сборки с помощью CMake.
Перед первым запуском необходимо выставить переменные окружения, отвечающие за выбор компилятора (в данном примере это - gcc версии 9).
N
Nikita Mikhaylov 已提交
162 163

Linux:
164

165
    export CC=gcc-10 CXX=g++-10
166
    cmake ..
N
Nikita Mikhaylov 已提交
167 168

Mac OS X:
169

170 171
    export CC=clang CXX=clang++
    cmake ..
172

A
Alexander Kazakov 已提交
173 174 175
Переменная CC отвечает за компилятор C (сокращение от слов C Compiler), переменная CXX отвечает за выбор компилятора C++ (символ X - это как плюс, но положенный набок, ради того, чтобы превратить его в букву).

Для более быстрой сборки, можно использовать debug вариант - сборку без оптимизаций. Для этого, укажите параметр `-D CMAKE_BUILD_TYPE=Debug`:
176

177
    cmake -D CMAKE_BUILD_TYPE=Debug ..
178

A
Alexander Kazakov 已提交
179 180 181
Вы можете изменить вариант сборки, выполнив эту команду в директории build.

Запустите ninja для сборки:
182

183
    ninja clickhouse-server clickhouse-client
184

A
Alexander Kazakov 已提交
185 186 187
В этом примере собираются только нужные в первую очередь программы.

Если вы хотите собрать все программы (утилиты и тесты), то запустите ninja без параметров:
188

189
    ninja
A
Alexander Kazakov 已提交
190 191 192 193

Для полной сборки требуется около 30 GB свободного места на диске или 15 GB для сборки только основных программ.

При наличии небольшого количества оперативной памяти на компьютере, следует ограничить количество параллельных задач с помощью параметра `-j`:
194

195
    ninja -j 1 clickhouse-server clickhouse-client
196

A
Alexander Kazakov 已提交
197 198 199 200 201 202 203 204
На машинах с 4 GB памяти, рекомендуется указывать значение 1, а если памяти до 8 GB, укажите значение 2.

Если вы получили сообщение `ninja: error: loading 'build.ninja': No such file or directory`, значит конфигурация сборки прошла с ошибкой и вам необходимо посмотреть на сообщение об ошибке выше.

В случае успешного запуска, вы увидите прогресс сборки - количество обработанных задач и общее количество задач.

В процессе сборки могут появится сообщения `libprotobuf WARNING` про protobuf файлы в библиотеке libhdfs2. Это не имеет значения.

205
При успешной сборке, вы получите готовый исполняемый файл `ClickHouse/build/programs/clickhouse`:
A
Alexander Kazakov 已提交
206

207
    ls -l programs/clickhouse
A
Alexander Kazakov 已提交
208

209
## Запуск собранной версии ClickHouse {#zapusk-sobrannoi-versii-clickhouse}
A
Alexander Kazakov 已提交
210

211
Для запуска сервера из под текущего пользователя, с выводом логов в терминал и с использованием примеров конфигурационных файлов, расположенных в исходниках, перейдите в директорию `ClickHouse/programs/server/` (эта директория находится не в директории build) и выполните:
A
Alexander Kazakov 已提交
212

213
    ../../build/programs/clickhouse server
A
Alexander Kazakov 已提交
214 215 216

В этом случае, ClickHouse будет использовать конфигурационные файлы, расположенные в текущей директории. Вы можете запустить `clickhouse server` из любой директории, передав ему путь к конфигурационному файлу в аргументе командной строки `--config-file`.

217
Для подключения к ClickHouse с помощью clickhouse-client, в соседнем терминале, зайдите в директорию `ClickHouse/build/programs/` и выполните `./clickhouse client`.
A
Alexander Kazakov 已提交
218 219

Если вы получили сообщение `Connection refused` на Mac OS X или FreeBSD, то укажите для клиента 127.0.0.1 в качестве имени хоста:
220

221
    clickhouse client --host 127.0.0.1
A
Alexander Kazakov 已提交
222 223

Вы можете заменить собранным вами ClickHouse продакшен версию, установленную в системе. Для этого, установите ClickHouse на свою машину по инструкции с официального сайта. Затем выполните:
224

225
    sudo service clickhouse-server stop
226
    sudo cp ClickHouse/build/programs/clickhouse /usr/bin/
227
    sudo service clickhouse-server start
A
Alexander Kazakov 已提交
228 229 230 231 232

Обратите внимание, что `clickhouse-client`, `clickhouse-server` и другие, являеются симлинками на общий бинарник `clickhouse`.

Также вы можете запустить собранный вами ClickHouse с конфигурационным файлом системного ClickHouse:

233
    sudo service clickhouse-server stop
234
    sudo -u clickhouse ClickHouse/build/programs/clickhouse server --config-file /etc/clickhouse-server/config.xml
A
Alexander Kazakov 已提交
235

236
## Среда разработки {#sreda-razrabotki}
A
Alexander Kazakov 已提交
237 238 239

Если вы не знаете, какую среду разработки использовать, то рекомендуется использовать CLion. CLion является платным ПО, но его можно использовать бесплатно в течение пробного периода. Также он бесплатен для учащихся. CLion можно использовать как под Linux, так и под Mac OS X.

240
Также в качестве среды разработки, вы можете использовать KDevelop или QTCreator. KDevelop - очень удобная, но нестабильная среда разработки. Если KDevelop вылетает через небольшое время после открытия проекта, вам следует нажать на кнопку «Stop All» как только он открыл список файлов проекта. После этого, KDevelop можно будет использовать.
A
Alexander Kazakov 已提交
241 242 243 244 245

В качестве простых редакторов кода можно использовать Sublime Text или Visual Studio Code или Kate (все варианты доступны под Linux).

На всякий случай заметим, что CLion самостоятельно создаёт свою build директорию, самостоятельно выбирает тип сборки debug по-умолчанию, для конфигурации использует встроенную в CLion версию CMake вместо установленного вами, а для запуска задач использует make вместо ninja. Это нормально, просто имейте это ввиду, чтобы не возникало путаницы.

246
## Написание кода {#napisanie-koda}
A
Alexander Kazakov 已提交
247

I
Ivan Blinkov 已提交
248
Описание архитектуры ClickHouse: https://clickhouse.tech/docs/ru/development/architecture/
A
Alexander Kazakov 已提交
249

I
Ivan Blinkov 已提交
250
Стиль кода: https://clickhouse.tech/docs/ru/development/style/
A
Alexander Kazakov 已提交
251

I
Ivan Blinkov 已提交
252
Разработка тестов: https://clickhouse.tech/docs/ru/development/tests/
A
Alexander Kazakov 已提交
253

254
Список задач: https://github.com/ClickHouse/ClickHouse/issues?q=is%3Aopen+is%3Aissue+label%3A%22easy+task%22
A
Alexander Kazakov 已提交
255

256
## Тестовые данные {#testovye-dannye}
A
Alexander Kazakov 已提交
257 258 259

Разработка ClickHouse часто требует загрузки реалистичных наборов данных. Особенно это важно для тестирования производительности. Специально для вас мы подготовили набор данных, представляющий собой анонимизированные данные Яндекс.Метрики. Загрузка этих данных потребует ещё 3 GB места на диске. Для выполнения большинства задач разработки, загружать эти данные не обязательно.

260
    sudo apt install wget xz-utils
A
Alexander Kazakov 已提交
261

A
Alexey Milovidov 已提交
262 263
    wget https://datasets.clickhouse.tech/hits/tsv/hits_v1.tsv.xz
    wget https://datasets.clickhouse.tech/visits/tsv/visits_v1.tsv.xz
A
Alexander Kazakov 已提交
264

265 266
    xz -v -d hits_v1.tsv.xz
    xz -v -d visits_v1.tsv.xz
A
Alexander Kazakov 已提交
267

268
    clickhouse-client
A
Alexander Kazakov 已提交
269

270
    CREATE TABLE test.hits ( WatchID UInt64,  JavaEnable UInt8,  Title String,  GoodEvent Int16,  EventTime DateTime,  EventDate Date,  CounterID UInt32,  ClientIP UInt32,  ClientIP6 FixedString(16),  RegionID UInt32,  UserID UInt64,  CounterClass Int8,  OS UInt8,  UserAgent UInt8,  URL String,  Referer String,  URLDomain String,  RefererDomain String,  Refresh UInt8,  IsRobot UInt8,  RefererCategories Array(UInt16),  URLCategories Array(UInt16),  URLRegions Array(UInt32),  RefererRegions Array(UInt32),  ResolutionWidth UInt16,  ResolutionHeight UInt16,  ResolutionDepth UInt8,  FlashMajor UInt8,  FlashMinor UInt8,  FlashMinor2 String,  NetMajor UInt8,  NetMinor UInt8,  UserAgentMajor UInt16,  UserAgentMinor FixedString(2),  CookieEnable UInt8,  JavascriptEnable UInt8,  IsMobile UInt8,  MobilePhone UInt8,  MobilePhoneModel String,  Params String,  IPNetworkID UInt32,  TraficSourceID Int8,  SearchEngineID UInt16,  SearchPhrase String,  AdvEngineID UInt8,  IsArtifical UInt8,  WindowClientWidth UInt16,  WindowClientHeight UInt16,  ClientTimeZone Int16,  ClientEventTime DateTime,  SilverlightVersion1 UInt8,  SilverlightVersion2 UInt8,  SilverlightVersion3 UInt32,  SilverlightVersion4 UInt16,  PageCharset String,  CodeVersion UInt32,  IsLink UInt8,  IsDownload UInt8,  IsNotBounce UInt8,  FUniqID UInt64,  HID UInt32,  IsOldCounter UInt8,  IsEvent UInt8,  IsParameter UInt8,  DontCountHits UInt8,  WithHash UInt8,  HitColor FixedString(1),  UTCEventTime DateTime,  Age UInt8,  Sex UInt8,  Income UInt8,  Interests UInt16,  Robotness UInt8,  GeneralInterests Array(UInt16),  RemoteIP UInt32,  RemoteIP6 FixedString(16),  WindowName Int32,  OpenerName Int32,  HistoryLength Int16,  BrowserLanguage FixedString(2),  BrowserCountry FixedString(2),  SocialNetwork String,  SocialAction String,  HTTPError UInt16,  SendTiming Int32,  DNSTiming Int32,  ConnectTiming Int32,  ResponseStartTiming Int32,  ResponseEndTiming Int32,  FetchTiming Int32,  RedirectTiming Int32,  DOMInteractiveTiming Int32,  DOMContentLoadedTiming Int32,  DOMCompleteTiming Int32,  LoadEventStartTiming Int32,  LoadEventEndTiming Int32,  NSToDOMContentLoadedTiming Int32,  FirstPaintTiming Int32,  RedirectCount Int8,  SocialSourceNetworkID UInt8,  SocialSourcePage String,  ParamPrice Int64,  ParamOrderID String,  ParamCurrency FixedString(3),  ParamCurrencyID UInt16,  GoalsReached Array(UInt32),  OpenstatServiceName String,  OpenstatCampaignID String,  OpenstatAdID String,  OpenstatSourceID String,  UTMSource String,  UTMMedium String,  UTMCampaign String,  UTMContent String,  UTMTerm String,  FromTag String,  HasGCLID UInt8,  RefererHash UInt64,  URLHash UInt64,  CLID UInt32,  YCLID UInt64,  ShareService String,  ShareURL String,  ShareTitle String,  `ParsedParams.Key1` Array(String),  `ParsedParams.Key2` Array(String),  `ParsedParams.Key3` Array(String),  `ParsedParams.Key4` Array(String),  `ParsedParams.Key5` Array(String),  `ParsedParams.ValueDouble` Array(Float64),  IslandID FixedString(16),  RequestNum UInt32,  RequestTry UInt8) ENGINE = MergeTree PARTITION BY toYYYYMM(EventDate) SAMPLE BY intHash32(UserID) ORDER BY (CounterID, EventDate, intHash32(UserID), EventTime);
A
Alexander Kazakov 已提交
271

272
    CREATE TABLE test.visits ( CounterID UInt32,  StartDate Date,  Sign Int8,  IsNew UInt8,  VisitID UInt64,  UserID UInt64,  StartTime DateTime,  Duration UInt32,  UTCStartTime DateTime,  PageViews Int32,  Hits Int32,  IsBounce UInt8,  Referer String,  StartURL String,  RefererDomain String,  StartURLDomain String,  EndURL String,  LinkURL String,  IsDownload UInt8,  TraficSourceID Int8,  SearchEngineID UInt16,  SearchPhrase String,  AdvEngineID UInt8,  PlaceID Int32,  RefererCategories Array(UInt16),  URLCategories Array(UInt16),  URLRegions Array(UInt32),  RefererRegions Array(UInt32),  IsYandex UInt8,  GoalReachesDepth Int32,  GoalReachesURL Int32,  GoalReachesAny Int32,  SocialSourceNetworkID UInt8,  SocialSourcePage String,  MobilePhoneModel String,  ClientEventTime DateTime,  RegionID UInt32,  ClientIP UInt32,  ClientIP6 FixedString(16),  RemoteIP UInt32,  RemoteIP6 FixedString(16),  IPNetworkID UInt32,  SilverlightVersion3 UInt32,  CodeVersion UInt32,  ResolutionWidth UInt16,  ResolutionHeight UInt16,  UserAgentMajor UInt16,  UserAgentMinor UInt16,  WindowClientWidth UInt16,  WindowClientHeight UInt16,  SilverlightVersion2 UInt8,  SilverlightVersion4 UInt16,  FlashVersion3 UInt16,  FlashVersion4 UInt16,  ClientTimeZone Int16,  OS UInt8,  UserAgent UInt8,  ResolutionDepth UInt8,  FlashMajor UInt8,  FlashMinor UInt8,  NetMajor UInt8,  NetMinor UInt8,  MobilePhone UInt8,  SilverlightVersion1 UInt8,  Age UInt8,  Sex UInt8,  Income UInt8,  JavaEnable UInt8,  CookieEnable UInt8,  JavascriptEnable UInt8,  IsMobile UInt8,  BrowserLanguage UInt16,  BrowserCountry UInt16,  Interests UInt16,  Robotness UInt8,  GeneralInterests Array(UInt16),  Params Array(String),  `Goals.ID` Array(UInt32),  `Goals.Serial` Array(UInt32),  `Goals.EventTime` Array(DateTime),  `Goals.Price` Array(Int64),  `Goals.OrderID` Array(String),  `Goals.CurrencyID` Array(UInt32),  WatchIDs Array(UInt64),  ParamSumPrice Int64,  ParamCurrency FixedString(3),  ParamCurrencyID UInt16,  ClickLogID UInt64,  ClickEventID Int32,  ClickGoodEvent Int32,  ClickEventTime DateTime,  ClickPriorityID Int32,  ClickPhraseID Int32,  ClickPageID Int32,  ClickPlaceID Int32,  ClickTypeID Int32,  ClickResourceID Int32,  ClickCost UInt32,  ClickClientIP UInt32,  ClickDomainID UInt32,  ClickURL String,  ClickAttempt UInt8,  ClickOrderID UInt32,  ClickBannerID UInt32,  ClickMarketCategoryID UInt32,  ClickMarketPP UInt32,  ClickMarketCategoryName String,  ClickMarketPPName String,  ClickAWAPSCampaignName String,  ClickPageName String,  ClickTargetType UInt16,  ClickTargetPhraseID UInt64,  ClickContextType UInt8,  ClickSelectType Int8,  ClickOptions String,  ClickGroupBannerID Int32,  OpenstatServiceName String,  OpenstatCampaignID String,  OpenstatAdID String,  OpenstatSourceID String,  UTMSource String,  UTMMedium String,  UTMCampaign String,  UTMContent String,  UTMTerm String,  FromTag String,  HasGCLID UInt8,  FirstVisit DateTime,  PredLastVisit Date,  LastVisit Date,  TotalVisits UInt32,  `TraficSource.ID` Array(Int8),  `TraficSource.SearchEngineID` Array(UInt16),  `TraficSource.AdvEngineID` Array(UInt8),  `TraficSource.PlaceID` Array(UInt16),  `TraficSource.SocialSourceNetworkID` Array(UInt8),  `TraficSource.Domain` Array(String),  `TraficSource.SearchPhrase` Array(String),  `TraficSource.SocialSourcePage` Array(String),  Attendance FixedString(16),  CLID UInt32,  YCLID UInt64,  NormalizedRefererHash UInt64,  SearchPhraseHash UInt64,  RefererDomainHash UInt64,  NormalizedStartURLHash UInt64,  StartURLDomainHash UInt64,  NormalizedEndURLHash UInt64,  TopLevelDomain UInt64,  URLScheme UInt64,  OpenstatServiceNameHash UInt64,  OpenstatCampaignIDHash UInt64,  OpenstatAdIDHash UInt64,  OpenstatSourceIDHash UInt64,  UTMSourceHash UInt64,  UTMMediumHash UInt64,  UTMCampaignHash UInt64,  UTMContentHash UInt64,  UTMTermHash UInt64,  FromHash UInt64,  WebVisorEnabled UInt8,  WebVisorActivity UInt32,  `ParsedParams.Key1` Array(String),  `ParsedParams.Key2` Array(String),  `ParsedParams.Key3` Array(String),  `ParsedParams.Key4` Array(String),  `ParsedParams.Key5` Array(String),  `ParsedParams.ValueDouble` Array(Float64),  `Market.Type` Array(UInt8),  `Market.GoalID` Array(UInt32),  `Market.OrderID` Array(String),  `Market.OrderPrice` Array(Int64),  `Market.PP` Array(UInt32),  `Market.DirectPlaceID` Array(UInt32),  `Market.DirectOrderID` Array(UInt32),  `Market.DirectBannerID` Array(UInt32),  `Market.GoodID` Array(String),  `Market.GoodName` Array(String),  `Market.GoodQuantity` Array(Int32),  `Market.GoodPrice` Array(Int64),  IslandID FixedString(16)) ENGINE = CollapsingMergeTree(Sign) PARTITION BY toYYYYMM(StartDate) SAMPLE BY intHash32(UserID) ORDER BY (CounterID, StartDate, intHash32(UserID), VisitID);
A
Alexander Kazakov 已提交
273

274 275
    clickhouse-client --max_insert_block_size 100000 --query "INSERT INTO test.hits FORMAT TSV" < hits_v1.tsv
    clickhouse-client --max_insert_block_size 100000 --query "INSERT INTO test.visits FORMAT TSV" < visits_v1.tsv
A
Alexander Kazakov 已提交
276

277
## Создание Pull Request {#sozdanie-pull-request}
A
Alexander Kazakov 已提交
278

279
Откройте свой форк репозитория в интерфейсе GitHub. Если вы вели разработку в бранче, выберите этот бранч. На странице будет доступна кнопка «Pull request». По сути, это означает «создать заявку на принятие моих изменений в основной репозиторий».
A
Alexander Kazakov 已提交
280

281
Pull request можно создать, даже если работа над задачей ещё не завершена. В этом случае, добавьте в его название слово «WIP» (work in progress). Название можно будет изменить позже. Это полезно для совместного просмотра и обсуждения изменений, а также для запуска всех имеющихся тестов. Введите краткое описание изменений - впоследствии, оно будет использовано для релизных changelog.
A
Alexander Kazakov 已提交
282

283
Тесты будут запущены, как только сотрудники Яндекса поставят для pull request тег «Can be tested». Результаты первых проверок (стиль кода) появятся уже через несколько минут. Результаты сборки появятся примерно через пол часа. Результаты основного набора тестов будут доступны в пределах часа.
A
Alexander Kazakov 已提交
284

285
Система подготовит сборки ClickHouse специально для вашего pull request. Для их получения, нажмите на ссылку «Details» у проверки «Clickhouse build check». Там вы сможете найти прямые ссылки на собранные .deb пакеты ClickHouse, которые, при желании, вы даже сможете установить на свои продакшен серверы (если не страшно).
A
Alexander Kazakov 已提交
286 287

Вероятнее всего, часть сборок не будет успешной с первого раза. Ведь мы проверяем сборку кода и gcc и clang, а при сборке с помощью clang включаются почти все существующие в природе warnings (всегда с флагом `-Werror`). На той же странице, вы сможете найти логи сборки - вам не обязательно самому собирать ClickHouse всеми возможными способами.