From cedbdc8ba77faeb51b117082a82bad46b1fae5d4 Mon Sep 17 00:00:00 2001 From: tssujt Date: Fri, 18 Jan 2019 00:02:58 +0800 Subject: [PATCH] Proofread cli section --- README.md | 2 +- zh/22.md | 685 ++++++++++++++++++++++++------------------------------ 2 files changed, 307 insertions(+), 380 deletions(-) diff --git a/README.md b/README.md index b404594..b2f64f3 100644 --- a/README.md +++ b/README.md @@ -72,7 +72,7 @@ | [19 UI /截图](zh/19.md) | [@ImPerat0R\_](https://github.com/tssujt) | | [20 概念](zh/20.md) | [@ImPerat0R\_](https://github.com/tssujt) | | [21 数据分析](zh/21.md) | [@ImPerat0R\_](https://github.com/tssujt) | -| [22 命令行界面](zh/22.md) | | +| [22 命令行接口](zh/22.md) | [@ImPerat0R\_](https://github.com/tssujt) | | [23 调度和触发器](zh/23.md) | [@Ray](https://github.com/echo-ray) | | [24 插件](zh/24.md) | | | [25 安全](zh/25.md) | | diff --git a/zh/22.md b/zh/22.md index 267b3e6..01adb02 100644 --- a/zh/22.md +++ b/zh/22.md @@ -1,635 +1,565 @@ -# 命令行界面 +# 命令行接口 -Airflow具有非常丰富的命令行界面，允许在DAG上执行多种类型的操作，启动服务以及支持开发和测试。 +Airflow具有非常丰富的命令行接口，允许在DAG上执行多种类型的操作，启动服务以及支持开发和测试。 ``` - usage : airflow [ - h ] - { resetdb , render , variables , connections , create_user , pause , task_failed_deps , version , trigger_dag , initdb , test , unpause , dag_state , run , list_tasks , backfill , list_dags , kerberos , worker , webserver , flower , scheduler , task_state , pool , serve_logs , clear , upgradedb , delete_dag } +usage: airflow [-h] + {resetdb,render,variables,connections,create_user,pause,task_failed_deps,version,trigger_dag,initdb,test,unpause,dag_state,run,list_tasks,backfill,list_dags,kerberos,worker,webserver,flower,scheduler,task_state,pool,serve_logs,clear,upgradedb,delete_dag} ... - ``` -## 位置参数 +## 必填参数 - -| <kbd>子</kbd> | 可能的选择：resetdb，render，variables，connections，create_user，pause，task_failed_deps，version，trigger_dag，initdb，test，unpause，dag_state，run，list_tasks，backfill，list_dags，kerberos，worker，webserver，flower，scheduler，task_state，pool ，serve_logs，clear，upgrab，delete_dag子命令帮助 | +| 子命令 | 可能的选择：resetdb，render，variables，connections，create_user，pause，task_failed_deps，version，trigger_dag，initdb，test，unpause，dag_state，run，list_tasks，backfill，list_dags，kerberos，worker，webserver，flower，scheduler，task_state，pool ，serve_logs，clear，upgrab，delete_dag子命令帮助 | ## 子命令： ### resetdb -烧毁并重建元数据数据库 +删除并重建元数据数据库 ``` - airflow resetdb [ - h ] [ - y ] - +airflow resetdb [-h] [-y] ``` -#### 命名参数 +#### 可选参数 - -| <kbd>-y， - 是的</kbd> | 不要提示确认重置。 小心使用！默认值：False | +| -y, --yes | 不要提示确认重置。请小心使用！默认值：False | -### 给予 +### render 渲染任务实例的模板 ``` - airflow render [ - h ] [ - sd SUBDIR ] dag_id task_id execution_date - +airflow render [-h] [-sd SUBDIR] dag_id task_id execution_date ``` -#### 位置参数 +#### 必填参数 - -| <kbd>dag_id</kbd> | dag的id | -| <kbd>TASK_ID</kbd> | 任务的id | -| <kbd>执行日期</kbd> | DAG的执行日期 | +| dag_id | dag的id | +| task_id | 任务的id | +| execution_date | DAG的执行日期 | -#### 命名参数 +#### 可选参数 - -| <kbd>-sd， - subdir</kbd> | 从中查找dag的文件位置或目录默认值：/ Users / kaxil / airflow / dags | +| -sd, --subdir | 从中查找dag的文件位置或目录 默认值：“[AIRFLOW_HOME]/dags” | ### 变量 对变量的CRUD操作 ``` - airflow variables [ - h ] [ - s KEY VAL ] [ - g KEY ] [ - j ] [ - d VAL ] [ - i FILEPATH ] - [ - e FILEPATH ] [ - x KEY ] - +airflow variables [-h] [-s KEY VAL] [-g KEY] [-j] [-d VAL] [-i FILEPATH] + [-e FILEPATH] [-x KEY] ``` -#### 命名参数 +#### 可选参数 - -| <kbd>-s， - set</kbd> | 设置变量 | -| <kbd>-g， - get</kbd> | 获取变量的值 | -| <kbd>-j， - json</kbd> | 反序列化JSON变量默认值：False | -| <kbd>-d， - 默认</kbd> | 如果变量不存在，则返回默认值 | -| <kbd>-i， - 进口</kbd> | 从JSON文件导入变量 | -| <kbd>-e， - 出口</kbd> | 将变量导出到JSON文件 | -| <kbd>-x， - 删除</kbd> | 删除变量 | +| -s, --set | 设置变量 | +| -g, --get | 获取变量的值 | +| -j, --json | 反序列化JSON变量默认值：False | +| -d, --default | 如果变量不存在，则返回默认值 | +| -i, --import | 从JSON文件导入变量 | +| -e, --export | 将变量导出到JSON文件 | +| -x, --delete | 删除变量 | -### 连接 +### connections 列表/添加/删除连接 ``` - airflow connections [ - h ] [ - l ] [ - a ] [ - d ] [ -- conn_id CONN_ID ] - [ -- conn_uri CONN_URI ] [ -- conn_extra CONN_EXTRA ] - [ -- conn_type CONN_TYPE ] [ -- conn_host CONN_HOST ] - [ -- conn_login CONN_LOGIN ] [ -- conn_password CONN_PASSWORD ] - [ -- conn_schema CONN_SCHEMA ] [ -- conn_port CONN_PORT ] - +airflow connections [-h] [-l] [-a] [-d] [--conn_id CONN_ID] + [--conn_uri CONN_URI] [--conn_extra CONN_EXTRA] + [--conn_type CONN_TYPE] [--conn_host CONN_HOST] + [--conn_login CONN_LOGIN] [--conn_password CONN_PASSWORD] + [--conn_schema CONN_SCHEMA] [--conn_port CONN_PORT] ``` -#### 命名参数 +#### 可选参数 - -| <kbd>-l， - list</kbd> | 列出所有连接默认值：False | -| <kbd>-a， - add</kbd> | 添加连接默认值：False | -| <kbd>-d， - 删除</kbd> | 删除连接默认值：False | -| <kbd>--conn_id</kbd> | 添加/删除连接所需的连接ID | -| <kbd>--conn_uri</kbd> | 连接URI，添加没有conn_type的连接所需 | -| <kbd>--conn_extra</kbd> | 连接<cite>额外</cite>字段，添加连接时可选 | -| <kbd>--conn_type</kbd> | 连接类型，无需conn_uri即可添加连接 | -| <kbd>--conn_host</kbd> | 连接主机，添加连接时可选 | -| <kbd>--conn_login</kbd> | 连接登录，添加连接时可选 | -| <kbd>--conn_password</kbd> | -| | 连接密码，添加连接时可选 | -| <kbd>--conn_schema</kbd> | 连接架构，添加连接时可选 | -| <kbd>--conn_port</kbd> | 连接端口，添加连接时可选 | +| -l，--list | 列出所有连接，默认值：False | +| -a，--add | 添加连接，默认值：False | +| -d，--delete | 删除连接，默认值：False | +| --conn_id | 连接ID，添加/删除连接时必填 | +| --conn_uri | 连接URI，添加没有conn_type的连接时必填 | +| --conn_extra | 连接的Extra字段，添加连接时可选 | +| --conn_type | 连接类型，添加没有conn_uri的连接时时必填 | +| --conn_host | 连接主机，添加连接时可选 | +| --conn_login | 连接登录，添加连接时可选 | +| --conn_password | 连接密码，添加连接时可选 | +| --conn_schema | 连接架构，添加连接时可选 | +| --conn_port | 连接端口，添加连接时可选 | -### 创建用户 +### create_user 创建管理员帐户 ``` - airflow create_user [ - h ] [ - r ROLE ] [ - u USERNAME ] [ - e EMAIL ] [ - f FIRSTNAME ] - [ - l LASTNAME ] [ - p PASSWORD ] [ -- use_random_password ] - +airflow create_user [-h] [-r ROLE] [-u USERNAME] [-e EMAIL] [-f FIRSTNAME] + [-l LASTNAME] [-p PASSWORD] [--use_random_password] ``` -#### 命名参数 +#### 可选参数 - -| <kbd>-r，--role</kbd> | 用户的角色。 现有角色包括Admin，User，Op，Viewer和Public | -| <kbd>-u， - username</kbd> | 用户的用户名 | -| <kbd>-e， - 电子邮件</kbd> | 用户的电子邮件 | -| <kbd>-f， - firstname</kbd> | -| | 用户的名字 | -| <kbd>-l，--lastname</kbd> | 用户的姓氏 | -| <kbd>-p， - 密码</kbd> | 用户密码 | -| <kbd>--use_random_password</kbd> | -| | 不要提示输入密码。 改为使用随机字符串默认值：False | +| -r，--role | 用户的角色。现有角色包括Admin，User，Op，Viewer和Public | +| -u，--username | 用户的用户名 | +| -e，--电子邮件 | 用户的电子邮件 | +| -f，--firstname | 用户的名字 | +| -l，--lastname | 用户的姓氏 | +| -p，--password | 用户密码 | +| --use_random_password | 不提示输入密码。改为使用随机字符串默认值：False | -### 暂停 +### pause 暂停DAG ``` - airflow pause [ - h ] [ - sd SUBDIR ] dag_id - +airflow pause [-h] [-sd SUBDIR] dag_id ``` -#### 位置参数 +#### 必填参数 + +| dag_id | dag的id | - -| <kbd>dag_id</kbd> | dag的id | +#### 可选参数 -#### 命名参数 - -| <kbd>-sd， - subdir</kbd> | 从中查找dag的文件位置或目录默认值：/ Users / kaxil / airflow / dags | +| -sd，--subdir | 从中查找dag的文件位置或目录，默认值：“[AIRFLOW_HOME]/dags” | ### task_failed_deps 从调度程序的角度返回任务实例的未满足的依赖项。 换句话说，为什么任务实例不会被调度程序调度然后排队，然后由执行程序运行。 ``` - airflow task_failed_deps [ - h ] [ - sd SUBDIR ] dag_id task_id execution_date - +airflow task_failed_deps [-h] [-sd SUBDIR] dag_id task_id execution_date ``` -#### 位置参数 +#### 必填参数 - -| <kbd>dag_id</kbd> | dag的id | -| <kbd>TASK_ID</kbd> | 任务的id | -| <kbd>执行日期</kbd> | DAG的执行日期 | +| dag_id | dag的id | +| task_id | 任务的id | +| execution_date | DAG的执行日期 | -#### 命名参数 +#### 可选参数 - -| <kbd>-sd， - subdir</kbd> | 从中查找dag的文件位置或目录默认值：/ Users / kaxil / airflow / dags | +| -sd，--subdir | 从中查找dag的文件位置或目录，默认值：“[AIRFLOW_HOME]/dags” | -### 版 +### version 显示版本 ``` - airflow version [ - h ] - +airflow version [-h] ``` - ### trigger_dag 触发DAG运行 ``` - airflow trigger_dag [ - h ] [ - sd SUBDIR ] [ - r RUN_ID ] [ - c CONF ] [ - e EXEC_DATE ] +airflow trigger_dag [-h] [-sd SUBDIR] [-r RUN_ID] [-c CONF] [-e EXEC_DATE] dag_id - ``` -#### 位置参数 +#### 必填参数 - -| <kbd>dag_id</kbd> | dag的id | +| dag_id | dag的id | -#### 命名参数 +#### 可选参数 - -| <kbd>-sd， - subdir</kbd> | 从中查找dag的文件位置或目录默认值：/ Users / kaxil / airflow / dags | -| <kbd>-r， - run_id</kbd> | 帮助识别此次运行 | -| <kbd>-c， - conf</kbd> | JSON字符串被腌制到DagRun的conf属性中 | -| <kbd>-e， - exec_date</kbd> | -| | DAG的执行日期 | +| -sd，--subdir | 从中查找dag的文件位置或目录，默认值：“[AIRFLOW_HOME]/dags” | +| -r，--run_id | 帮助识别此次运行 | +| -c，--conf | JSON字符串被腌制到DagRun的conf属性中 | +| -e，--exec_date | DAG的执行日期 | -### 在initdb +### initdb 初始化元数据数据库 ``` - airflow initdb [ - h ] - +airflow initdb [-h] ``` ### 测试 -测试任务实例。 这将在不检查依赖关系或在数据库中记录其状态的情况下运行任务。 +测试任务实例。这将在不检查依赖关系或在数据库中记录其状态的情况下运行任务。 ``` - airflow test [ - h ] [ - sd SUBDIR ] [ - dr ] [ - tp TASK_PARAMS ] +airflow test [-h] [-sd SUBDIR] [-dr] [-tp TASK_PARAMS] dag_id task_id execution_date - ``` -#### 位置参数 +#### 必填参数 - -| <kbd>dag_id</kbd> | dag的id | -| <kbd>TASK_ID</kbd> | 任务的id | -| <kbd>执行日期</kbd> | DAG的执行日期 | +| dag_id | dag的id | +| task_id | 任务的id | +| execution_date | DAG的执行日期 | -#### 命名参数 +#### 可选参数 - -| <kbd>-sd， - subdir</kbd> | 从中查找dag的文件位置或目录默认值：/ Users / kaxil / airflow / dags | -| <kbd>-dr， - dr_run</kbd> | 进行干运行默认值：False | -| <kbd>-tp， - task_params</kbd> | -| | 向任务发送JSON params dict | -### 取消暂停 +| -sd，--subdir | 从中查找dag的文件位置或目录，默认值：“[AIRFLOW_HOME]/dags” | +| -dr，--dr_run | 进行干运行默认值：False | +| -tp，--task_params | 向任务发送JSON params dict | + +### unpause 恢复暂停的DAG ``` - airflow unpause [ - h ] [ - sd SUBDIR ] dag_id - +airflow unpause [-h] [-sd SUBDIR] dag_id ``` -#### 位置参数 +#### 必填参数 - -| <kbd>dag_id</kbd> | dag的id | -#### 命名参数 +| dag_id | dag的id | - -| <kbd>-sd， - subdir</kbd> | 从中查找dag的文件位置或目录默认值：/ Users / kaxil / airflow / dags | +#### 可选参数 + + +| -sd，--subdir | 从中查找dag的文件位置或目录，默认值：“[AIRFLOW_HOME]/dags” | ### dag_state 获取dag run的状态 ``` - airflow dag_state [ - h ] [ - sd SUBDIR ] dag_id execution_date - +airflow dag_state [-h] [-sd SUBDIR] dag_id execution_date ``` -#### 位置参数 +#### 必填参数 - -| <kbd>dag_id</kbd> | dag的id | -| <kbd>执行日期</kbd> | DAG的执行日期 | +| dag_id | dag的id | +| execution_date | DAG的执行日期 | -#### 命名参数 +#### 可选参数 - -| <kbd>-sd， - subdir</kbd> | 从中查找dag的文件位置或目录默认值：/ Users / kaxil / airflow / dags | +| -sd，--subdir | 从中查找dag的文件位置或目录，默认值：“[AIRFLOW_HOME]/dags” | -### 跑 +### run 运行单个任务实例 ``` - airflow run [ - h ] [ - sd SUBDIR ] [ - m ] [ - f ] [ -- pool POOL ] [ -- cfg_path CFG_PATH ] - [ - l ] [ - A ] [ - i ] [ - I ] [ -- ship_dag ] [ - p PICKLE ] [ - int ] +airflow run [-h] [-sd SUBDIR] [-m] [-f] [--pool POOL] [--cfg_path CFG_PATH] + [-l] [-A] [-i] [-I] [--ship_dag] [-p PICKLE] [-int] dag_id task_id execution_date - ``` -#### 位置参数 +#### 必填参数 - -| <kbd>dag_id</kbd> | dag的id | -| <kbd>TASK_ID</kbd> | 任务的id | -| <kbd>执行日期</kbd> | DAG的执行日期 | +| dag_id | dag的id | +| task_id | 任务的id | +| execution_date | DAG的执行日期 | -#### 命名参数 +#### 可选参数 - -| <kbd>-sd， - subdir</kbd> | 从中查找dag的文件位置或目录默认值：/ Users / kaxil / airflow / dags | -| <kbd>-m， - mark_success</kbd> | -| | 将作业标记为成功而不运行它们默认值：False | -| <kbd>-f， - force</kbd> | 忽略先前的任务实例状态，无论任务是否已成功/失败，都重新运行默认值：False | -| <kbd>--pool</kbd> | 要使用的资源池 | -| <kbd>--cfg_path</kbd> | 要使用的配置文件的路径而不是airflow.cfg | -| <kbd>-l， - 本地</kbd> | 使用LocalExecutor运行任务默认值：False | -| <kbd>-A， - ignore_all_dependencies</kbd> | -| | 忽略所有非关键依赖项，包括ignore_ti_state和ignore_task_deps默认值：False | -| <kbd>-i，--ignore_dependencies</kbd> | -| | 忽略特定于任务的依赖项，例如upstream，depends_on_past和重试延迟依赖项默认值：False | -| <kbd>-I， - signore_depends_on_past</kbd> | -| | 忽略depends_on_past依赖项（但尊重上游依赖项）默认值：False | -| <kbd>--ship_dag</kbd> | 泡菜（序列化）DAG并将其运送给工人默认值：False | -| <kbd>-p， - pickle</kbd> | 整个dag的序列化pickle对象（内部使用） | -| <kbd>-int， - interactive</kbd> | -| | 不捕获标准输出和错误流（对交互式调试很有用）默认值：False | +| -sd，--subdir | 从中查找dag的文件位置或目录，默认值：“[AIRFLOW_HOME]/dags” | +| -m，--mark_success | 将作业标记为成功而不运行它们默认值：False | +| -f，--force | 忽略先前的任务实例状态，无论任务是否已成功/失败，都重新运行，默认值：False | +| --pool | 要使用的资源池 | +| --cfg_path | 要使用的配置文件的路径而不是airflow.cfg | +| -l，--local | 使用LocalExecutor运行任务，默认值：False | +| -A，--ignore_all_dependencies | 忽略所有非关键依赖项，包括ignore_ti_state和ignore_task_deps，默认值：False | +| -i，--ignore_dependencies | 忽略特定于任务的依赖项，例如upstream，depends_on_past和重试延迟依赖项，默认值：False | +| -I，--signore_depends_on_past | 忽略depends_on_past依赖项（但尊重上游依赖项），默认值：False | +| --ship_dag | 泡菜（序列化）DAG并将其运送给工人，默认值：False | +| -p，--pickle | 整个dag的序列化pickle对象（内部使用） | +| -int，--interactive | 不捕获标准输出和错误流（对交互式调试很有用），默认值：False | ### list_tasks 列出DAG中的任务 ``` - airflow list_tasks [ - h ] [ - t ] [ - sd SUBDIR ] dag_id - +airflow list_tasks [-h] [-t] [-sd SUBDIR] dag_id ``` -#### 位置参数 +#### 必填参数 - -| <kbd>dag_id</kbd> | dag的id | +| dag_id | dag的id | -#### 命名参数 +#### 可选参数 - -| <kbd>-t， - 树</kbd> | 树视图默认值：False | -| <kbd>-sd， - subdir</kbd> | 从中查找dag的文件位置或目录默认值：/ Users / kaxil / airflow / dags | +| -t，--tree | 树视图，默认值：False | +| -sd，--subdir | 从中查找dag的文件位置或目录，默认值：“[AIRFLOW_HOME]/dags” | -### 回填 +### backfill -在指定的日期范围内运行DAG的子部分。 如果使用reset_dag_run选项，则回填将首先提示用户气流是否应清除回填日期范围内的所有先前dag_run和task_instances。如果使用rerun_failed_tasks，则回填将自动重新运行回填日期范围内的先前失败的任务实例。 +在指定的日期范围内运行DAG的子部分 如果使用reset_dag_run选项，则回填将首先提示用户Airflow是否应清除回填日期范围内的所有先前dag_run和task_instances。如果使用rerun_failed_tasks，则回填将自动重新运行回填日期范围内的先前失败的任务实例。 ``` - airflow backfill [ - h ] [ - t TASK_REGEX ] [ - s START_DATE ] [ - e END_DATE ] [ - m ] [ - l ] - [ - x ] [ - i ] [ - I ] [ - sd SUBDIR ] [ -- pool POOL ] - [ -- delay_on_limit DELAY_ON_LIMIT ] [ - dr ] [ - v ] [ - c CONF ] - [ -- reset_dagruns ] [ -- rerun_failed_tasks ] +airflow backfill [-h] [-t TASK_REGEX] [-s START_DATE] [-e END_DATE] [-m] [-l] + [-x] [-i] [-I] [-sd SUBDIR] [--pool POOL] + [--delay_on_limit DELAY_ON_LIMIT] [-dr] [-v] [-c CONF] + [--reset_dagruns] [--rerun_failed_tasks] dag_id - ``` -#### 位置参数 +#### 必填参数 - -| <kbd>dag_id</kbd> | dag的id | +| dag_id | dag的id | -#### 命名参数 +#### 可选参数 - -| <kbd>-t， - task_regex</kbd> | +| -t，--task_regex | | | 用于过滤特定task_ids以回填的正则表达式（可选） | -| <kbd>-s， - start_date</kbd> | +| -s，--start_date | | | 覆盖start_date YYYY-MM-DD | -| <kbd>-e， - end_date</kbd> | 覆盖end_date YYYY-MM-DD | -| <kbd>-m， - mark_success</kbd> | -| | 将作业标记为成功而不运行它们默认值：False | -| <kbd>-l， - 本地</kbd> | 使用LocalExecutor运行任务默认值：False | -| <kbd>-x， - donot_pickle</kbd> | +| -e，--end_date | 覆盖end_date YYYY-MM-DD | +| -m，--mark_success | +| | 将作业标记为成功而不运行它们，默认值：False | +| -l，--local | 使用LocalExecutor运行任务，默认值：False | +| -x，--donot_pickle | | | 不要试图挑选DAG对象发送给工人，只要告诉工人运行他们的代码版本。默认值：False | -| <kbd>-i，--ignore_dependencies</kbd> | -| | 跳过上游任务，仅运行与正则表达式匹配的任务。 仅适用于task_regex默认值：False | -| <kbd>-I， - signore_first_depends_on_past</kbd> | +| -i，--ignore_dependencies | +| | 跳过上游任务，仅运行与正则表达式匹配的任务。仅适用于task_regex，默认值：False | +| -I，--signore_first_depends_on_past | | | 仅忽略第一组任务的depends_on_past依赖关系（回填DO中的后续执行依赖depends_on_past）。默认值：False | -| <kbd>-sd， - subdir</kbd> | 从中查找dag的文件位置或目录默认值：/ Users / kaxil / airflow / dags | -| <kbd>--pool</kbd> | 要使用的资源池 | -| <kbd>--delay_on_limit</kbd> | +| -sd，--subdir | 从中查找dag的文件位置或目录，默认值：“[AIRFLOW_HOME]/dags” | +| --pool | 要使用的资源池 | +| --delay_on_limit | | | 在尝试再次执行dag运行之前达到最大活动dag运行限制（max_active_runs）时等待的时间（以秒为单位）。默认值：1.0 | -| <kbd>-dr， - dr_run</kbd> | 进行干运行默认值：False | -| <kbd>-v， - verbose</kbd> | 使日志输出更详细默认值：False | -| <kbd>-c， - conf</kbd> | JSON字符串被腌制到DagRun的conf属性中 | -| <kbd>--reset_dagruns</kbd> | -| | 如果设置，则回填将删除现有的与回填相关的DAG运行，并重新开始运行新的DAG运行默认值：False | -| <kbd>--rerun_failed_tasks</kbd> | -| | 如果设置，则回填将自动重新运行回填日期范围的所有失败任务，而不是抛出异常默认值：False | +| -dr，--dr_run | 进行干运行，默认值：False | +| -v，--verbose | 使日志输出更详细，默认值：False | +| -c，--conf | JSON字符串被腌制到DagRun的conf属性中 | +| --reset_dagruns | +| | 如果设置，则回填将删除现有的与回填相关的DAG运行，并重新开始运行新的DAG运行，默认值：False | +| --rerun_failed_tasks | +| | 如果设置，则回填将自动重新运行回填日期范围的所有失败任务，而不是抛出异常，默认值：False | ### list_dags 列出所有DAG ``` - airflow list_dags [ - h ] [ - sd SUBDIR ] [ - r ] - +airflow list_dags [-h] [-sd SUBDIR] [-r] ``` -#### 命名参数 +#### 可选参数 - -| <kbd>-sd， - subdir</kbd> | 从中查找dag的文件位置或目录默认值：/ Users / kaxil / airflow / dags | -| <kbd>-r， - 报告</kbd> | 显示DagBag加载报告默认值：False | +| -sd，--subdir | 从中查找dag的文件位置或目录，默认值：“[AIRFLOW_HOME]/dags” | +| -r，--report | 显示DagBag加载报告，默认值：False | -### Kerberos的 +### kerberos 启动kerberos票证续订 ``` - airflow kerberos [ - h ] [ - kt [ KEYTAB ]] [ -- pid [ PID ]] [ - D ] [ -- stdout STDOUT ] - [ -- stderr STDERR ] [ - l LOG_FILE ] - [ principal ] +airflow kerberos [-h] [-kt [KEYTAB]] [--pid [PID]] [-D] [--stdout STDOUT] + [--stderr STDERR] [-l LOG_FILE] + [principal] ``` -#### 位置参数 +#### 必填参数 - -| <kbd>主要</kbd> | 凯伯罗斯校长默认值：气流 | +| principal | kerberos principal 默认值：airflow | -#### 命名参数 +#### 可选参数 - -| <kbd>-kt， - keytab</kbd> | 密钥表默认值：airflow.keytab | -| <kbd>--pid</kbd> | PID文件位置 | -| <kbd>-D， - damon</kbd> | 守护进程而不是在前台运行默认值：False | -| <kbd>--stdout</kbd> | 将stdout重定向到此文件 | -| <kbd>--stderr</kbd> | 将stderr重定向到此文件 | -| <kbd>-l， - log-file</kbd> | 日志文件的位置 | +| -kt，--keytab | 密钥表默认值：airflow.keytab | +| --pid | PID文件位置 | +| -D，--daemon | 守护进程而不是在前台运行默认值：False | +| --stdout | 将stdout重定向到此文件 | +| --stderr | 将stderr重定向到此文件 | +| -l，--log-file | 日志文件的位置 | -### 工人 +### worker 启动Celery工作节点 ``` - airflow worker [ - h ] [ - p ] [ - q QUEUES ] [ - c CONCURRENCY ] [ - cn CELERY_HOSTNAME ] - [ -- pid [ PID ]] [ - D ] [ -- stdout STDOUT ] [ -- stderr STDERR ] - [ - l LOG_FILE ] - +airflow worker [-h] [-p] [-q QUEUES] [-c CONCURRENCY] [-cn CELERY_HOSTNAME] + [--pid [PID]] [-D] [--stdout STDOUT] [--stderr STDERR] + [-l LOG_FILE] ``` -#### 命名参数 +#### 可选参数 - -| <kbd>-p， - do_pickle</kbd> | +| -p，--do_pickle | | | 尝试将DAG对象发送给工作人员，而不是让工作人员运行他们的代码版本。默认值：False | -| <kbd>-q， - 队列</kbd> | 以逗号分隔的队列列表默认值：默认值 | -| <kbd>-c， - 并发</kbd> | -| | 工作进程的数量默认值：16 | -| <kbd>-cn， - slowry_hostname</kbd> | -| | 如果一台计算机上有多个worker，请设置芹菜工作者的主机名。 | -| <kbd>--pid</kbd> | PID文件位置 | -| <kbd>-D， - damon</kbd> | 守护进程而不是在前台运行默认值：False | -| <kbd>--stdout</kbd> | 将stdout重定向到此文件 | -| <kbd>--stderr</kbd> | 将stderr重定向到此文件 | -| <kbd>-l， - log-file</kbd> | 日志文件的位置 | - -### 网络服务器 +| -q，--queue | 以逗号分隔的队列列表，默认值：default | +| -c, --concurrency | +| | 工作进程的数量，默认值：16 | +| -cn，--slowry_hostname | +| | 如果一台计算机上有多个worker，请设置celery worker的主机名。 | +| --pid | PID文件位置 | +| -D，--daemon | 守护进程而不是在前台运行，默认值：False | +| --stdout | 将stdout重定向到此文件 | +| --stderr | 将stderr重定向到此文件 | +| -l，--log-file | 日志文件的位置 | + +### webserver 启动Airflow网络服务器实例 ``` - airflow webserver [ - h ] [ - p PORT ] [ - w WORKERS ] - [ - k { sync , eventlet , gevent , tornado }] [ - t WORKER_TIMEOUT ] - [ - hn HOSTNAME ] [ -- pid [ PID ]] [ - D ] [ -- stdout STDOUT ] - [ -- stderr STDERR ] [ - A ACCESS_LOGFILE ] [ - E ERROR_LOGFILE ] - [ - l LOG_FILE ] [ -- ssl_cert SSL_CERT ] [ -- ssl_key SSL_KEY ] [ - d ] - +airflow webserver [-h] [-p PORT] [-w WORKERS] + [-k {sync,eventlet,gevent,tornado}] [-t WORKER_TIMEOUT] + [-hn HOSTNAME] [--pid [PID]] [-D] [--stdout STDOUT] + [--stderr STDERR] [-A ACCESS_LOGFILE] [-E ERROR_LOGFILE] + [-l LOG_FILE] [--ssl_cert SSL_CERT] [--ssl_key SSL_KEY] [-d] ``` -#### 命名参数 +#### 可选参数 - -| <kbd>-p， - port</kbd> | 运行服务器的端口默认值：8080 | -| <kbd>-w， - 工作人员</kbd> | 运行Web服务器的工作者数量默认值：4 | -| <kbd>-k， - workerclass</kbd> | -| | 可能的选择：同步，eventlet，gevent，龙卷风用于Gunicorn的工人阶级默认值：同步 | -| <kbd>-t， - worker_timeout</kbd> | -| | 等待Web服务器工作者的超时时间默认值：120 | -| <kbd>-hn， - hostname</kbd> | -| | 设置运行Web服务器的主机名默认值：0.0.0.0 | -| <kbd>--pid</kbd> | PID文件位置 | -| <kbd>-D， - damon</kbd> | 守护进程而不是在前台运行默认值：False | -| <kbd>--stdout</kbd> | 将stdout重定向到此文件 | -| <kbd>--stderr</kbd> | 将stderr重定向到此文件 | -| <kbd>-A， - access_logfile</kbd> | -| | 用于存储Web服务器访问日志的日志文件。 使用' - '打印到stderr。默认值： - | -| <kbd>-E， - error_logfile</kbd> | -| | 用于存储Web服务器错误日志的日志文件。 使用' - '打印到stderr。默认值： - | -| <kbd>-l， - log-file</kbd> | 日志文件的位置 | -| <kbd>--ssl_cert</kbd> | Web服务器的SSL证书的路径 | -| <kbd>--ssl_key</kbd> | 用于SSL证书的密钥的路径 | -| <kbd>-d， - debug</kbd> | 在调试模式下使用Flask附带的服务器默认值：False | +| -p，--port | 运行服务器的端口，默认值：8080 | +| -w，--workers | 运行Web服务器的工作者数量，默认值：4 | +| -k，--workerclass | +| | 可能的选择：sync，eventlet，gevent，tornado 用于Gunicorn的worker class，默认值：sync | +| -t，--worker_timeout | +| | 等待Web服务器工作者的超时时间，默认值：120 | +| -hn，--hostname | +| | 设置运行Web服务器的主机名，默认值：0.0.0.0 | +| --pid | PID文件位置 | +| -D，--daemon | 守护进程而不是在前台运行，默认值：False | +| --stdout | 将stdout重定向到此文件 | +| --stderr | 将stderr重定向到此文件 | +| -A，--access_logfile | +| | 用于存储Web服务器访问日志的日志文件。 使用'-'打印到stderr。默认值：- | +| -E，--error_logfile | +| | 用于存储Web服务器错误日志的日志文件。 使用'-'打印到stderr。默认值：- | +| -l，--log-file | 日志文件的位置 | +| --ssl_cert | Web服务器的SSL证书的路径 | +| --ssl_key | 用于SSL证书的密钥的路径 | +| -d，--debug | 在调试模式下使用Flask附带的服务器，默认值：False | -### 花 +### flower -开始芹菜花 +运行Celery Flower ``` - airflow flower [ - h ] [ - hn HOSTNAME ] [ - p PORT ] [ - fc FLOWER_CONF ] [ - u URL_PREFIX ] - [ - a BROKER_API ] [ -- pid [ PID ]] [ - D ] [ -- stdout STDOUT ] - [ -- stderr STDERR ] [ - l LOG_FILE ] - +airflow flower [-h] [-hn HOSTNAME] [-p PORT] [-fc FLOWER_CONF] [-u URL_PREFIX] + [-a BROKER_API] [--pid [PID]] [-D] [--stdout STDOUT] + [--stderr STDERR] [-l LOG_FILE] ``` -#### 命名参数 +#### 可选参数 - -| <kbd>-hn， - hostname</kbd> | -| | 设置运行服务器的主机名默认值：0.0.0.0 | -| <kbd>-p， - port</kbd> | 运行服务器的端口默认值：5555 | -| <kbd>-fc， - flowers_conf</kbd> | -| | 花的配置文件 | -| <kbd>-u， - url_prefix</kbd> | +| -hn，--hostname | +| | 设置运行服务器的主机名，默认值：0.0.0.0 | +| -p，--port | 运行服务器的端口，默认值：5555 | +| -fc，--flowers_conf | +| | celery的配置文件 | +| -u，--url_prefix | | | Flower的URL前缀 | -| <kbd>-a， - broker_api</kbd> | -| | 经纪人api | -| <kbd>--pid</kbd> | PID文件位置 | -| <kbd>-D， - damon</kbd> | 守护进程而不是在前台运行默认值：False | -| <kbd>--stdout</kbd> | 将stdout重定向到此文件 | -| <kbd>--stderr</kbd> | 将stderr重定向到此文件 | -| <kbd>-l， - log-file</kbd> | 日志文件的位置 | +| -a，--broker_api | +| | Broker api | +| --pid | PID文件位置 | +| -D，--daemon | 守护进程而不是在前台运行，默认值：False | +| --stdout | 将stdout重定向到此文件 | +| --stderr | 将stderr重定向到此文件 | +| -l，--log-file | 日志文件的位置 | -### 调度 +### scheduler 启动调度程序实例 ``` - airflow scheduler [ - h ] [ - d DAG_ID ] [ - sd SUBDIR ] [ - r RUN_DURATION ] - [ - n NUM_RUNS ] [ - p ] [ -- pid [ PID ]] [ - D ] [ -- stdout STDOUT ] - [ -- stderr STDERR ] [ - l LOG_FILE ] - +airflow scheduler [-h] [-d DAG_ID] [-sd SUBDIR] [-r RUN_DURATION] + [-n NUM_RUNS] [-p] [--pid [PID]] [-D] [--stdout STDOUT] + [--stderr STDERR] [-l LOG_FILE] ``` -#### 命名参数 +#### 可选参数 - -| <kbd>-d， - dag_id</kbd> | 要运行的dag的id | -| <kbd>-sd， - subdir</kbd> | 从中查找dag的文件位置或目录默认值：/ Users / kaxil / airflow / dags | -| <kbd>-r， - 运行时间</kbd> | +| -d，--dag_id | 要运行的dag的id | +| -sd，--subdir | 从中查找dag的文件位置或目录，默认值：“[AIRFLOW_HOME]/dags” | +| -r，--run-duration | | | 设置退出前执行的秒数 | -| <kbd>-n， - num_runs</kbd> | 设置退出前要执行的运行次数默认值：-1 | -| <kbd>-p， - do_pickle</kbd> | +| -n，--num_runs | 设置退出前要执行的运行次数，默认值：-1 | +| -p，--do_pickle | | | 尝试将DAG对象发送给工作人员，而不是让工作人员运行他们的代码版本。默认值：False | -| <kbd>--pid</kbd> | PID文件位置 | -| <kbd>-D， - damon</kbd> | 守护进程而不是在前台运行默认值：False | -| <kbd>--stdout</kbd> | 将stdout重定向到此文件 | -| <kbd>--stderr</kbd> | 将stderr重定向到此文件 | -| <kbd>-l， - log-file</kbd> | 日志文件的位置 | +| --pid | PID文件位置 | +| -D，--daemon | 守护进程而不是在前台运行默认值：False | +| --stdout | 将stdout重定向到此文件 | +| --stderr | 将stderr重定向到此文件 | +| -l，--log-file | 日志文件的位置 | ### task_state 获取任务实例的状态 ``` - airflow task_state [ - h ] [ - sd SUBDIR ] dag_id task_id execution_date - +airflow task_state [-h] [-sd SUBDIR] dag_id task_id execution_date ``` -#### 位置参数 +#### 必填参数 - -| <kbd>dag_id</kbd> | dag的id | -| <kbd>TASK_ID</kbd> | 任务的id | -| <kbd>执行日期</kbd> | DAG的执行日期 | +| dag_id | dag的id | +| task_id | 任务的id | +| execution_date | DAG的执行日期 | -#### 命名参数 +#### 可选参数 - -| <kbd>-sd， - subdir</kbd> | 从中查找dag的文件位置或目录默认值：/ Users / kaxil / airflow / dags | +| -sd，--subdir | 从中查找dag的文件位置或目录，默认值：“[AIRFLOW_HOME]/dags” | -### 池 +### pool -池上的CRUD操作 +pool的CRUD操作 ``` - airflow pool [ - h ] [ - s NAME SLOT_COUNT POOL_DESCRIPTION ] [ - g NAME ] [ - x NAME ] - +airflow pool [-h] [-s NAME SLOT_COUNT POOL_DESCRIPTION] [-g NAME] [-x NAME] ``` -#### 命名参数 +#### 可选参数 - -| <kbd>-s， - set</kbd> | 分别设置池槽数和描述 | -| <kbd>-g， - get</kbd> | 获取泳池信息 | -| <kbd>-x， - 删除</kbd> | 删除池 | +| -s，--set | 分别设置池槽数和描述 | +| -g，--get | 获取池信息 | +| -x，--delete | 删除池 | ### serve_logs -由工人生成的服务日志 +由worker生成的服务日志 ``` - airflow serve_logs [ - h ] - +airflow serve_logs [-h] ``` -### 明确 +### clear 清除一组任务实例，就好像它们从未运行过一样 ``` - airflow clear [ - h ] [ - t TASK_REGEX ] [ - s START_DATE ] [ - e END_DATE ] [ - sd SUBDIR ] - [ - u ] [ - d ] [ - c ] [ - f ] [ - r ] [ - x ] [ - dx ] +airflow clear [-h] [-t TASK_REGEX] [-s START_DATE] [-e END_DATE] [-sd SUBDIR] + [-u] [-d] [-c] [-f] [-r] [-x] [-xp] [-dx] dag_id ``` -#### 位置参数 +#### 必填参数 - -| <kbd>dag_id</kbd> | dag的id | +| dag_id | dag的id | -#### 命名参数 +#### 可选参数 - -| <kbd>-t， - task_regex</kbd> | +| -t，--task_regex | | | 用于过滤特定task_ids以回填的正则表达式（可选） | -| <kbd>-s， - start_date</kbd> | +| -s，--start_date | | | 覆盖start_date YYYY-MM-DD | -| <kbd>-e， - end_date</kbd> | 覆盖end_date YYYY-MM-DD | -| <kbd>-sd， - subdir</kbd> | 从中查找dag的文件位置或目录默认值：/ Users / kaxil / airflow / dags | -| <kbd>-u， - upstream</kbd> | 包括上游任务默认值：False | -| <kbd>-d， - downstream</kbd> | -| | 包括下游任务默认值：False | -| <kbd>-c， - no_confirm</kbd> | -| | 请勿要求确认默认值：False | -| <kbd>-f， - only_failed</kbd> | -| | 只有失败的工作默认值：False | -| <kbd>-r， - only_running</kbd> | -| | 只运行工作默认值：False | -| <kbd>-x， - exclude_subdags</kbd> | -| | 排除子标记默认值：False | -| <kbd>-dx， - dag_regex</kbd> | -| | 将dag_id搜索为正则表达式而不是精确字符串默认值：False | - -### UPGRADEDB +| -e，--end_date | 覆盖end_date YYYY-MM-DD | +| -sd，--subdir | 从中查找dag的文件位置或目录，默认值：“[AIRFLOW_HOME]/dags” | +| -u，--upstream | 包括上游任务，默认值：False | +| -d，--downstream | +| | 包括下游任务，默认值：False | +| -c，--no_confirm | +| | 请勿要求确认，默认值：False | +| -f，--only_failed | +| | 只有失败的工作，默认值：False | +| -r，--only_running | +| | 只运行工作，默认值：False | +| -x，--exclude_subdags | +| | 排除子标记，默认值：False | +| -dx，--dag_regex | +| | 将dag_id搜索为正则表达式而不是精确字符串，默认值：False | + +### upgradedb 将元数据数据库升级到最新版本 ``` - airflow upgradedb [ - h ] - +airflow upgradedb [-h] ``` ### delete_dag @@ -637,16 +567,13 @@ Airflow具有非常丰富的命令行界面，允许在DAG上执行多种类型 删除与指定DAG相关的所有DB记录 ``` - airflow delete_dag [ - h ] [ - y ] dag_id - +airflow delete_dag [-h] [-y] dag_id ``` -#### 位置参数 +#### 必填参数 - -| <kbd>dag_id</kbd> | dag的id | +| dag_id | dag的id | -#### 命名参数 +#### 可选参数 - -| <kbd>-y， - 是的</kbd> | 不要提示确认重置。 小心使用！默认值：False | \ No newline at end of file +| -y，--是的 | 不要提示确认重置。 小心使用！默认值：False | -- GitLab