Skip to content
体验新版
项目
组织
正在加载...
登录
切换导航
打开侧边栏
OpenDocCN
airflow-doc-zh
提交
6dbf8841
A
airflow-doc-zh
项目概览
OpenDocCN
/
airflow-doc-zh
9 个月 前同步成功
通知
3
Star
208
Fork
63
代码
文件
提交
分支
Tags
贡献者
分支图
Diff
Issue
0
列表
看板
标记
里程碑
合并请求
0
Wiki
0
Wiki
分析
仓库
DevOps
项目成员
Pages
A
airflow-doc-zh
项目概览
项目概览
详情
发布
仓库
仓库
文件
提交
分支
标签
贡献者
分支图
比较
Issue
0
Issue
0
列表
看板
标记
里程碑
合并请求
0
合并请求
0
Pages
分析
分析
仓库分析
DevOps
Wiki
0
Wiki
成员
成员
收起侧边栏
关闭侧边栏
动态
分支图
创建新Issue
提交
Issue看板
前往新版Gitcode,体验更适合开发者的 AI 搜索 >>
提交
6dbf8841
编写于
1月 17, 2019
作者:
T
tssujt
浏览文件
操作
浏览文件
下载
电子邮件补丁
差异文件
Proofread use-mesos section
上级
fa24158f
变更
2
隐藏空白更改
内联
并排
Showing
2 changed file
with
26 addition
and
27 deletion
+26
-27
README.md
README.md
+2
-2
zh/15.md
zh/15.md
+24
-25
未找到文件。
README.md
浏览文件 @
6dbf8841
...
...
@@ -64,8 +64,8 @@
|
[
11 保护连接
](
zh/11.md
)
|
[
@ImPerat0R\_
](
https://github.com/tssujt
)
|
|
[
12 写日志
](
zh/12.md
)
|
[
@ImPerat0R\_
](
https://github.com/tssujt
)
|
|
[
13 用Celery扩大规模
](
zh/13.md
)
|
[
@ImPerat0R\_
](
https://github.com/tssujt
)
|
|
[
14 用Dask扩展
](
zh/14.md
)
| |
|
[
15 使用Mesos扩展(社区贡献)
](
zh/15.md
)
| |
|
[
14 用Dask扩展
](
zh/14.md
)
|
[
@ImPerat0R\_
](
https://github.com/tssujt
)
|
|
[
15 使用Mesos扩展(社区贡献)
](
zh/15.md
)
|
[
@ImPerat0R\_
](
https://github.com/tssujt
)
|
|
[
16 使用systemd运行Airflow
](
zh/16.md
)
| |
|
[
17 用upstart运行Airflow
](
zh/17.md
)
| |
|
[
18 使用测试模式配置
](
zh/18.md
)
| |
...
...
zh/15.md
浏览文件 @
6dbf8841
# 使用Mesos扩展(社区贡献)
有两种方法可以将
气流
作为mesos框架运行:
有两种方法可以将
Airflow
作为mesos框架运行:
1.
直接在mesos从站上运行气流任务,要求每个mesos从站安装和配置气流
。
2.
在安装了气流的docker容器内运行气流
任务,该容器在mesos slave上运行。
1.
想要直接在mesos从站上运行Airflow任务,要求每个mesos slave安装和配置Airflow
。
2.
在安装了Airflow的docker容器内运行Airflow
任务,该容器在mesos slave上运行。
## 任务直接在mesos
从站
上执行
## 任务直接在mesos
slave
上执行
`MesosExecutor`
允许您在Mesos群集上安排
气流任务。
为此,您需要一个正在运行的mesos集群,并且必须执行以下步骤 -
`MesosExecutor`
允许您在Mesos群集上安排
Airflow任务。
为此,您需要一个正在运行的mesos集群,并且必须执行以下步骤 -
1.
在将运行Web服务器和调度程序的mesos从站上安装气流
,让我们将其称为“Airflow服务器”。
2.
在Airflow服务器上,从
[
mesos下载
](
http://open.mesosphere.com/downloads/mesos/
)
安装mesos python eggs。
3.
在Airflow服务器上,使用可从所有mesos从站访问的数据库(例如mysql)
并在
`airflow.cfg`
添加配置。
4.
将
`airflow.cfg`
更改为指向
`airflow.cfg`
的point executor参数,并提供相关的Mesos设置。
5.
在所有mesos奴隶上,安装气流。 从Airflow服务器复制
`airflow.cfg`
(以便它使用相同的sql炼金术
连接)。
6.
在所有mesos从服务器
上,运行以下服务日志:
1.
在将运行Web服务器和调度程序的mesos slave上安装Airflow
,让我们将其称为“Airflow服务器”。
2.
在Airflow服务器上,从
[
mesos下载
](
http://open.mesosphere.com/downloads/mesos/
)
安装mesos python eggs。
3.
在Airflow服务器上,使用可从所有mesos slave访问的数据库(例如mysql),
并在
`airflow.cfg`
添加配置。
4.
将
`airflow.cfg`
更改为指向
`airflow.cfg`
的point executor参数,并提供相关的Mesos设置。
5.
在所有mesos slave上,安装Airflow。 从Airflow服务器复制
`airflow.cfg`
(以便它使用相同的sqlalchemy
连接)。
6.
在所有mesos slave
上,运行以下服务日志:
```
airflow serve_logs
```
1.
在Airflow服务器上,要开始在mesos上处理/调度DAG,请运行:
7.
在Airflow服务器上,要开始在mesos上处理/调度DAG,请运行:
```
airflow scheduler -p
```
注意:我们需要-p参数来挑选DAG。
您现在可以在mesos UI中查看气流框架和相应的任务。 气流任务的日志可以像往常一样在气流UI中查看。
您现在可以在mesos UI中查看Airflow框架和相应的任务。Airflow任务的日志可以像往常一样在Airflow UI中查看。
有关mesos的更多信息,请参阅
[
mesos文档
](
http://mesos.apache.org/documentation/latest/
)
。 有关MesosExecutor的任何疑问/错误,请联系
[
@kapil-malik
](
https://github.com/kapil-malik
)
。
有关mesos的更多信息,请参阅
[
mesos文档
](
http://mesos.apache.org/documentation/latest/
)
。 有关
<
cite
>
MesosExecutor的
<
/cite
>
任何疑问/错误,请联系
[
@ kapil-malik
](
https://github.com/kapil-malik
)
。
## 在mesos slave上的容器中执行的任务
## 在mesos从站上的容器中执行的任务
[
此gist
](
https://gist.github.com/sebradloff/f158874e615bda0005c6f4577b20036e
)
包含实现以下所需的所有文件和配置更改:
[
此要点
](
https://gist.github.com/sebradloff/f158874e615bda0005c6f4577b20036e
)
包含实现以下所需的所有文件和配置更改:
1.
使用安装了mesos python eggs创建一个dockerized版本的Airflow。
1.
使用安装了mesos python鸡蛋创建一个dockerized版本的气流
。
> 我们建议利用docker的多阶段构建来实现这一目标。我们有一个Dockerfile定义从源(Dockerfile-mesos)构建特定版本的mesos,以便创建python eggs。在Airflow Dockerfile(Dockerfile-airflow)中,我们从mesos镜像中复制python eggs
。
> 我们建议利用docker的多阶段构建来实现这一目标。 我们有一个Dockerfile定义从源(Dockerfile-mesos)构建特定版本的mesos,以便创建python egg。 在气流Dockerfile(Dockerfile-airflow)中,我们从mesos图像中复制python eggs
。
2.
在
`airflow.cfg`
创建一个mesos配置块
。
1.
在
`airflow.cfg`
创建一个mesos配置块
。
> 配置块保持与默认Airflow配置(default_airflow.cfg)相同,但添加了一个选项`docker_image_slave`。 这应该设置为您希望mesos在运行Airflow任务时使用的镜像的名称。确保您具有适用于您的mesos主服务器的DNS记录的正确配置以及任何类型的授权(如果存在)
。
> 配置块保持与默认气流配置(default_airflow.cfg)相同,但添加了一个选项`docker_image_slave` 。 这应该设置为您希望mesos在运行气流任务时使用的图像的名称。 确保您具有适用于您的mesos主服务器的DNS记录的正确配置以及任何类型的授权(如果存在
)。
3.
更改
`airflow.cfg`
以将执行程序参数指向MesosExecutor(executor = SequentialExecutor
)。
1.
更改
`airflow.cfg`
以将执行程序参数指向
<
cite
>
MesosExecutor
<
/cite
>
(
<
cite
>
executor = SequentialExecutor
<
/cite
>
)。
2.
确保您的mesos slave可以访问您用于
`docker_image_slave`
存储库。
4.
确保您的mesos slave可以访问您
`docker_image_slave`
的docker存储库。
> [mesos文档中提供了相关说明。](https://mesos.readthedocs.io/en/latest/docker-containerizer/)
其余部分取决于您以及您希望如何使用dockerized气流配置。
\ No newline at end of file
其余部分取决于您以及您希望如何使用dockerized Airflow配置。
编辑
预览
Markdown
is supported
0%
请重试
或
添加新附件
.
添加附件
取消
You are about to add
0
people
to the discussion. Proceed with caution.
先完成此消息的编辑!
取消
想要评论请
注册
或
登录