Apache DolphinScheduler
您需要按照下列要求填写开源项目,我们将对您填写的内容进行审核,通过以后会由 Gitcode 运营人员将填写好的项目补充到开源百科页面。同时可以获得 CSDN Gitcode 团队为您邮寄的精美礼品一份,以答谢您为开源社区所做出的贡献。
项目所属领域
- 分类(
必须
):大数据
项目详情
-
项目名称
Apache DolphinScheduler -
icon URL(可选)
-
项目描述 设计特点
-
一个简单的微扩展的可视化 DAG 工作流任务调度系统。解决数据流程中错综复杂的依赖处理,使调度系统在数据处理流程中开箱即用。
其主要目标如下:
-
以DAG图方式将任务按照任务的依赖关系关联起来,可实时的可视化监控任务的运行
-
支持多种任务类型:Shell、MR、Spark、SQL(mysql、postgresql、hive、sparksql)、Python、Sub_Process、Procedure等
-
支持工作流定时调度、调度、手动调度、手动暂停/停止/恢复,同时支持失败重试/恢复、从指定节点恢复失败等操作杀死任务
-
支持工作流优先级、任务优先级及的故障转移及超时任务/任务失败
-
支持工作流参数及节点自定义参数设置
-
支持资源文件的在线上传/下载,管理等,支持在线文件创建、编辑
-
支持任务日志在线查看及滚动、在线下载日志等
-
实现集群HA,通过Zookeeper实现集群和Worker去中心化
-
支持对Master/Workercpu负载,内存,cpu在线查看
-
支持工作流运行历史树形/甘特图展示、支持任务统计状态、流程状态统计
-
支持补数
-
支持多
-
支持国际化
-
还有更多等待伙伴们一起探索
-
Gitcode 代码托管地址(可选,访问https://gitcode.net/查看) https://codechina.csdn.net/mirrors/apache/dolphinscheduler
-
其他代码托管平台地址(可选) https://github.com/apache/dolphinscheduler/
-
英文文档地址(可选)
-
中文文档地址(可选)
-
其他文档地址(可选)
-
贡献者(网名/实名
不超过8字
)