当前位置 博文首页 > 大数据manor的博客 :初窥Apache DolphinScheduler

    大数据manor的博客 :初窥Apache DolphinScheduler

    作者:[db:作者] 时间:2021-07-16 18:48

    前言

    拥抱开源,始终关注新兴技术是技术人的必备技能,因此我写了这篇初窥Apache DolphinScheduler

    Apache DolphinScheduler是什么?在这里插入图片描述

    Apache DolphinScheduler是一个分布式去中心化,易扩展的可视化DAG工作流任务调度系统。致力于解决数据处理流程中错综复杂的依赖关系,使调度系统在数据处理流程中开箱即用。

    有什么特性

    在这里插入图片描述
    概括:
    高可靠性
    简单易用
    丰富的使用场景
    高拓展性

    快速入门

    快速上手
    管理员用户登录

    地址:http://192.168.xx.xx:12345/dolphinscheduler
    用户名密码:admin/dolphinscheduler123

    在这里插入图片描述

    创建队列
    在这里插入图片描述

    创建租户
    在这里插入图片描述

    创建普通用户
    在这里插入图片描述

    创建告警组
    在这里插入图片描述

    创建Worker分组
    在这里插入图片描述

    创建token令牌
    在这里插入图片描述

    使用普通用户登录

    点击右上角用户名“退出”,重新使用普通用户登录。

    项目管理->创建项目->点击项目名称
    在这里插入图片描述

    点击工作流定义->创建工作流定义->上线工作流定义
    在这里插入图片描述

    运行工作流定义->点击工作流实例->点击工作流实例名称->双击任务节点->查看任务执行日志
    在这里插入图片描述

    总结

    适合什么人使用?

    如果第一公司不想花大价钱购买商业ETL工具及调度器,
    第二公司也没规划人力自研调度器,那么DolphinScheduler将是不错的选择;
    ??因为确实也存在很优秀的商业调度器,唯一的缺点就是贵嘛;而DolphinScheduler在目前的开源调度器中,如Azkaban,XXL-Job,Ozzie,AirFlow等对比,确实略胜一筹,如果自研开源调度器,人力成本也是需要估量的,因为DolphinScheduler完全开源,也可以借鉴DolphinScheduler。

    以上便是初窥Apache DolphinScheduler的全部内容,具体使用体验等待我上手后再写一篇文章

    cs