Apache DolphinScheduler(incubating),简称”DS”, 中文名 “海豚调度”(海豚聪明、人性化,又左右脑可互相换班,终生不用睡觉)。DolphinScheduler 正在像它的名字一样,努力成为一个“开箱即用”的灵活易用的大数据任务调度系统。

官网地址:https://dolphinscheduler.apache.org/

海豚调度 java 集成 海豚平台_数据库

0

编者按

在 DolphinScheduler 的用户群里发现 anan 美女说她升级成功了,随后便约她记录一下大体过程,anan爽快的答应了。经交谈,本文也是 anan 初次写关于 DolphinScheduler 文章,如有不到之处,也请大家轻拍

1

前序

        偶然的机会接触到 DolphinScheduler 调度,看到介绍还是让人眼前一亮,于是呼就开始了部署体验的漫漫之路。

最先接触的版本是 1.2.0 单机版部署,当时还没有分支组件、datax等的支持,但基本上能满足需求。

现在的版本已是 1.3.2,新增很多功能,好像源码也调整很多。

DolphinScheduler 一直在不断完善中,然后在博文的引导下成功在 cdh上部署 1.3.2 版本,然后就有了下面的迁移之路的故事。

注:1.3.1和1.3.2的部署方式是一样的

2

迁移之路

    

1、工作流定义导出导入:将1.2.0导出,导入1.3.2,目前还没有批量导出导入,这个想法终止

2、整个数据库的导出导入:将1.2.0整个库导出,然后导入到1.3.2,无法登陆,报用户已终止使用

去 DolphinScheduler 微信用户群中求助,大神指导,官网有升级步骤,我竟然不看,直接自己瞎捉摸,活该折腾哈

       

      按照官网提示的,因为是迁移,后端都是最新的,只需要执行数据库升级脚本即可:upgrade-dolphinscheduler.sh

      

      数据库升级完成,页面登录成功,测试里面的功能也正常。

3

简单回顾

        迁移过程还是非常成功的,再整理一下迁移步骤。

此次有固定场景做的迁移,参考的话请核实场景是否一致

迁移流程:

1、将1.3.2的数据库用1.2.0的覆盖掉,然后执行数据库升级脚本:upgrade-dolphinscheduler.sh

2、如果流程定义中,有些配置:ip、路径等需要修改的可以使用 mysql替换工作

UPDATE t_ds_process_definition  SET process_definition_json=REPLACE(process_definition_json,'旧元素','新元素') 

此文是简单记录本次升级过程,也是第一次写DolphinScheduler的相关文章,anan也希望后续可以阅读源码,能深度参与社区。

注:如果是大家升级,还是建议按照官网说明升级:https://dolphinscheduler.apache.org/zh-cn/docs/1.3.2/user_doc/upgrade.html。如果不着急的话,1.3.3 正在准备发版中,1.3.3 也主要是 bug fix 版本。具体的 milestone 请查看:https://github.com/apache/incubator-dolphinscheduler/pulls?q=is%3Apr+milestone%3A1.3.3-release