Apache DolphinScheduler(incubating),简称”DS”, 中文名 “海豚调度”(海豚聪明、人性化,又左右脑可互相换班,终生不用睡觉)。DolphinScheduler 正在像它的名字一样,努力成为一个“开箱即用”的灵活易用的大数据任务调度系统。
官网地址:https://dolphinscheduler.apache.org/
0
编者按
在 DolphinScheduler 的用户群里发现 anan 美女说她升级成功了,随后便约她记录一下大体过程,anan爽快的答应了。经交谈,本文也是 anan 初次写关于 DolphinScheduler 文章,如有不到之处,也请大家轻拍
1
前序
偶然的机会接触到 DolphinScheduler 调度,看到介绍还是让人眼前一亮,于是呼就开始了部署体验的漫漫之路。
最先接触的版本是 1.2.0 单机版部署,当时还没有分支组件、datax等的支持,但基本上能满足需求。
现在的版本已是 1.3.2,新增很多功能,好像源码也调整很多。
DolphinScheduler 一直在不断完善中,然后在博文的引导下成功在 cdh上部署 1.3.2 版本,然后就有了下面的迁移之路的故事。
注:1.3.1和1.3.2的部署方式是一样的
2
迁移之路
1、工作流定义导出导入:将1.2.0导出,导入1.3.2,目前还没有批量导出导入,这个想法终止
2、整个数据库的导出导入:将1.2.0整个库导出,然后导入到1.3.2,无法登陆,报用户已终止使用
去 DolphinScheduler 微信用户群中求助,大神指导,官网有升级步骤,我竟然不看,直接自己瞎捉摸,活该折腾哈
按照官网提示的,因为是迁移,后端都是最新的,只需要执行数据库升级脚本即可:upgrade-dolphinscheduler.sh
数据库升级完成,页面登录成功,测试里面的功能也正常。
3
简单回顾
迁移过程还是非常成功的,再整理一下迁移步骤。
此次有固定场景做的迁移,参考的话请核实场景是否一致
迁移流程:
1、将1.3.2的数据库用1.2.0的覆盖掉,然后执行数据库升级脚本:upgrade-dolphinscheduler.sh
2、如果流程定义中,有些配置:ip、路径等需要修改的可以使用 mysql替换工作
UPDATE t_ds_process_definition SET process_definition_json=REPLACE(process_definition_json,'旧元素','新元素')
此文是简单记录本次升级过程,也是第一次写DolphinScheduler的相关文章,anan也希望后续可以阅读源码,能深度参与社区。
注:如果是大家升级,还是建议按照官网说明升级:https://dolphinscheduler.apache.org/zh-cn/docs/1.3.2/user_doc/upgrade.html。如果不着急的话,1.3.3 正在准备发版中,1.3.3 也主要是 bug fix 版本。具体的 milestone 请查看:https://github.com/apache/incubator-dolphinscheduler/pulls?q=is%3Apr+milestone%3A1.3.3-release