azkaban可以调度python任务么 azkaban调用kettle

Azkaban安装与使用

• 1 引言

• 1.1 目的
• 1.2 背景
• 1.3 术语
• 1.4 参考资料
• 1.5 读者对象

• 2 运行环境

• 2.1 软件方面

• 3 系统环境安装
• 4 软件安装和配置

• 4.1 下载代码，构建资源
• 4.2 启动和停止服务
• 4.3 通过web打开Azkaban可视化界面
• 4.4 功能验证

• 5 常见问题处理

• 5.1 构建时报错

1 引言

1.1 目的

1. 通过Azkaban的批量工作量任务调度器调用kettle
2. 调用linux命令
3. 调用java程序
4. 调用shell脚本

1.2 背景

    Azkaban是一个分布式工作流管理器，由LinkedIn实现。类似于JavaEE中的JBPM和Activiti工作流框架.。常见的任务调度框架有Apache Oozie、LinkedIn Azkaban、Apache Airflow、Alibaba Zeus,由于Azkaban具有轻量可插拔、友好的WebUI、SLA告警、完善的权限控制、易于二次开发等优点，也得到了广泛应用。

1.3 术语

表格 1 3：术语表

术语	说明
FLOW	工作流程
JOB	作业

1.4 参考资料

Azkaban官网网站：https://azkaban.github.io/

1.5 读者对象

    开发人员、运维人员、大数据工程师

2 运行环境

2.1 软件方面

这里我以我自己本地的环境作为例子，仅供参考

序号	软件名称	版本
1	VMware Workstation 15 Pro	15.0.0
2	Azkaban	3.9.1.0
3	Gradle	6.6.1
4	JDK	1.8.0_261
5	Git	2.17.1

3 系统环境安装

Ubuntu 18.04.5 LTS

4 软件安装和配置

4.1 下载代码，构建资源

1. 克隆仓库
   git clone https://github.com/azkaban/azkaban.git
2. 构建项目
   sudo ./gradlew build -x test
3. 清理项目
   sudo ./gradlew clean

4.2 启动和停止服务

进入Azkaban根目录后
cd /azkaban/azkaban-solo-server/build/install/azkaban-solo-server/
执行 sudo ./bin/start-solo.sh 启动solo-server服务
执行 sudo./bin/shutdown-solo.sh，停止solo-server服务

4.3 通过web打开Azkaban可视化界面

  在浏览器中输入http://localhost:8081/，由于我将Azkaban安装在了虚拟机上，所以此处我使用的是http://192.168.255.131:8081/，默认的账号名为azkaban，密码为azkaban。

4.4 功能验证

1． 创建一个名为flow20.project的文件。添加Azkaban版本，表明这是一个Azkaban 2.0项目
azkaban-flow-version: 2.0
2． 创建另一个名为basic.flow的文件。添加名为nodes的部分，其中将包含您想要运行的所有作业。
nodes:

• name: jobC
  type: noop
  # jobC depends on jobA and jobB
  dependsOn:

• jobA
• jobB

• name: jobA
  type: command
  config:
  command: echo “This is an echoed text.”
• name: jobB
  type: command
  config:
  command: pwd
  3． 将两个文件压缩为zip文件，直接压缩即可，不需要在外层创建文件夹，并命名为Archive.zip
  4． 在project菜单下创建一个project，输入Name和Description，如official_demo和官方样例
  5． 创建完毕后，点击upload菜单，将第三步压缩的Archive.zip进行上传



• 6． 点击Execute Flow，会弹出调度视图，再次点击Execute即运行成功



• 7． 查看调度日志

5 常见问题处理

5.1 构建时报错

Task :azkaban-exec-server:compileTestJava FAILED
 /home/caijx/download/azkaban/azkaban-exec-server/src/test/java/azkaban/dag/StatusChangeRecorder.java:24: 错误: 程序包javafx.util不存在
 import javafx.util.Pair;
 ^
 /home/caijx/download/azkaban/azkaban-exec-server/src/test/java/azkaban/dag/StatusChangeRecorder.java:31: 错误: 找不到符号
 private final List<Pair<String, Status>> sequence = new ArrayList<>();
 ^
 符号: 类 Pair
 位置: 类 StatusChangeRecorder
 /home/caijx/download/azkaban/azkaban-exec-server/src/test/java/azkaban/dag/StatusChangeRecorder.java:41: 错误: 找不到符号
 void verifySequence(final List<Pair<String, Status>> expectedSequence) {
 ^
 符号: 类 Pair
 位置: 类 StatusChangeRecorder
 /home/caijx/download/azkaban/azkaban-exec-server/src/test/java/azkaban/dag/DagServiceTest.java:32: 错误: 程序包javafx.util不存在
 import javafx.util.Pair;
 ^
 /home/caijx/download/azkaban/azkaban-exec-server/src/test/java/azkaban/dag/DagServiceTest.java:56: 错误: 找不到符号
 private final List<Pair<String, Status>> expectedSequence = new ArrayList<>();
 ^
 解决办法：构建时使用sudo ./gradlew build -x test，最根本的原因为我所使用的环境安装的为OpenJDK，只包含最精简的JDK，故我又重新安装了JDK 1.8.0_261。安装完毕后使用sudo ./gradlew build依旧构建不通过。百思不得其解， 但不执行测试代码可以通过。有兴趣的小伙伴可以自行研究下。