目录
01:检查数据库连接:
02:设置环境变量:
03:设计各自数据流程转换:
04:邮件通知:
ETL工具KETTLE用来设计数据流程,无论什么逻辑的数据流程,一般都有一个通用的设计模板流程,在这个模板流程下各自配置各自的具体数据流程,这样可以做到非常好的对流程进行监控。具体设计思路模板如下:
01:检查数据库连接:
将数据流程中使用到的数据库连接首先进行检查,如果有数据库连接不到的,那么就是出现异常了,直接可以发送邮件通知管理员。
02:设置环境变量:
将数据流程中的一些公共变量可以在这里设置为环境变量,注意下变量作用范围为:当前作业,有效。这样在一个作业内的公用变量就可以使用了,并且在作业之外的其它作业中访问不到这个变量。
03:设计各自数据流程转换:
这块内容就是具体的数据流程转换了,可以是一个转换,也可以是多个转换,每个转换中都是自己具体的数据处理流程。如果是多个转换,那么需要注意下转换前后放置的顺序,这个有影响的是,按照从前往后执行的顺序。注意:一定要在选择转换的时候,设置日志,设置好日志的存储路径,加上日期和时间,这样运行出现异常,可以查看对应日志
04:邮件通知:
这块是配置了邮件通知信息,主要是在该作业运行出现异常的时候,对管理员发送邮件进行提醒。配置发件人、收件人等信息。主要是在邮件消息中写如下内容,便可以通用的获取到该JOB的名称:
作业设计模板整体图如下: