如何部署及使用etl_crontab和etl_engine
前置条件
获取到以下文件列表
code.bin (授权文件,必须)
code.key (授权文件,必须)
conf.cron (调度配置文件,使用etl_crontab必须)
sys.properties (环境配置文件,使用etl_crontab必须)
etllog_mysql.sql (日志表结构文件,使用etl_crontab必须)
etl_crontab.exe (管理端,用于配置etl任务、配置调度定期执行etl_engine、查看日志等功能)
etl_engine.exe (ETL引擎,用于解析执行ETL任务,必须)
readme_v1.2.7.txt (说明文件,非必须)
etl-engine.pdf (说明文件,非必须)
2、准备用于存储日志的数据库
将etllog_mysql.sql脚本文件导入到自己的MySQL数据库中,如数据库名称是db1
3、修改配置文件
- conf.cron
该文件配置了etl-engine引擎文件位置,每个etl任务在什么时刻执行,及日志输出级别,http服务端口号等信息,
各参数可根据实际情况进行修改,具体参数可参看etl_engine.pdf文件或其它资料。
如:下面两个配置要根据实际情况进行修改。
engineFile 引擎文件存放位置(默认配置 d:/etl_crontab/etl_engine.exe)
confDir etl任务配置文件所在目录(默认配置d:/etl_crontab/config)
- sys.properties
该文件是日志输出数据源配置(当前配置默认支持输出到mysql),和etl设计器登录等配置。
4、启动etl_crontab(管理端)
执行以下命令:
etl_crontab.exe -fileUrl conf.cron
etl_crontab.exe运行后,默认会启动一个11100的http端口,用于和etl后台管理进行交互。
http://127.0.0.1:11100/etl_designer
用户名称:admin
口令:123456
默认会启动11101端口,用于向前端推送控制台日志信息(取消该功能可通过配置conf.cron文件中 webSocketPort="" 或 取消该设置)。
5、执行etl_engine(根据实际情况使用)
1)由etl_crontab调度负责调用etl_engine执行,不需要人为干预。
2)独立执行etl_engine
执行以下命令:
etl_engine.exe -fileUrl d:/example.grf -logLevel info
6、查看相关日志(均可通过管理端查看)
1)读写成功与失败的日志信息存储在数据库中
2)etl_engine执行过程中的日志输出到etl_engine.log文件中
3)etl_crontab执行过程中的日志输出到etl_crontab.log文件中