如何部署及使用etl_crontab和etl_engine

前置条件

     获取到以下文件列表

code.bin       (授权文件,必须)

code.key  (授权文件,必须)

conf.cron  (调度配置文件,使用etl_crontab必须)

sys.properties  (环境配置文件,使用etl_crontab必须)

etllog_mysql.sql        (日志表结构文件,使用etl_crontab必须)

etl_crontab.exe  (管理端,用于配置etl任务、配置调度定期执行etl_engine、查看日志等功能)

etl_engine.exe  (ETL引擎,用于解析执行ETL任务,必须)

readme_v1.2.7.txt (说明文件,非必须)

etl-engine.pdf  (说明文件,非必须)


2、准备用于存储日志的数据库

      将etllog_mysql.sql脚本文件导入到自己的MySQL数据库中,如数据库名称是db1


3、修改配置文件

   - conf.cron  

     该文件配置了etl-engine引擎文件位置,每个etl任务在什么时刻执行,及日志输出级别,http服务端口号等信息,

     各参数可根据实际情况进行修改,具体参数可参看etl_engine.pdf文件或其它资料。

     如:下面两个配置要根据实际情况进行修改。

          engineFile 引擎文件存放位置(默认配置 d:/etl_crontab/etl_engine.exe)

          confDir etl任务配置文件所在目录(默认配置d:/etl_crontab/config)

   - sys.properties  

     该文件是日志输出数据源配置(当前配置默认支持输出到mysql),和etl设计器登录等配置。


4、启动etl_crontab(管理端)

     执行以下命令:      

     etl_crontab.exe -fileUrl conf.cron  

     etl_crontab.exe运行后,默认会启动一个11100的http端口,用于和etl后台管理进行交互。

     http://127.0.0.1:11100/etl_designer

     用户名称:admin

     口令:123456

     默认会启动11101端口,用于向前端推送控制台日志信息(取消该功能可通过配置conf.cron文件中 webSocketPort="" 或 取消该设置)。


5、执行etl_engine(根据实际情况使用)

     1)由etl_crontab调度负责调用etl_engine执行,不需要人为干预。

     2)独立执行etl_engine

        执行以下命令:

 etl_engine.exe -fileUrl d:/example.grf  -logLevel info  


6、查看相关日志(均可通过管理端查看)

   1)读写成功与失败的日志信息存储在数据库中

   2)etl_engine执行过程中的日志输出到etl_engine.log文件中

   3)etl_crontab执行过程中的日志输出到etl_crontab.log文件中