本篇文章先不介绍kettle的基础知识,主要介绍基于kettle的数据集成平台。也就说,本篇文章介绍的是一个平台,是需要具备大量的kettle知识点才能完成的。通过对此平台的介绍,让大家对kettle的学习充满兴趣,不至于半途而废。这个平台能够解决工程师工作中大部分的数据处理问题。 当然如果大家喜欢这个平台的话,可以在评论区留言大家共同谈论,一起进步。
平台简介:
基于kettle的数据集成平台, 通过用来管理job和trans,来提供服务接口。该服务接口支持各种协议及报文的转换,解决了工作中大部分的数据处理问题。同时该平台也支持任务调度,充分继承了kettle的job特性。当然也通过一些辅助功能来更好的诠释该平台,如报表统计,日志追踪,用户管理,权限管理,菜单管理等。
核心功能:
- 支持rest请求,websocket请求,mqtt请求等;
- 支持服务维度的热插拔。
- 提供请求报文转换服务,响应报文服务;
- 服务重新发起请求;由平台发起,不需要用户调用来发起;
- 支持同步请求和异步请求;
- 服务执行方式(servlet方式,还是指定的服务节点)
- 指定输出节点
- 提供自定义参数的配置;
- 接口调用汇总统计功能。(各种维度汇总,成功失败失败的原因, 交易相关的调用量有多少,管理相关的调用量有多少)
平台演示:
进入平台,在服务池列表中,选择服务,获取url。
通过postman调用接口。
查看调用日志:
使用说明:
- 登陆
通过用户名密码登录系统
- 首页
报表统计:用于统计服务调用的总量,成功量,失败量。
- 资源管理
支持kettle文件的上传(ktr文件和kjb文件)
- 服务管理
通过配置服务接口,服务接口执行过程中调用kettle文件
- 日志管理
通过服务名称定位服务执行日志,以及查看日志详情
- 用户管理
- 菜单管理
- 权限管理
用户管理、菜单管理和权限管理是基于RBAC理论实现的,这里不再介绍。
总结:
本篇对基于kettle的数据集成平台做了简单的介绍,实际上该平台的功能是非常强大的,这里只展示部分核心功能