上篇文章回顾:
上篇文章主要讲了如何编写kettle的第一个作业,相信大家已经掌握;本篇文章主要介绍一些kettle如何去获取数据,获取数据无非是从接口获取或是从本地文件获取;本章主要讲解如何从接口中获取数据,比如调用一个rest接口,获取返回结果。后续还会讲解如何从一个websocket接口获取数据,这就涉及到插件的开发,将会在以后的高级篇教程中进行讲解;
HTTP-GET:
最终展示结果如下,日志中输出的result字段,便是get请求的返回值;
第一步:按照上图方式,将“获取变量”节点、“HTTP Client”节点和“写日志”节点,拖动到工作区,并通过连接箭头将它们串起来;
第二步:双击打开“HTTP Clinet”节点,进行配置:只需在url处配置(http://www.weather.com.cn/data/sk/101010100.html)
第三步:配置“获取变量”节点和“日志节点”:“获取变量”节点无须配置;“写日志”节点配置如下:
备注:“获取变量”节点虽然没有做任何配置;但此节点在后续的教程中,会逐渐深入,比如:构建基于kettle的数据集成平台,就会经常使用此节点;
HTTP-POST:
最终展示结果如下图:大家会奇怪,为什么会出现405呢?下面进行解释。
第一步:按照上图方式,将“获取变量”节点、“增加常量”节点、“HTTP POST”节点和“写日志”节点,拖动到工作区,并通过连接箭头将它们串起来;
第二步:双击打开“增加常量””节点配置如下:
第三步:双击打开“HTTP POST”节点配置如下:
General页签配置
Fields页签配置
第四步:“写日志”节点配置同之前的配置类似,这里不做赘述。
第五步:为什么会出现405
说明:之所以会返回405的状态(405是http的一个状态码,可自行百度),因为get请求和post请求使用的是同一个url,这个url地址只支持get请求,所以在使用post请求的时候就会报405的状态码。
下面展示一个正常的请求:
“HTTP Post”节点如下:url中的地址:是我本地写的一个服务支持application/json的post请求;
总结:
本篇文章主要介绍了get请求节点与post请求节点,通过这两个几点便可以获取互联网中支持rest请求中的数据(实际工作中,接口之间的调用一般都是rest接口);当然这里介绍的只是最简单的使用,大家可以自行扩展。下篇文章将介绍如何从本地文件获取数据,如何从数据库获取数据;在此之后,进行数据迁移场景的开发,完成一个真实的业务场景;