hive通过kettle连接方式 kettle接口对接数据

总流程讲解

流程讲解：

基础流程是1.首先根据调用的接口所需要的参数或其他配置信息进行信息生成（有些简单的接口无需这一步来生成信息，可以直接在接口调用组件中进行调用）。2.将配置信息传入，进行接口调用。（简单的接口可以直接在这步开始）。3.将调用接口返回的json数据解析转换成字段类型。4.将解析好的数据插入到数据库中。

调用接口基础流程的四个流程的组件：

1. 将入参等所需信息生成的组件，可以用表输入或者生成记录等组件来完成。
2. 访问接口的组件，kettle中有三种访问组件，HTTP POST、HTTP CLIENT、REST CLIEENT，这三个的区别是HTTP POST是调用post接口、HTTP CLIENT是调用get接口、REST CLIEENT是可以设置调用post还是get接口。
3. json input组件，这个组件是将接口返回的json格式的数据解析成字段形式，以方便插入数据库中。
4. 表输出或插入更新组件，用来将处理好的数据插入。

组件的详细讲解：

1. 数据输入

这一步组件使用很简单，主要是为了满足后续对数据的使用进行数据生成。

实例讲解：

1. 接口调用组件

三个组件区别不大，这里讲解最复杂的rest client接口组件。

这里补充一下，一般的传参为json类型的application type那里就选json，传值的时候先将要传的值以字典格式封装在一个变量里，在headers选在那里将该变量传入到body中。

如果调用接口要传参的传参类型为x-www-form-urlencoded类型要在application typen那里选择FORM URLENCODED，亲测在只在headers里将x-www-form-urlencoded传入Content-Type是无效的。传值到body中要使用'key1=value1&key2=value2&,,,&keyn=valuen'的格式，这里用双引号也可以。具体的每一个key和value上就不要加引号了，我调用的接口加上引号也会导致服务器不识别。

1. json input 组件：

json解析路径配置实例：

以下方的json的数据为例，

如果要用一个字段返回所有的数据就写$,如果要返回下方code的数据(200)就写$.code,

如果要返回data里的第一个集合的ID数据就写

$.data.[1].ID
{ "code" : 200,
"pages" : "932",
"count" : "93172",
"limit" : "100",
"page" : "1",
"message" : "读取成功" ,
"data" :[{ "ID" : "4501",
“CODE”:”001” },
{ "ID" : "4502",
“CODE”:”002” },
]}

1. 数据输出组件：

这一步和正常数据输出一样。

常用检查方法：

在接口调用流程中数据展示往往不够直观，在创建中可以多使用数据预览，多看一看每一步传回的数据有无问题。