一、Kettle的简单介绍
Kettle是一款国外开源的ETL工具，纯java编写，可以在Windows、Linux、Unix上运行，数据抽取高效稳定。
Kettle 中文名称叫水壶，该项目的主程序员MATT 希望把各种数据放到一个壶里，然后以一种指定的格式流出。
ETL是EXTRACT(抽取)、TRANSFORM(转换)、LOAD(加载)的简称，实现数据从多个异构数据源加载到数据库或其他目标地址，是数据仓库建设和维护中的重要一环，也是工作量较大的一块。
kettle有两种脚本transformation(转换)和Job(作业)
Kettle有三个主要组件：Spoon、Kitchen、Pan
Spoon(汤勺)：是一个图形化的界面，可以让我们用图形化的方式开发转换和作业。windows选择Spoon.bat；Linux选择Spoon.sh
Kitchen(厨房)：利用Kitchen可以使用命令行调用Job
Pan(盘子)：利用Pan可以用命令行的形式调用Trans
Carte(菜单)：Carte是一个轻量级的Web容器，用于建立专用、远程的ETL Server。
现在Kettle已经改名为pdi-ce，但是大家还是习惯叫Kettle。本文采用的Kettle版本是pdi-ce-8.3.0.0-371
二、下载并配置相关环境变量和创建表
kettle官网可以下载，由于文件有1个多G，可能比较慢。因此我把它上传到网盘供大家下载。
链接: https://pan.baidu.com/s/1_VaZmYfSxyWQePL18Wp3gQ
提取码: 4uvm
因为Kettle是基于Java的需要安装JDK并配置环境变量。JDK环境变量配置方法这里就不赘述了。
下面是JDK1.8的网盘地址：
链接: https://pan.baidu.com/s/1Yvn0BY8zJZq0WJSvZ2FiZA
提取码: rdas
下面为了测试方便，采用单机同库不同表演示。
原表：lh_local_news(数据源)
表结构：
新表：target_news(数据接收表)
表结构：
三、启动Spoon
windows下需要运行Spoon.bat，linux下运行Spoon.sh：
如果你的机器配置不高比如内存不够，可能启动会比较慢，成功启动后会出现图形化界面：
双击主对象中的转换：
会出现转换相关的选项：
当你遇到启动不出现图形界面，可能有以下原因：
1、路径有中文
2、内存不足
3、环境变量没有设置对
四、配置一个输入
我们创建一个表输入，单击或者拖动“表输入”到右边。这时有边会多一个“表输入”如下图：
双击这个新添加的“表输入”，出现以下配置选项：
可以看到上面数据库连接为空，我们要新建一个连接。点“新建”：
配置完后需要测试一下，可能会出现以下错误提示，是由于没有添加mysql的jar驱动。
错误连接数据库 [localhost_lanhu_portal_simple] : org.pentaho.di.core.exception.KettleDatabaseException:
Error occurred while trying to connect to the database
Driver class 'org.gjt.mm.mysql.Driver' could not be found, make sure the 'MySQL' driver (jar file) is installed.
org.gjt.mm.mysql.Driver
org.pentaho.di.core.exception.KettleDatabaseException:
Error occurred while trying to connect to the database
Driver class 'org.gjt.mm.mysql.Driver' could not be found, make sure the 'MySQL' driver (jar file) is installed.
org.gjt.mm.mysql.Driver
解决：下载对应mysql数据库版本的java驱动，并拷贝到kettle所在的data-integration\lib目录下，重启spoon。
注意：一定要复制对应的数据库版本，还要重启spoon。不然还是要报错。
我数据库的版本为：Server version: 5.7.23，驱动用了mysql-connector-java-5.1.47才行，甚至5.1.48都不行。
最后在sql输入框中输入查在来源表中获取数据的sql。
五、配置一个输出
在输出里面，拖动一个“插入/更新”到右边，选中输入，然后按着“shift”拖动到“插入/更新”
并双击“插入/更新”：
目标表选择新表target_news。查询的关键字是条件，是用来判断是插入还是更新用的，下面是要更新的字段。
注意：表字段是目标表的字段。主键id更新要选择N，不更新主键，不然会报错。
最后运行，并保存个转换为文件，demo.ktr。
六、创建Job
上面的配置的输入和输出(插入/更新)，就是数据转换规则。下面需要创建一个job来运行这个转换。
双击“作业”，然后在“通用"里面先拖动一个"start"
双击设置属性
上面的把间隔设置成本每20秒执行一次。确定后再拖一个”转换“出来如下图：
接下来把Start和转换连接起来，选中Start，shift拖动线。
然后双击”转换“设置属性如下图：
Transformation选择上面的的转换规则文件。
最后运行，并保存个转换为文件，demo.kjb。
七、运行
点击小三角运行job看效果。注意原来表target_news是空表。
运行成功后可以看到数据已经成功同步过来了。
如果要测试更新或增量同步。可以在原表插入表条记录或修改一条记录，等20秒左右就能在target_news中找到对应的记录。
八、通过脚本运行
除了通过上面的Spoon工具来运行转换或脚本也可以通过脚本来运行，这样不用启动图形化，性能和速度会一些。
比如cmd命令下。
运行转换：
D:\pdi-ce-8.3.0.0-371\data-integration>Pan.bat /file=D:\pdi-ce-8.3.0.0-371\data-integration\demo\demo.ktr
运行job：
ps：其实运行job会隐式的运行转换，因为一般job里面都会添加转换。也就是Kitchen里面包含了Pan的调用。
