(一)、数据颗粒度转换
业务系统一般存储非常明细的数据,而数据仓库中数据是用来分析的,不需要非常明细的数据。一般情况下,会将业务系统数据按照数据仓库粒度进行聚合,这个过程就被称为数据粒度的转换。例如,将城市转换成省份或者直辖市。
步骤
一、转换generalization
1.打开Kettle工具,新建转换使用Kettle工具,创建一个转换generalization,添加文本文件输入控件、表输入控件、字段选择控件、排序记录控件、记录集连接控件、表输出控件以及Hop跳连接线。
(2)配置文本文件输入控件
2、“文本文件输入”控件,进入“文本文件输入”界面,单击【浏览】按钮,选择要抽取personnel_data.txt文件;单击【增加】按钮,将要抽取的personnel_data.txt文件添加到generalization转换中。
3、单击“内容”选项卡,在分隔符处清除默认分隔符“;”,单击【Insert TAB】按钮,在分隔符处插入一个制表符;取消勾选“头部”复选框。
4、 单击“字段”选项卡,根据personnel_data.txt文件的内容添加对应的字段名称,并指定数据类型。
5、 “字段选择”控件,进入“选择/改名值”界面,在“选择和修改”选项卡处添加字段名称。
6、 “排序记录”控件,进入“排序记录”界面,并在“字段”框中添加字段household_register,对其进行排序。
7、 进入“表输入”界面,单击【新建】按钮,配置数据库连接,配置完成后单击【确认】按钮。MySQL数据库连接的配置。
8、 在图中的SQL框中编写SQL语句,用于查询city数据表(注:该表需提前创建,读者执行本书提供的data.sql脚本文件可生成city数据表)中字段city和pid的数据,用于与personnel_data.txt文件中household_register字段进行合并连接。
9、进入“排序记录”界面,在“字段”框中添加字段city,并对其进行排序。
10、 “记录集连接”控件,进入“合并排序”界面,在“第一个步骤”处的下拉框中选择“排序记录”,“第二个步骤”处的下拉框中选择“排序记录2”;在“第一个步骤的连接字段”和“第二个步骤的连接字段”处添加连接字段,这里添加的连接字段是household_register和city;在“连接类型”处的下拉框选择连接类型,这里选择的LEFT OUTER,即左外连接
11、“字段选择2”控件,进入“选择/改名值”界面,在“选择和修改”选项卡处添加字段名称,这里添加的是记录集连接流中的字段household_register和pid
12、 “排序记录 3”控件,进入“排序记录”界面,在“字段”框中添加字段pid,并对其进行排序
13、 进入“表输入2”界面,单击【新建】按钮,配置数据库连接,配置完成后单击【确认】按钮。MySQL数据库连接的配置
在图中的SQL框中编写SQL语句,用于查询provincial数据表(注:该表需提前创建,读者执行本书提供的data.sql脚本文件可生成provincial数据表)中字段Provincial和pid的数据,用于与household_register字段进行合并连接
15、“排序记录 4”控件,进入“排序记录”界面,在“字段”框中添加字段pid,并对其进行排序
16、“记录集连接2”控件,进入“合并排序”界面,在“第一个步骤”处的下拉框中选择“排序记录3”,“第二个步骤”处的下拉框中选择“排序记录4”;在“第一个步骤的连接字段”和“第二个步骤的连接字段”处添加连接字段,这里添加的连接字段是pid;在“连接类型”处的下拉框选择连接类型,这里选择的LEFT OUTER,即左外连接
“字段选择3”控件,进入“选择/改名值”界面,在“选择和修改”选项卡处添加字段名称,这里添加的是记录集连接2流中的字段household_register和Provincial
18、进入“表输出”配置界面,如图6-20所示。单击【新建】按钮,配置数据库连接,配置完成后单击【确认】按钮。MySQL数据库连接的配置
19、单击目标表右侧的【浏览】按钮,选择输出的目标表,即临时数据表personnel;勾选“指定数据库字段”的复选框
20、 单击【输入字段映射】按钮,弹出“映射匹配”对话框,依次选中“源字段”选项框的字段和“目标字段”选项框的字段,再单击【Add】按钮,将一对映射字段添加至“映射”选项框中,若“源字段”选项框的字段和“目标字段”选项框的字段相同,则可以单击【猜一猜】按钮,让Kettle自动实现映射
21、 单击映射匹配对话框的【确定】按钮,“表输出”界面最终显示的效果如图8-24所示,单击【确定】按钮,完成“表输出”控件的配置。
转换generalization_merge
22、使用Kettle工具,创建一个转换generalization_merge,并添加表输入控件、字段选择控件、排序记录控件、记录集连接控件、文本文件输出控件以及Hop跳连接线
23、单击【新建】按钮,配置数据库连接,配置完成后单击【确认】按钮。 在图中的SQL框中编写SQL语句,用于查询数据表personnel中的数据
“字段选择”控件,进入“选择/改名值”界面,在“选择和修改”选项卡处添加字段名称
25、 “排序记录”控件,进入“排序记录”界面,并在“字段”框中添加字段id,对其进行排序
单击【增加】按钮,将要抽取的personnel_data.txt文件添加到generalization_merge转换中
单击“内容”选项卡,在分隔符处清除默认分隔符“;”,单击【Insert TAB】按钮,在分隔符处插入一个制表符;取消勾选“头部”复选框。
28、单击“内容”选项卡,在分隔符处清除默认分隔符“;”,单击【Insert TAB】按钮,在分隔符处插入一个制表符;取消勾选“头部”复选框。
29、单击“字段”选项卡,根据文本文件personnel_data.txt的内容添加对应的字段名称,并指定数据类型。
“排序记录”控件,进入“排序记录”界面,并在“字段”框中添加字段id,对其进行排序
31、 “记录集连接”控件,进入“合并排序”界面,在“第一个步骤”处的下拉框中选择“排序记录”,“第二个步骤”处的下拉框中选择“排序记录2”;在“第一个步骤的连接字段”和“第二个步骤的连接字段”处添加连接字段,这里添加的连接字段是id;在“连接类型”处的下拉框选择连接类型,这里选择的LEFT OUTER,即左外连接
32、 “字段选择3”控件,进入“字段选择”界面,在“选择和修改”选项卡处添加字段名称,并将字段household_register_new改为household_register
33、文本文件输出”控件,进入“文本文件输出”界面,单击“文件名称”右侧的【浏览】按钮,选择输出文件,即文本文件personnel_data_new,如图6-38所示;单击“内容”选项卡,进入“内容”界面,清除分隔符处的默认分隔符,单击【插入Tab】按钮,插入Tab分隔符。并在编码处的下拉框选择“UTF-8”编码
34、单击“字段”选项卡,进入“字段”界面,添加要输出的字段
三、新建作业
35、使用Kettle工具,创建一个作业generalization,并添加Start控件、转换控件、成功控件以及Hop作业项连接线
36、“转换”控件,进入“转换”界面,单击“Transformations”处的【浏览】按钮,选择添加转换
37、 “转换2”控件,进入“转换”界面,单击“Transformations”处的【浏览】按钮,选择添加转换generalization_merge
38、运行作业generalization
39、查看文本文件personnel_data_new.txt中的数据
(二)、商务规则计算
不同的企业,有着不同的业务规则和数据指标,这些指标应该计算完存储到数据仓库中,供企业决策者进行分析,从而得出战略性的企业决策。例如,A公司和B公司的总公司想要得知各省份的手机日销售额,这就属于一个商务规则。
1、使用Kettle工具,创建一个转换monthly_salary,并添加文本文件输入控件、增加常量控件、计算器控件、文本文件输出控件以及Hop跳连接线
单击【增加】按钮,将要抽取的personnel_data_new.txt文件添加到转换monthly_salary中。
3、 单击“内容”选项卡,在分隔符处清除默认分隔符“;”,单击【Insert TAB】按钮,在分隔符处插入一个制表符。
单击“字段”选项卡,根据personnel_data_new.txt文件的内容添加对应的字段名称,并指定数据类型。“字段”选项卡的配置
5、 “增加常量”控件,进入“增加常量”界面,在字段框中添加一个字段days,并给定一个值22。增加常量控件的配置
中添加一个字段monthly_salary,用于存储月薪,该字段是由字段days和salary进行相乘所得。计算器控件的配置
7、 “文本文件输出”控件,进入“文本文件输出”界面,单击“文件名称”右侧的【浏览】按钮,选择输出文件,即文本文件personnel_data_monthly_salary,如图6-52所示;单击“内容”选项卡,进入“内容”界面,清除分隔符处的默认分隔符,单击【插入Tab】按钮,插入Tab分隔符,并在编码处的下拉框选择“UTF-8”编码,如图6-53所示;单击“字段”选项卡,进入“字段”界面,添加要输出的字段
8、运行转换monthly_salary,实现将文本文件personnel_data_new.txt中字段为salary的数据进行商务规则计算,即计算每个人的月薪(以22天工作日计算),最终输出到文本文件personnel_data_monthly_salary.txt中。通过文本编辑器工具,查看文本文件personnel_data_monthly_salary.txt中的数据,查看结果如图6-56所示。
摘自《数据清洗》黑马程序员