数据挖掘中,面对的通常都是大型的数据库,它的属性有几十个甚至几百个,因为其中某个属性值的缺失而放弃大量其他的属性值,这种删除是对信息的极大浪费,所以产生了插补缺失值的思想与方法。常用的填充缺失值方法如下。

缺失值填补使用knnimputation时出现报错 缺失值填补案例_etl工程师

案例介绍

 通过Kettle工具,使用平均值填充法对文件people_survey.txt中的缺失值进行填充。

现在有一份社会人员调查信息的数据文件people_survey.txt,由于某种原因,在数据采集的过程中产生了大量的缺失值,文件people_survey.txt的具体内容如图所示。

 

缺失值填补使用knnimputation时出现报错 缺失值填补案例_数据库_02

通过使用Kettle工具,创建一个转换fill_missing_value,并添加“文本文件输入”控件、“过滤记录”控件、“空操作(什么也不做)”控件、“替换NULL值”控件、“合并记录”控件、“字段选择”控件以及Hop跳连接线。

缺失值填补使用knnimputation时出现报错 缺失值填补案例_控件_03

双击“文本文件输入”控件

进入“文本文件输入”配置界面。

单击【浏览】按钮,选择要去除缺失值的文件people_survey.txt;单击【增加】按钮,将要去除缺失值的文件people_survey.txt添加到“文本文件输入”控件中。

单击“内容”选项卡;在清除分隔符处的默认分隔符“;”,单击【Insert TAB】按钮,在分隔符处插入一个制表符;取消勾选“头部”复选框,若不取消,在进行数据抽取操作时会排除文件第一行的数据。

单击“字段”选项卡;根据文件people_survey.txt文件的内容添加对应的字段名称,并指定数据类型。

单击【预览记录】按钮,查看文件people_survey.txt的数据是否成功抽取到文本文件输入流中。

缺失值填补使用knnimputation时出现报错 缺失值填补案例_etl工程师_04

 双击“过滤记录”控件

进入“过滤记录”配置界面。

在“条件”处设置过滤的条件,由于从“预览数据”图中可以看出字段userid为000016用户的hours_per_week(即每周工作时间字段)存在缺失值,而它的workclass字段值为Private,因此我们可以将过滤字段设置为workclass、过滤值设置为Private作为过滤条件。

在“发送true数据给步骤:”下拉框中选择“空操作”,将workclass字段值为Private的数据放在“空操作”控件中;在“发送false数据给步骤:”下拉框中选择“空操作(什么也不做)2”,将workclass字段值不为Private的数据放在“空操作(什么也不做)2”控件中。

 

缺失值填补使用knnimputation时出现报错 缺失值填补案例_字段_05

 双击“替换NULL值”控件,进入“替换NULL值”配置界面。

缺失值填补使用knnimputation时出现报错 缺失值填补案例_etl_06

 配置替换NULL值控件

 勾选“选择字段”处的复选框,并在“字段”框添加字段为hours_per_week,值替换为44(44是字段为hours_per_week中所有值相加求的均值,这里指用44替换字段hours_per_week中的NULL值)。

在“旧数据源:”下拉框选择“替换NULL值”,“新数据源:”下拉框选择“空操作(什么也不做)2”;在“匹配的关键字:”部分,添加关键字段,即userid。

缺失值填补使用knnimputation时出现报错 缺失值填补案例_数据库_07

配置替换NULL值2控件

 勾选“选择字段”处的复选框,并在“字段”框添加字段为workclass,值替换为Private(这里用Private替换字段workclass中的NULL值)。

缺失值填补使用knnimputation时出现报错 缺失值填补案例_etl_08

 配置字段选择控件

 双击“字段选择”控件,进入“选择/改名值”配置界面。

在“移除”选项卡处添加要移除的字段名称,这里移除的是字段flagfield。

缺失值填补使用knnimputation时出现报错 缺失值填补案例_etl工程师_09

 单击转换工作区顶部的运行按钮,运行创建的fill_missing_value转换。

缺失值填补使用knnimputation时出现报错 缺失值填补案例_字段_10

 查看文件people_survey.txt中的缺失值是否已填充

单击图5-79中的“字段选择”控件,再单击执行结果窗口的“Preview data”选项卡,查看是否填充了文件people_survey.txt中的缺失值。

缺失值填补使用knnimputation时出现报错 缺失值填补案例_字段_11

 至此,我们完成了填充缺失值。