数据分析——数值量纲化

  • 引例
  • 常用方法
  • 标准化(常用)
  • 归一化(常用)
  • 均值化
  • 正向化
  • 逆向化
  • 区间化


引例

我们在进行多维度数据分析的时候,可能会遇到这样的情况:
例如分析某地区银行客户存款结构情况,可能会受到很多潜在因素考虑,例如地区的教育水平、地区的房价水平、人均收入、客户的基本收入情况、客户的家庭情况、地区的综合医疗服务水平等等,那实际上用户存款是100万还是500万和用户家里面有几个老人需要赡养的相关度并没有其他因素的相关度那么高,所以,要把这些数据进行降维、收敛化处理——数值的量纲化处理。

常用方法

这里只列举出方法,具体的应用后期再整理。

标准化(常用)

标准化针对数据进行了压缩处理,使得数据平均值为0,标准差为1。

数据标准化处理使服从标准正态分布python 数据标准化后怎么分析_归一化

归一化(常用)

归一化让所有的数据均压缩在 [0, 1],使数据之间的数理单位保持一致。

数据标准化处理使服从标准正态分布python 数据标准化后怎么分析_数据_02

均值化

以平均值作为单位,全部数据均除以平均值。(必须所有数据都大于0)

数据标准化处理使服从标准正态分布python 数据标准化后怎么分析_归一化_03

正向化

对正向指标保持正向且量纲化,使得数据压缩在[0, 1]。

数据标准化处理使服从标准正态分布python 数据标准化后怎么分析_数据分析_04

逆向化

对逆向指标保持正向且量纲化,使得数据压缩在[0, 1]。

数据标准化处理使服从标准正态分布python 数据标准化后怎么分析_数据分析_05


实际上正向化和逆向化都是归一化都一种。使用场景举例:某商场活动邀请了很多人来免费参加体验活动,后面有一部分人购买了产品(正向化),也有一部分没有购买(逆向化),实际上正向化在这里就是用户转化率,逆向化就是流失率,我们希望正向化越大越好,逆向化越小越好。

区间化

统一量纲,数据区间化。

数据标准化处理使服从标准正态分布python 数据标准化后怎么分析_归一化_06


区间化的方法从高等数学定积分的内容中衍生出来,可以对数据落定区间进行个性化处理。