标准化方法 机器学习 简述标准化方法原理

1 什么是数据标准化（Normalization）

将数据按比例缩放，使之落入一个小的特定区间。在某些比较和评价的指标处理中经常会用到，去除数据的单位限制，将其转化为无量纲的纯数值，便于不同单位或量级的指标能够进行比较和加权。

2 常用的标准化方法

2.1：规范化方法

也叫离差标准化，是对原始数据的线性变换，使结果落到[0,1]区间，转换函数如下:

其中max为样本数据的最大值，min为样本数据的最小值。

这种方法有一个缺陷就是当有新数据加入时，可能导致max和min的变化，需要重新定义。

2.2：正规化方法

这种方法基于原始数据的均值（mean）和标准差（standard deviation）进行数据的标准化。将A的原始值x使用z-score标准化到x’。

z-score标准化方法适用于属性A的最大值和最小值未知的情况，或有超出取值范围的离群数据的情况。

spss默认的标准化方法就是z-score标准化。

用Excel进行z-score标准化的方法：在Excel中没有现成的函数，需要自己分步计算，其实标准化的公式很简单。

步骤如下：

1.求出各变量（指标）的算术平均值（数学期望）xi和标准差si ；

2.进行标准化处理：

zij=（xij－xi）/si

其中：zij为标准化后的变量值；xij为实际变量值。

3.将逆指标前的正负号对调。

标准化后的变量值围绕0上下波动，大于0说明高于平均水平，小于0说明低于平均水平。

2.3： 归一化方法

2.4 ：log函数转换

通过以10为底的log函数转换的方法同样可以实现归一下，具体方法看了下网上很多介绍都是x=log10(x)，其实是有问题的，这个结果并非一定落到[0,1]区间上，应该还要除以log10(max)*，max为样本数据最大值，并且所有的数据都要大于等于1。