模型预测效果评价，通常用相对/绝对误差、平均绝对误差、均方误差、均方根误差等指标来衡量。

1）绝对误差与相对误差
设 相对误差的平均python sklearn 相对误差和平均误差_拟合 表示实际值，相对误差的平均python sklearn 相对误差和平均误差_MSE_02 表示预测值，则称 相对误差的平均python sklearn 相对误差和平均误差_分类与预测算法评价_03


相对误差的平均python sklearn 相对误差和平均误差_分类与预测算法评价_04

相对误差的平均python sklearn 相对误差和平均误差_拟合_05


相对误差的平均python sklearn 相对误差和平均误差_拟合_06

有时相对误差也用百分数表示。


相对误差的平均python sklearn 相对误差和平均误差_方差_07

以上是一种直观的误差表示方法。


2）平均绝对误差（MeanAbsoluteError, MAE）：



相对误差的平均python sklearn 相对误差和平均误差_MSE_08

相对误差的平均python sklearn 相对误差和平均误差_方差_09：平均绝对误差。
相对误差的平均python sklearn 相对误差和平均误差_拟合_10：第 相对误差的平均python sklearn 相对误差和平均误差_拟合_11 个实际值与预测值的绝对误差。
相对误差的平均python sklearn 相对误差和平均误差_分类与预测算法评价_12：第 相对误差的平均python sklearn 相对误差和平均误差_拟合_11 个实际值。
相对误差的平均python sklearn 相对误差和平均误差_拟合_14：第 相对误差的平均python sklearn 相对误差和平均误差_拟合_11

3）均方误差（Mean Squared Error, MSE）：



相对误差的平均python sklearn 相对误差和平均误差_分类与预测算法评价_16

均方差用于还原平方失真度，它避免了正负误差不能相加的问题。由于对误差 相对误差的平均python sklearn 相对误差和平均误差_分类与预测算法评价_03

4）均方根误差（Root Mean Squared Error，RMSE）：



相对误差的平均python sklearn 相对误差和平均误差_方差_18

均方误差的平方根，代表了预测值的离散程度。最佳拟合情况为 相对误差的平均python sklearn 相对误差和平均误差_MSE_19。

5）平均绝对百分误差（Mean Absolute Percentage Error, MAPE）：



相对误差的平均python sklearn 相对误差和平均误差_拟合_20

一般认为 相对误差的平均python sklearn 相对误差和平均误差_拟合_21

6） Kappa 统计
Kappa 统计是比较两个或多个观测者对同一事物，或观测者对同一事物的两次或多次观测结果是否一致，以由于机遇造成的一致性和实际观测的一致性之间的差别大小作为评价基础的统计指标。
Kappa 取值在 相对误差的平均python sklearn 相对误差和平均误差_分类与预测算法评价_22 之间，其值大小均有不同意义。
Kappa = +1 说明两次判断的结果完全一致。
Kappa = -1 说明两次判断的结果完全不一致。
Kappa =0 说明两次判断的结果是机遇造成的。
Kappa < 0 说明一致程度比机遇造成的还差，两次检查结果很不一致，在实际应用中无意义。
Kappa >0 此时说明有意义，Kappa 越大，说明一致性越好。
Kappa >=0.75 说明已经取得相当满意的一致程度。
Kappa < 0.4 说明一致程度不够。

7）识别准确度（Accuracy）：


相对误差的平均python sklearn 相对误差和平均误差_MSE_23

相对误差的平均python sklearn 相对误差和平均误差_方差_24：正确的肯定表示正确肯定的分类数。
相对误差的平均python sklearn 相对误差和平均误差_MSE_25：正确的否定表示正确否定的分类数。
相对误差的平均python sklearn 相对误差和平均误差_分类与预测算法评价_26：错误的肯定表示错误肯定的分类数。
相对误差的平均python sklearn 相对误差和平均误差_拟合_27：错误的否定表示错误否定的分类数。

8）识别精确率（Precision）：


相对误差的平均python sklearn 相对误差和平均误差_方差_28

9）反馈率（Recall）：


相对误差的平均python sklearn 相对误差和平均误差_分类与预测算法评价_29

10）ROC 曲线（受试者工作特性，Receiver Operating CHaracteristic）
将灵敏度（Sensitivity）设在纵轴，1-特异性（1-Specificity）设在横轴，就可得出ROC曲线图。该曲线下的积分面积（Area）大小与每种方法优劣密切相关，反映分类器正确分类的统计概率，其值越接近 1 说明该算法效果越好。



相对误差的平均python sklearn 相对误差和平均误差_MSE_30


11）混淆矩阵（Confusion Matrix）：
混淆矩阵是模式识别领域中一种常用的表达形式。他描绘样本数据的真实属性与识别结果类型之间的关系，是评价分类器性能的一种常用方法。假设对于 相对误差的平均python sklearn 相对误差和平均误差_拟合_31 类模式的分类任务，识别数据集 相对误差的平均python sklearn 相对误差和平均误差_拟合_32 包括 相对误差的平均python sklearn 相对误差和平均误差_方差_33 个样本，每类模式分别含有 相对误差的平均python sklearn 相对误差和平均误差_方差_34 个数据相对误差的平均python sklearn 相对误差和平均误差_分类与预测算法评价_35。采用某种识别算法构造分类器 相对误差的平均python sklearn 相对误差和平均误差_分类与预测算法评价_36，相对误差的平均python sklearn 相对误差和平均误差_拟合_37 表示第 相对误差的平均python sklearn 相对误差和平均误差_拟合_11 类模式被分类器 相对误差的平均python sklearn 相对误差和平均误差_分类与预测算法评价_36 判断成第 相对误差的平均python sklearn 相对误差和平均误差_分类与预测算法评价_40 类模式的数据占第 相对误差的平均python sklearn 相对误差和平均误差_拟合_11 类模式样本总数的百分率，则可得到 相对误差的平均python sklearn 相对误差和平均误差_分类与预测算法评价_42 维混淆矩阵 相对误差的平均python sklearn 相对误差和平均误差_方差_43。



相对误差的平均python sklearn 相对误差和平均误差_拟合_44

混淆矩阵中元素的行下标对应目标的真实属性，列下标对应分类器产生的识别属性。对角线元素表示各模式能够被分类器 相对误差的平均python sklearn 相对误差和平均误差_分类与预测算法评价_36 正确识别的百分率，而非对角线元素则表示发生错误判断的百分率。
通过混淆矩阵，可以获得分类器的正确识别率和错误识别率。
各模式正确识别率：


相对误差的平均python sklearn 相对误差和平均误差_拟合_46

相对误差的平均python sklearn 相对误差和平均误差_分类与预测算法评价_47

平均正确识别率：


相对误差的平均python sklearn 相对误差和平均误差_MSE_48

各模式错误识别率：


相对误差的平均python sklearn 相对误差和平均误差_拟合_49

平均错误识别率：


相对误差的平均python sklearn 相对误差和平均误差_MSE_50

对于一个二分类预测模型，分类结束后的混淆矩阵如下：



相对误差的平均python sklearn 相对误差和平均误差_MSE_51


如有 相对误差的平均python sklearn 相对误差和平均误差_方差_52 个样本数据，这些数据分成 相对误差的平均python sklearn 相对误差和平均误差_MSE_53



相对误差的平均python sklearn 相对误差和平均误差_拟合_54


第 相对误差的平均python sklearn 相对误差和平均误差_分类与预测算法评价_55 行数据说明有 相对误差的平均python sklearn 相对误差和平均误差_分类与预测算法评价_56 个样本正确分类，有 相对误差的平均python sklearn 相对误差和平均误差_拟合_57 个样本应该属于第 相对误差的平均python sklearn 相对误差和平均误差_分类与预测算法评价_55 类，却错误分到了第二类，有 相对误差的平均python sklearn 相对误差和平均误差_方差_59

分类预测模型特点

相对误差的平均python sklearn 相对误差和平均误差_分类与预测算法评价_60

不管是在 Scikit-Learn 还在 Kersa 中，建模的第一个步骤就是建立一个对象买这个对象是空白的，需要进一步训练的，然后我们要设置模型参数，接着就是通过 **fit( )方法对模型进行训练，最后通过 predict( ) 方法预测结果。当然，还有一些方法有助于我们完成对模型的评估，如score( )**等。