二分类模型

使用实验二中多分类的模型定义其激活函数为 ELU_机器学习

混淆矩阵(Confusion Matrix):表示模型预测结果与真实结果的对比情况。

二分类模型中,Accuracy,Precision,Recall和F1 score的定义如下:

使用实验二中多分类的模型定义其激活函数为 ELU_算法_02

Precision着重评估在预测为Positive的所有数据中,真实Positve的数据到底占多少?

Recall着重评估:在所有的Positive数据中,到底有多少数据被成功预测为Positive?

多分类模型

使用实验二中多分类的模型定义其激活函数为 ELU_权重_03

使用实验二中多分类的模型定义其激活函数为 ELU_算法_04

在混淆矩阵中,正确的分类样本(Actual label = Predicted label)分布在左上到右下的对角线上。其中,Accuracy的定义为分类正确(对角线上)的样本数与总样本数的比值。

Accuracy度量的是全局样本预测情况。

Precision和Recall而言,每个类都需要单独计算其Precision和Recall。

若想评估该识别系统的总体功能,必须考虑三个类别的综合预测性能,

对于Precision和Recall而言,通常来说有如下几种解决方案(也可参考scikit-learn官网):

1. Macro-average宏平均

该方法最简单,直接将不同类别的评估指标(Precision/ Recall/ F1-score)加起来求平均,给所有类别相同的权重。该方法能够平等看待每个类别,但是它的值会受稀有类别影响。

使用实验二中多分类的模型定义其激活函数为 ELU_多分类_05

2. Weighted-average方法

该方法给不同类别不同权重(权重根据该类别的真实分布比例确定),每个类别乘权重后再进行相加。该方法考虑了类别不平衡情况,它的值更容易受到常见类(majority class)的影响。

使用实验二中多分类的模型定义其激活函数为 ELU_分类_06

3. Micro-average微平均

该方法把多分类问题分解成多个2分类问题:把每个类别的TP, FP, FN先相加之后,在根据二分类的公式进行计算。

使用实验二中多分类的模型定义其激活函数为 ELU_机器学习_07

可以得到的是:Micro-precision和Micro-recall的数值都等于Accuracy,因为它们计算了对角线样本数和总样本数的比值,总结就是:

使用实验二中多分类的模型定义其激活函数为 ELU_多分类_08