二分类模型
混淆矩阵(Confusion Matrix):表示模型预测结果与真实结果的对比情况。
二分类模型中,Accuracy,Precision,Recall和F1 score的定义如下:
Precision着重评估在预测为Positive的所有数据中,真实Positve的数据到底占多少?
Recall着重评估:在所有的Positive数据中,到底有多少数据被成功预测为Positive?
多分类模型
在混淆矩阵中,正确的分类样本(Actual label = Predicted label)分布在左上到右下的对角线上。其中,Accuracy的定义为分类正确(对角线上)的样本数与总样本数的比值。
Accuracy度量的是全局样本预测情况。
Precision和Recall而言,每个类都需要单独计算其Precision和Recall。
若想评估该识别系统的总体功能,必须考虑三个类别的综合预测性能,
对于Precision和Recall而言,通常来说有如下几种解决方案(也可参考scikit-learn官网):
1. Macro-average宏平均
该方法最简单,直接将不同类别的评估指标(Precision/ Recall/ F1-score)加起来求平均,给所有类别相同的权重。该方法能够平等看待每个类别,但是它的值会受稀有类别影响。
2. Weighted-average方法
该方法给不同类别不同权重(权重根据该类别的真实分布比例确定),每个类别乘权重后再进行相加。该方法考虑了类别不平衡情况,它的值更容易受到常见类(majority class)的影响。
3. Micro-average微平均
该方法把多分类问题分解成多个2分类问题:把每个类别的TP, FP, FN先相加之后,在根据二分类的公式进行计算。
可以得到的是:Micro-precision和Micro-recall的数值都等于Accuracy,因为它们计算了对角线样本数和总样本数的比值,总结就是: