目录
- 1. 混淆矩阵(Confusion Matrix)
- 1.1 二分类混淆矩阵
- 1.2 三分类混淆矩阵
- 2. 分类精度评价指标
1. 混淆矩阵(Confusion Matrix)
在机器学习领域,混淆矩阵(Confusion Matrix),又称为可能性矩阵或错误矩阵。混淆矩阵是可视化工具,特别用于监督学习,在无监督学习一般叫做匹配矩阵。在图像精度评价中,主要用于比较分类结果和实际测得值,可以把分类结果的精度显示在一个混淆矩阵里面。(有个问题,他是不是对每个像素分类哇?)
混淆矩阵要表达的含义:
- 每一列代表了预测类别,每一列的总数表示预测为该类别的数据的数目;
- 每一行代表了数据的真实归属类别(真实标签),每一行的数据总数表示该类别的数据实例的数目;每一列中的数值表示真实数据被预测为该类的数目。
1.1 二分类混淆矩阵
混淆矩阵的结构一般如下图表示的方法(以二分类为例):
(“正负”是从预测结果出发的)
True Positive(TP):真正类。样本的真实类别是正类,并且模型识别的结果也是正类。
False Negative(FN):假负类。样本的真实类别是正类,但是模型将其识别为负类。
False Positive(FP):假正类。样本的真实类别是负类,但是模型将其识别为正类。
True Negative(TN):真负类。样本的真实类别是负类,并且模型将其识别为负类。
该矩阵可用于易于理解的二类分类问题,但通过向混淆矩阵添加更多行和列,可轻松应用于具有3个或更多类值的问题。(当是多类别时,对称轴上的数据比较重要,∵以单个类看的话,对称轴上交叉的位置就是TP真正类)
1.2 三分类混淆矩阵
如有150个样本数据,预测为类I,类II,类III 各为50个。分类结束后得到的混淆矩阵为:
- 每一行之和:表示该类真实样本数量
- 每一列之和:表示被预测为该类的样本数量
对第一行进行解析(由第一行之和能得出,类I的真实样本数量为43+2=45
):
- 第一行第一列的43表示:有43个样本被正确分类为类I
- 第一行第二列的2表示:有2个样本被错误分类为类I
混淆矩阵是对分类问题的预测结果的总结。使用计数值汇总正确和不正确预测的数量,并按每个类进行细分,这是混淆矩阵的关键所在。混淆矩阵显示了分类模型的在进行预测时会对哪一部分产生混淆。它不仅可以让您了解分类模型所犯的错误,更重要的是可以了解哪些错误类型正在发生。正是这种对结果的分解克服了仅使用分类准确率所带来的局限性。
2. 分类精度评价指标
从混淆矩阵当中,可以得到更高级的分类指标:Accuracy(精确率),Precision(正确率或者准确率),Recall(召回率),Specificity(特异性),Sensitivity(灵敏度)。
召回率(recall),也称真阳性率(true positive rate,TPR),灵敏度,查全率。(实际正样本中被预测为正的概率,横着看)
精确度(precision)也称精度,查准率,阳性预测值(positive predictive value, PPV)。(预测为正样本中被预测为正的概率,竖着看)
Dice 相似系数也称 F1 分数(F1-Score),描述的是召回率与精确度之间的关系,公式为:
或
F1 是一个特殊值,其更一般的表示为 F-Score或 F-Measure:
其中α为对TPR与PPV的加权求和。召回率与精确度一样重要时,令α=1,即为;当认为精确度重要时,令α<1;反之认为召回率重要些时,则令α>1。