说到AUC,大家可能都会说到一两点,AUC的全称是 area under the curve,即曲线下的面积, 通常这里的曲线指的是受试者操作曲线(Receiver operating characteristic, ROC)。实际的模型的ROC曲线则是一条上凸的曲线,介于随机和理想的ROC曲线之间。而ROC曲线下的面积,即为AUC的表达式:
来自网络,ROC曲线 其中TRP和FPR的定义如下所示:
注意:相比于准确率、召回率、F1值等依赖于判决阈值的评估指标,AUC则没有这个问题。AUC常用在排序场景的模型评估,比如搜索和推荐等场景中。
说到今天为啥AUC对正负样本比例不敏感,主要是:AUC可以看做随机从正负样本中选取一对正负样本,其中正样本的得分大于负样本的概率!这个结论很容易证明,考虑随机取得这对正负样本中,负样本得分在 之间的概率为
如果Δt很小,那么该正样本得分大于该负样本的概率为:
所以有如下:
注意积分区间, 对应ROC图像最右上角的点,而 对应ROC图像最左下角的点。所以,计算面积是 。可以看出,积分项里面实际上是这样一个事件的概率:随机取一对正负样本,负样本得分为t且正样本大于t! 因此,对这个概率微元积分就可以到正样本得分大于负样本的概率!
参考文献:
深入理解AUC 机器学习之分类器性能指标之ROC曲线、AUC值 - dzl_ML - 博客园