精确率与召回率,ROC曲线与PR曲线
创始人
2024-05-28 18:36:45
0

精确率与召回率,ROC曲线与PR曲线

在机器学习的算法评估中,尤其是分类算法评估中,我们经常听到精确率(precision)与召回率(recall),ROC曲线与PR曲线这些概念,那这些概念到底有什么用处呢?

首先,我们需要搞清楚几个概念:

1. TP, FP, TN, FN

  1. True Positives,TP:预测为正样本,实际也为正样本的特征数
  2. False Positives,FP:预测为正样本,实际为负样本的特征数
  3. True Negatives,TN:预测为负样本,实际也为负样本的特征数
  4. False Negatives,FN:预测为负样本,实际为正样本的特征数

听起来还是很费劲,不过我们用一张图就很容易理解了。图如下所示,里面绿色的半圆就是TP(True Positives), 红色的半圆就是FP(False Positives), 左边的灰色长方形(不包括绿色半圆),就是FN(False Negatives)。右边的 浅灰色长方形(不包括红色半圆),就是TN(True Negatives)。这个绿色和红色组成的圆内代表我们分类得到模型结果认为是正值的样本。
在这里插入图片描述

2. 精确率(precision),召回率(Recall)与特异性(specificity)

精确率(Precision)的定义在上图可以看出,是绿色半圆除以红色绿色组成的圆。严格的数学定义如下:

P=TP/(TP+FP)

召回率(Recall)的定义也在图上能看出,是绿色半圆除以左边的长方形。严格的数学定义如下:
R=TP/(TP+FN)

特异性(specificity)的定义图上没有直接写明,这里给出,是红色半圆除以右边的长方形。严格的数学定义如下:

S=FP/(FP+TN)

有时也用一个F1值来综合评估精确率和召回率,它是精确率和召回率的调和均值。当精确率和召回率都高时,F1值也会高。严格的数学定义如下:

2/F1=1/P+1/R

有时候我们对精确率和召回率并不是一视同仁,比如有时候我们更加重视精确率。我们用一个参数ββ来度量两者之间的关系。如果β>1, 召回率有更大影响,如果β<1,精确率有更大影响。
自然,当β=1的时候,精确率和召回率影响力相同,和F1形式一样。含有度量参数β的F1我们记为FβF_\betaFβ​, 严格的数学定义如下:

Fβ=1+β2∗P∗Rβ2∗P+RF_\beta=\frac {1+\beta^2*P*R}{\beta^2*P+R}Fβ​=β2∗P+R1+β2∗P∗R​

我们熟悉了精确率, 召回率和特异性,后面的ROC曲线和PR曲线就好了解了。

3. ROC曲线和PR曲线

有了上面精确率, 召回率和特异性的基础,理解ROC曲线和PR曲线就小菜一碟了。

以召回率为y轴,以特异性为x轴,我们就直接得到了ROC曲线。从召回率和特异性的定义可以理解,召回率越高,特异性越小,我们的模型和算法就越高效。也就是画出来的ROC曲线越靠近左上越好。如下图左图所示。从几何的角度讲,ROC曲线下方的面积越大越大,则模型越优。所以有时候我们用ROC曲线下的面积,即AUC(Area Under Curve)值来作为算法和模型好坏的标准。

在这里插入图片描述

以精确率为y轴,以召回率为x轴,我们就得到了PR曲线。仍然从精确率和召回率的定义可以理解,精确率越高,召回率越高,我们的模型和算法就越高效。也就是画出来的PR曲线越靠近右上越好。如上图右图所示。

使用ROC曲线和PR曲线,我们就能很方便的评估我们的模型的分类能力的优劣了。

相关内容

热门资讯

激活桥下空间 引燃乡村“夜经济... 转自:衢州日报  7月5日晚,常山县招贤镇山底村立交桥下人声鼎沸,各种运动和游乐设施吸引四邻八乡的村...
百年禁令解除!巴黎人跳进塞纳河... 转自:千龙网新华社北京7月5日电 当地时间5日早上8时,几十名巴黎市民在救生员的注视下跃入塞纳河,在...
加盟店排小本加盟(加盟店小生意... 根据边肖的最新调查,一些企业家属于小企业家,他们专注于快餐店。说到这里,哪家快餐店适合小企业加盟?对...
每人每航段多支付10元 转自:成都日报锦观国内航线燃油附加费上调每人每航段多支付10元 本报讯 (成都日报锦观新闻记者...
全球市值实时排名(世界上市值最... 普华永道根据2020年3月31日全球上市公司市值排名“2020年全球百强公司”。2019年3月底至2...
中国人民抗日战争纪念馆将恢复开... 转自:成都日报锦观中国人民抗日战争纪念馆将恢复开放实行免费免预约参观 新华社北京7月5日电(记...
正规贷款20万谁有办法(个人想...  近日网友“芦涛”问政:对个体工商户贷款有什么优惠政策吗?需要什么条件?之前听说有无息政策。贷款条款...
伊美法院构建“法润青禾”守护未... 转自:法治日报□ 本报记者  张冲□ 本报通讯员 刘云奇  未成年人司法保护是法院参与社会治理、彰显...
当兵创业贷款,国家对退伍军人创... 最近,各地出台了一系列退役军人优惠政策。今天,强军哥带你了解陕西省.退役军人的就业和创业政策加大就业...
纪念抗战胜利80周年,解放日报... 转自:上观新闻今年是中国人民抗日战争暨世界反法西斯战争胜利80周年。明天(7月7日)起,解放日报社“...