精确率与召回率,ROC曲线与PR曲线
创始人
2024-05-28 18:36:45
0

精确率与召回率,ROC曲线与PR曲线

在机器学习的算法评估中,尤其是分类算法评估中,我们经常听到精确率(precision)与召回率(recall),ROC曲线与PR曲线这些概念,那这些概念到底有什么用处呢?

首先,我们需要搞清楚几个概念:

1. TP, FP, TN, FN

  1. True Positives,TP:预测为正样本,实际也为正样本的特征数
  2. False Positives,FP:预测为正样本,实际为负样本的特征数
  3. True Negatives,TN:预测为负样本,实际也为负样本的特征数
  4. False Negatives,FN:预测为负样本,实际为正样本的特征数

听起来还是很费劲,不过我们用一张图就很容易理解了。图如下所示,里面绿色的半圆就是TP(True Positives), 红色的半圆就是FP(False Positives), 左边的灰色长方形(不包括绿色半圆),就是FN(False Negatives)。右边的 浅灰色长方形(不包括红色半圆),就是TN(True Negatives)。这个绿色和红色组成的圆内代表我们分类得到模型结果认为是正值的样本。
在这里插入图片描述

2. 精确率(precision),召回率(Recall)与特异性(specificity)

精确率(Precision)的定义在上图可以看出,是绿色半圆除以红色绿色组成的圆。严格的数学定义如下:

P=TP/(TP+FP)

召回率(Recall)的定义也在图上能看出,是绿色半圆除以左边的长方形。严格的数学定义如下:
R=TP/(TP+FN)

特异性(specificity)的定义图上没有直接写明,这里给出,是红色半圆除以右边的长方形。严格的数学定义如下:

S=FP/(FP+TN)

有时也用一个F1值来综合评估精确率和召回率,它是精确率和召回率的调和均值。当精确率和召回率都高时,F1值也会高。严格的数学定义如下:

2/F1=1/P+1/R

有时候我们对精确率和召回率并不是一视同仁,比如有时候我们更加重视精确率。我们用一个参数ββ来度量两者之间的关系。如果β>1, 召回率有更大影响,如果β<1,精确率有更大影响。
自然,当β=1的时候,精确率和召回率影响力相同,和F1形式一样。含有度量参数β的F1我们记为FβF_\betaFβ​, 严格的数学定义如下:

Fβ=1+β2∗P∗Rβ2∗P+RF_\beta=\frac {1+\beta^2*P*R}{\beta^2*P+R}Fβ​=β2∗P+R1+β2∗P∗R​

我们熟悉了精确率, 召回率和特异性,后面的ROC曲线和PR曲线就好了解了。

3. ROC曲线和PR曲线

有了上面精确率, 召回率和特异性的基础,理解ROC曲线和PR曲线就小菜一碟了。

以召回率为y轴,以特异性为x轴,我们就直接得到了ROC曲线。从召回率和特异性的定义可以理解,召回率越高,特异性越小,我们的模型和算法就越高效。也就是画出来的ROC曲线越靠近左上越好。如下图左图所示。从几何的角度讲,ROC曲线下方的面积越大越大,则模型越优。所以有时候我们用ROC曲线下的面积,即AUC(Area Under Curve)值来作为算法和模型好坏的标准。

在这里插入图片描述

以精确率为y轴,以召回率为x轴,我们就得到了PR曲线。仍然从精确率和召回率的定义可以理解,精确率越高,召回率越高,我们的模型和算法就越高效。也就是画出来的PR曲线越靠近右上越好。如上图右图所示。

使用ROC曲线和PR曲线,我们就能很方便的评估我们的模型的分类能力的优劣了。

相关内容

热门资讯

怎样才能让自己爱上自己的仇人 怎样才能让自己爱上自己的仇人瞎掉吧。。让他来照顾你。既然是你的仇人那你为什么要去爱他呢你要努力恨他,...
四川托普职业学校什么专业比较好... 四川托普职业学校什么专业比较好啊?我怎么去这个学校读。马上就高中毕业了,想找个好点的专业。 ...
简单的适合葫芦丝初学者吹奏的傣... 简单的适合葫芦丝初学者吹奏的傣族味儿的曲子有哪些?月光下的凤尾竹 貌似不是很难 要看楼主的音乐基础怎...
澳门学者首次参加联合国外空委会... 来源:人民网-大湾区频道 人民网澳门7月3日电 (记者富子梅)记者从外交部驻澳门特派员公署获悉,澳门...
关于“ST亚振”(603389...   炒股就看金麒麟分析师研报,权威,专业,及时,全面,助您挖掘潜力主题机会! (转自:川财证券资讯...
对于灰烬使者和米锤的威力谁更大... 对于灰烬使者和米锤的威力谁更大的问题灰烬肯定是没有米锤好了,入手难度自然也是米锤大,可是为什么有些人...
又见“落袋为安” 【导读】港股ETF受资金青睐,多只产品资金净流入居前;A股ETF资金净流出超41亿元中国基金报记者 ...
南海热带低压或加强为今年第4号... 来源:羊城晚报 据中央气象台观测,南海热带低压已于7月4日上午生成,未来24小时内或加强为今年第4号...
小米汽车:1000万Clips... 格隆汇7月4日|小米汽车官博发文称,随着小米YU7即将开启交付,新版小米端到端辅助驾驶HAD也将同步...
金融街获合规管理体系认证 系国... 作为国内房地产行业首批通过该项认证的企业,公司的合规体系建设具有显著示范意义。 ...