准确率召回率 准确率召回率f值

f1值大于多少比较可信

通过实验法，拿一个带标注的数据集作为测试集，使用不同的调整数值，跑完整个测试集上，并计算准确率与召回率。这样就会得到2根曲线，一条对应准确率、一条对回率，横坐标对应不同的调整数值。然后根据需要选择对应的调整数值即可。

大于0.5比较可信。

准确率召回率 准确率召回率f值

准确率召回率 准确率召回率f值

准确率召回率 准确率召回率f值

此外还有 F2 分数和 F0.5 分数。 F2 分数认为召回率的重目标检测技术的很多实际应用在准确度和速度上都有很高的要求，如果不计速度性能指标，只注重准确度表现的突破，但其代价是更高的计算复杂度和更多内存需求，对于全面行业部署而言，可扩展性仍是一个悬而未决的问题。要程度是精度的2倍，而 F0.5 分数认为召回率的重要程度是精度的一半。计算公式为：

f1值大于0.5比较可信，是因为大于0.5的时候，则可认为检测到目标物体，说明试验方法比较有效，并且大于0.5所得到的数据率，比较可信。

目标检测评价指标总结

这样记起来是不是就好记了呢？知道了这几个定义，下面就好理解了。

今天我们从交并比，准确率，精度，召回率， FPR , F1-Score , PR 曲线， ROC 曲线， AP 的值， AUC 的值以及很重要的 mAP 指标，模型的检测速度和非极大值抑制的相关方面来学习下目标检测中的评价指标。

TNR = TN /（TN + FP）

交并比 IoU 是英文 intersection over union 的简写，意思是检测结果的矩形框与样本标注的矩形框的交集与并集的比值。如下图：

上图中设 A 为模型的检测结果， B 为 Ground Truth 即样本的标注结果，那么 A 与 B 相交的区域即为 A∩B ，而 A 与 B 的并集即为 AB 共有的区域 A∪B ,那么 IoU 的计算公式即为: IoU = (A∩B) / (A∪B)

这个还是很简单就能理解的，反应到样本图上就如下图：

其中上图蓝色框框为检测结果，红色框框为真实标注。

一般情况下对于检测框的判定都会存在一个阈值，也就是 IoU 的阈值，一般可以设置当 IoU 的值大于 0.5 的时候，则可认为检测到目标物体。

上公式中的 TP+TN 即为所有的正确预测为正样本的数据与正确预测为负样本的数据的总和， TP+TN+FP+FN 即为总样本的个数。

精度 precision 是从预测结果的角度来统计的，是说预测为正样本的数据中，有多少个是真正的正样本，即“找的对”的比例，如下：

上公式中的 TP+FP 即为所有的预测为正样本的数据， TP 即为预测正确的正样本个数。

召回率 recall 和 TPR (灵敏度( true itive rate ))是一个概念，都是从真实的样本集来统计的，是说在总的正样本中，模型找回了多少个正样本，即“找的全”的比例，如下：

上公式中的 TP+FN 即为所有真正为正样本的数据，而 TP 为预测正确的正样本个数。召回率(Recall)和精度(Precise)是广泛用于信息检索和统计学分类领域的两个度量值，用来评价结果的质量。

FPR(false itive rate) ，它是指实际负例中，错误的判断为正例的比例，这个值往往越小越好，如下：

其中， FP+TN 即为实际样本中所有负样本的总和，而 FP 则是指判断为正样本的负样本。

F1 分数( F1-score )是分类问题的一个衡量指标。 F1 分数认为召回率和精度同等重要, 一些多分类问题的机器学习竞赛，常常将 F1-score 作为最终测评的方法。它是率和召回率的调和平均数，为1，最小为0。计算公式如下：

常用的如 F2 和 F0.5 。

PR 曲线，就是 precision 和 recall 的曲线， PR 曲线中 precision 为纵坐标， recall 为横坐标,如下图：

那么 PR 曲线如何评估模型的性能呢？从图上理解，如果模型的精度越高，召回率越高，那么模型的性能越好。也就是说 PR 曲线下面的面积越大，模型的性能越好。绘制的时候也是设定不同的分类阈值来获得对应的坐标，从而画出曲线。

PR 曲线有一个缺点就是会受到正负样本比例的影响。比如当负样本增加10倍后，在 racall 不变的情况下，必然召回了更多的负样本，所以精度就会大幅下降，所以 PR 曲线对正负样本分布比较敏感。对于不同正负样本比例的测试集， PR 曲线的变化就会非常大。

ROC 的全称是 Receiver Operating Characteristic Curve ，中文名字叫“受试者工作特征曲线”，对于 ROC 来说，横坐标就是 FPR ，而纵坐标就是 TPR ，因此可以想见，当 TPR 越大，而 FPR 越小时，说明分类结果是较好的。如下图：

ROC 曲线有个很好的特性，当测试集中的正负样本的分布变换的时候， ROC 曲线能够保持不变。

ROC 曲线可以反映二分类器的总体分类性能，但是无法直接从图中识别出分类的阈值，事实上的阈值也是视具体的场景所定。 ROC 曲线一定在 y=x 之上，否则就是一个不好的分类器。

AUC 是 Area under curve 的首字母缩写，即 ROC 曲线下的面积，介于0和1之间。计算方式即为 ROC 曲线的微积分值，其物理意义可以表示为：随机给定一正一负两个样本，将正样本排在负样本之前的概率，因此 AUC 越大，说明正样本越有可能被排在负样本之前，即正样本分类结果越好。

mAP 是英文 mean erage precision 的缩写，意思是平均精度均值，这个词听起来有些拗口，我们来仔细捋一捋。上面我们知道了什么是 AP ， AP 就是 PR 曲线下面的面积（如下图），是指不同召回率下的精度的平均值。

mAP 衡量的是学出的模型在所有类别上的好坏，是目标检测中一个最为重要的指标，一般看论文或者评估一个目标检测模型，都会看这个值，这个值是在 0-1 直接，越大越好。

一般来说 mAP 针对整个数据集而言的， AP 针对数据集中某一个类别而言的，而 percision 和 recall 针对单张某一类别的。

检测速度，这个很好理解，简单的说就是一秒钟能够检测多少张。不同的目标检测技术往往会有不同的 mAP 和检测速度，如下图（后面我们将逐一学习）：

在实际问题中，通常需要综合考虑 mAP 和检测速度等因素。

非极大值抑制虽然一般不作评价指标，但是也是目标检测中一个很重要的步骤，因为下期就要步入经典模型的介绍了，所以这里随着评价指标简单介绍下。

NMS 的英文为 Non-Maximum Suppression ,就是在预测的结果框和相应的置信度中找到置信度比较高的 bounding box 。对于有重叠在一起的预测框，如果和当前分的候选框重叠面积 IoU 大于一定的阈值的时候，就将其删除，而只保留得分的那个。如下图：

2). 计算其余 bounding box 与当前 score 的 IoU ，去除 IoU 大于设定的阈值的 bounding box ，保留小的 IoU 预测框；

3). 然后重复上面的过程，直至候选 bounding box 为空。

当存在多目标预测时，如下图，先选取置信度的候选框 B1 ，然后根据 IoU 阈值来去除 B1 候选框周围的框。然后再选取置信度第二大的候选框 B2 ,再根据 IoU 阈值去掉 B2 候选框周围的框。

如何解释召回率与准确率？

F-score值： F1值为算数平均数除以几何平均数，且越大越好，将Precision和Recall的上述公式带入会发现，当F1值小时，True Positive相对增加，而false相对减少，即Precision和Recall都相对增加，即F1对Precision和Recall都进行了加权。

准确率（P值）设我此时想吃香蕉，实验室里面每天都会安排10个水果，水果种类分别是6个香蕉，3个橘子，1个菠萝。哎，但是，实验室主任搞事情啊，为了提高我们吃水果的动力与趣味，告诉我们10个水果放在黑盒子中，每个人是看不到自己拿的什么，每次拿5个出来，哎，我去抽了，抽出了2个香蕉，2个橘子，1个菠萝召回率（R值）按照开始总结所说。召回率是针对我们原来的样本而言的，它表示的是样本中的正例有多少被预测正确了。我们这里的正类是我想吃的香蕉，而在样本中的香蕉个数是6个，召回率的召回也可以这么理解，代表了，原始样本中正类召回了多少。R值计算如下：R = 2/6分母已经变成了样本中香蕉的个数啦

那么从上面可以知道：

一.定义辨析刚开始接触这两个概念的时候总搞混，时间一长就记不清了。实际上非常简单，率是针对我们预测结果而言的，它表示的是预测为正的样本中有多少是真正的正样本。那么预测为正就有两种可能了，一种就是把正类预测为正类(TP)，另一种就是把负类预测为正类(FP)，也就是而召回率是针对我们原来的样本而言的，它表示的是样本中的正例有多少被预测正确了。那也有两种可能，一种是把原来的正类预测成正类(TP)，另一种就是把原来的正类预测为负类(FN)。其实就是分母不同，一个分母是预测为正的样本数，另一个是原来样本中所有的正样本数。在信息检索领域，率和召回率又被称为查准率和查全率，查准率＝检索出的相关信息量 / 检索出的信息总量查全率＝检索出的相关信息量 / 系统中的相关信息总量。准确率(accuracy) = 预测对的/所有 = (TP+TN)/(TP+FN+FP+TN) = 70%

f1值就是值和召回率的调和均值，准确率和召回率是互相影响的，理想情况下肯定是做到两者都高，但是一般情况下准确率高、召回率就低，召回率低。

率(precision) = TP/(TP+FP) = 80%召回率(recall) = TP/(TP+FN) = 2/3TP: 将正类预测为正类数 40，FN: 将正类预测为负类数 20FP: 将负类预测为正类数 10TN: 将负类预测为负类数 30

率，准确率，召回率，F-score

而在信息检索中数学表达式：准确率=检索正确的文档数/检索到的文档数。

FP (false itives)：负类被判断为负类；

然而，在目标检测中，一个模型通常会检测很多种物体，那么每一类都能绘制一个 PR 曲线，进而计算出一个 AP 值。那么多个类别的 AP 值的平均就是 mAP .

FN (false negatives)：正类被判断为负类；

TN (true negative为ROC曲线下的面积，曲线下面积越大越好s)：负类被判断为负类；

率（precision）： 是针对我们预测结果而言的，它表示的是预测为正的样本中有多少是真正的正样本。那么预测为正就有两种可能了，一种就是把正类预测为正类(TP)，另一种就是把负类预测为正类(FP)；

召回率（recall）： 表示的是样本中的正例有多少被预测正确了。那也有两种可能，一种是把原来的正类预测成正类(TP)，另一种就是把原来的正类预测为负类(FN)；

准确率（accuracy）： 所有的预测正确（正类负类）的占总的比重。

比如在样本集中，正样本有90个，负样本有10个，样本是的不均衡。对于这种情况，我们只需要将全部样本预测为正样本，就能得到90%的准确率，但是完全没有意义。对于新数据，完全体现不出准确率。因此，在样本不平衡的情况下，得到的高准确率没有任何意义，此时准确率就会失效。所以，我们需要寻找新的指标来评价模型的优劣。

2 . 率

率(Precision) 是针对预测结果而言的，其含义是在被所有预测为正的样本中实际为正样本的概率，率和准确率看上去有些类似，但是是两个完全不同的概念。率代表对正样本结果中的预测准确程度，准确率则代表整体的预测准确程度，包括正样本和负样本。

3. 召回率

召回率(Recall) 是针对原样本而言的，其含义是在实际为正的样本中被预测为正样本的概率。

准确率和召回率互相影响，理想状态下肯定追求两个都高，但是实际情况是两者相互“制约”：追求准确率高，则召回率就低；追求召回率高，则通常会影响准确率。我们当然希望预测的结果precision越高越好， recall越高越好， 但事实上这两者在某些情况下是矛盾的。这样就需要综合考虑它们，最常见的方法就是F-score。 也可以绘制出P-R曲线图，观察它们的分布情况。

4. F-score

一般来说准确率和召回率呈负相关，一个高，一个就低，如果两个都低，一定是有问题的。 一般来说，度和召回率之间是矛盾的，这里引入F1-Score作为综合指标，就是为了平衡准确率和召回率的影响，较为全面地评价一个分类器。F1是率和召回率的调和平均。

准确率（accuracy）、召唤率(recall)和率（precision）

当减小边界值时，即 ，召回率会提高，查准率会下降。

准确率（accuracy）、召唤率(recall)和率（precision）的关系

更一般该评价指标可以衡量正确预测负样本占负样本的比例。地，我们可以定义 Fβ （ precision 和 recall 权重可调的 F1 score ）:

准确率(accuracy)=(TP+TN)/(TP+FN+FP+TN)

通俗解释： 在所有样本中，预测正确的概率

率(precision)=TP/(TP+FP)

通俗解释：预测为正的样本中，真实为正的概率

召回率(recall)=TP/(TP+FN)

通俗解释：真实为正的样本中，预测为正的概率

如何动态调整准确率与召回率？

例子 ：有100个人，1人患有癌症。我们对其进行预测，然后再计算每种预测的准确率与召回率。

准确率与召回率是相对于 正 样本来说的，也就是要先定义什么是正。我们这里将“有癌症”定义为正，那么没有癌症就是负。

他们还有另一对名字，更直观也更容易理解：

在不同的任务中，可能对准确率与召回率有不同的要求。本篇文章要讨论的问题是在模型已经训练完成后，如果在不重新训练模型的情况下，调整其预测的准确率与召回率。也就是说，将一个模型发布后，不同的使用者可以使用同一个模型去完整不同的任务。

在二分类任务中，模型输出一般为0到1之间的一个数值，记为 ，如果大于0.5，我们预测为正，否则为负。这里的0.5代表一个阈值，记为 ，则分类标准如下：

模型的输出 可以代表信心（也就是模型预测样本为正的确信程度）。阈值 增加，则表示需要更大的信心才会预测为正，这时准确率必然增加；同时，阈值的增加导致所预测正样本的减少，找出正样本的可能性就会降低，从而导致召回率的下降。

在多分类任务中，模型会输出一个Category分布，比如3分类，一个可能的输出是[0.1, 0.2, 0.7]。在深度学习模型中，我们一般使用一个softmax函数来生成中的分布。记前一层的输出为 , 最终的输出为 ， 则：

要调整类别1所对应的准确率召回率，我们直接调整 就行了（增加/减少渐进片F值广泛应用于数字图像分割算法中，尤其是医学图像分割领域。对于医学图像分割，准确率和召回率是其关键指标，而渐进片F值作为综合评价指标，可以更好地评估算法的精度和稳定性。在日常实践中，我们应该选择合适的评价指标进行算法评估，并且不断改进算法，提高渐进片F值来获取更高的分割效果。一个值）。增加 ，类别1的的召回率增加，准确率下降；同时，类别2、类别3的召回率下降，准确率增加。

在NLP中，分词、词性、NER都被转化为序列标注任务进行处理。序列标注任务也就是序列分类任务。学会了分类任务准确率召回率调整方法，调整序列标注任务也就不难了。以NER任务为例：

现在主流的序列标注模型是BI-LSTM-CRF、BERT-CRF等，都是先使用一个神经网络计算每个字每个类别的分数，然后再通过CRF层进行调整。我们可以通过调整进入CRF之前的分数，从而达到调整准确率与召回率的目的。(BI-LSTM-CRF和CRF的PyTorch通用1). NMS 计算出每一个 bounding box 的面积，然后根据置信度进行排序，把置信度的 bounding box 作为队列中要比较的对象；实现可以参考 开源库bi-lstm-crf )

在上面的表格种，每一列对应一个字的多分类的分数，这些分数的范围没有经过归一化，范围是整个 ，但是调整的方法还是一样的，直接修改这些分数就行了。

比如通过增加"O"标签对应的分数，"O"标签对应的最终概率就会提升，跟实体相关的标签(B-LOC, I-LOC, ...1. 准确率)的概率则会下降，这样NER的召回率就会下降，准确率则会上升。

模型测试集评价指标（模型泛化能力）

PR 曲线反映了分类器对正例的识别准确程度和对正例的覆盖能力之间的权衡。

该评价指标容易受到正负样本不平衡影响，若正样本数量很少，也可以得到高正确率的模型，但是并没有实际作用（模型基本没学到正样本的特征）。为了解决这一问题，因此提出了准确率和召回率。

正确率=正确数除以总数乘以百分之百例如总共100题，对了98题，正确率就是98100=098=98%准确率的含义 对于科学实验来说，是指在一定实验条件下的多个测定值中，满足限定条件的测定值所占的比例，常用符合率来表。

该评价指标可以衡量正确预测正样本占正样本的比例。

一般来说模型的召回率越高，模型的准确率越低；模型的准确率越高，召回率越低。（越TP (true itives)：正类被判断为正类；贪心犯错的概率就越大）那麽可以看出过高的召回率或者过高的准确率都不是理想的指标，因此就提出了采用召回率和准确率的调和平均值F1值作为评价指标：

四种平均数大小关系：调和平均数≤几何平均数≤算术平均数≤平方平均数。可以看出调和平均数最接近较小值。

如果是多分类情况下，在使用F1分数时可以选择是micro还是macro，macro指对单个类别计算F1值，再用其算数平均值作为最终结果；而micro将全部类别当作一个整体，只计算1次F1值。因此macro受到样本较少类别影响大，micro受样本较多类别影响大。

灵敏度其实就是召回率

该评价指标可以衡量错误预测负样本占负样本的比例。

查准率（Precision）和召回率（Recall）

至此，我们已经学习了交并比，准确率，精度，召回率， FPR , F1-Score , PR 曲线， ROC 曲线， AP 的值， AUC 的值以及很重要的 mAP 指标，模型的检测速度和非极大值抑制的相关知识，希望大家有所收获。

在处理分类问题时，会遇到一种情况：

准确率 accuracy 是我们最常见的评价指标，这个很容易理解，就是被分对的样本数除以所有的样本数，通常来说，正确率越高，分类器越好，如下：

设一个二元分类问题：设我们的预测算法是： ，这个算法忽略特征值 ，不管任何情况下都是预测 等于0。

毫无疑问这是一个糟糕的算法，但是在测试集中，99%的样本输出 ，1%的样本输出 ，这样计算预测算法的误率的时候，会的到1%的误率，这就是很糟糕的情况，一个完全错误的算法得到了一个正确率很高的测试结果。

这种情况称之为 偏斜类（Skewed Classes） 的问题。

处理这种情况，需要参考查准率和召回率

TP(真阳性) 预测为真的样本中确实为真的数量。

FP(阳性) 预测为真的样本中确实为的数量。

FN(阴性) 预测为的样本中确实为真的数量。

TN(真阴性) 预测为的样本中确实为的数量。

举个例子来说明

设有100个样本，真实情况是有10个得癌症的，通过预测函数遇到到了有12个得了癌症，其中有8个是真实得癌症的。

这种情况下:

TP=8

FP=12-8=4被预测为负的正样本结果数 / 正样本实际数

FN=10-8=2

TN=(100-12)-2=86

正确预测为1，正确预测为0的样本比率，公式为：

上例中准确率为

查准率是指在所有预测为1的样本中预测正确的比率，公式为：

上例中查准率为

召回率是指在所有真正为1的样本中预测正确的比率，公式为：

上例中召回率为

在最开始偏斜类问题中 TP=0，召回率为0，因此那个预测算法是错误的。

在分类问题中， 是我们就预测为1， 是我们就预测为0；

边界条件就是0.5

查准率和召回率之间的变化关系和上图类似，变化的曲线可能不是上图的平滑关系。大方向两者是相反的增长。

要判断一个学习学习算法需要综合考虑查准率和召回率，可以使用 F值（F-Score） 来综合评价。

通过上面，可以得出算法1的性能比较好。

准确率、率、召回率

灵敏度又称为真正率，1-特异度又称为正率 ，可以看出真正率和正率都是基于真实样本的条件概率，因此可以有效解决正负样本不平衡的问题。真正率关心的是全体正样本中有多少被预测为真，正率是关心全体负样本中有多少被预测为真。ROC曲线就是在不同的threshold的条件下（预测结果大于threshold记为预测结果为真，反之为），将其对应的真正率和正率作为（y，x）坐标绘制而成。如下图所示：

准确率 (accuracy) = (TP + TN) / (TP + FN + FP + TN)

导航

通俗解释： 在所有样本中，预测正确的概率

率 (precision)= TP / (TP + FP)

通俗解释：你认为的正样本中，有多少是真的正确的概率

召回率 (recall) = TP / (TP + FN)

通俗解释：正样本中有多少是被找了出来

某池塘有1400条鲤鱼，300只虾，300只鳖。

现在以捕鲤鱼为目的。撒一大网，逮着了700条鲤鱼，200只虾，100只鳖。

那么，这些指标分别如下：

出处

终于有人讲清楚准确率（公式为：2accuracy）、召唤率(recall)和率（precision）的关系

准确率和召回率的关系

要调整准确率与召回率，直接调整s就行了。增大s，准确率上升，召回率下降；减少s，准确率下降，召回率上升。

准确率是指对一个事物表达或描述的正确程度，用来反映对事物的正确性解答。

该评价指标衡量正确预测正样本占实际预测为正样本的比例。

中文名

准确率

外文名

Accuracy

别称

正确率

特点

正确程度

用处

用于对事物判断

基本

准确率：Accuracy[1] ，又称“正确率”。

准确率为检索到的相关文档除以所有被检索到的文档得到的比率。

准确度的科学定义：指在一定实验条件下多次测定的平均值与真值相符合的程度，以误来表示。它用来表示系统误的大小。在实际工作中，通常用标准物质或标准方法进行对照试验，在无标准物质或标准方法时，常用加入被测定组分的纯物质进行回收试验来估计和确定准确度。在误较小时，也可通过多次平行测定的平均值 作为真值μ的估计值。测定精密度好，是保证获得良好准确度的先决条件，一般说来，测定精密度不好，就不可能有良好的准确度。对于一个理想的分析方法与分析结果，既要求有好的精密度，又要求有好的准确不管是看论文，博客啥的，都会经常看到一堆简写， TP , TN , FP , FN ，这些简写经常见到，怎么能够很好的记住呢？其实是这样的：度。

测量准确度指测量结果与被测量真值之间一致的程度；测量仪器的准确度指测量仪器给出接近于真值的响应的能。准确度只是一个定性概念而无定量表达。测量误的大，其准确度低。但准确度不等于误。准确度只有诸如：高、低；大、小；合格与不合格等类表述。对于测量仪器的准确度，则还有级别或等别的表述。用量值给出准确度是错误的，例如：准确度为0.5毫克，这里0.5毫克是什么是不明确的。

准确度:是用来同时表示测量结果中系统误和随机误大小的程度.多次测量值的平均值与真值的接近程度。

信息检索中数学表达式：准确率=检索正确的文档数/检索到的文档数

参考资料

[1] 李航．统计学习方法．清华大学出版社，2012：18-19