这个由actual和predicted构成的m乘n列联表叫做confusion matrix(混淆矩阵)。在下面的例子里,actual就是用结肠镜金标准鉴别的肠癌患者,predicted用粪便隐血预测的肠癌患者。
2*2表里,
左上角叫True positive(tp) 真阳
左下角叫false negative(fn) 假阴
右上角叫false positive(fp) 假阳
右下角叫true negative(tn) 真阴
正确率(Precision)等于tp/tp+fp
真阳性率(TPR)、敏感度(sensitivity)、召回率(recall)等于tp/tp+fn
真阴性率(TNR)、特异性(specificity)等于tn/fp+tn
假阴性率(FNR)、漏诊率等于fn/tp+fn
假阳性率(FPR)、误诊率等于fp/fp+tn
sensitivity:coorectly identify patients with bowel cancer.
specificity:coorectly identify patients without bowel cancer.
真实的希望是左上和右下的值特别大,
因此在ROC曲线里就是希望纵坐标(TPR)大,而横坐标(FPR)小。
受试者工作特征曲线 (receiver operating characteristic curve,简称ROC曲线),又称为 感受性 曲线(sensitivity curve)。得此名的原因在于 曲线上各点反映着相同的感受性 ,它们都是对同一 信号刺激 的反应,只不过是在几种不同的判定标准下所得的结果而已。接受者操作特性曲线就是以假阳性概率(False positive rate)为 横轴 ,击中概率为纵轴所组成的坐标图,和被试在特定刺激条件下由于采用不同的判断标准得出的不同结果画出的曲线。
ROC曲线是根据一系列不同的二分类方式(分界值或决定阈),以真阳性率(灵敏度)为纵坐标,假阳性率(1-特异度)为横坐标绘制的曲线。传统的诊断试验评价方法有一个共同的特点,必须将试验结果分为两类,再进行统计分析。ROC曲线的评价方法与传统的评价方法不同,无须此限制,而是根据实际情况,允许有中间状态,可以把试验结果划分为多个有序分类,如正常、大致正常、可疑、大致异常和异常五个等级再进行统计分析。因此,ROC 曲线 评价方法适用的范围更为广泛。
1.ROC曲线能很容易地查出任意界限值时的对性能的识别能力。
2.选择最佳的诊断界限值。ROC曲线越靠近左上角,试验的 准确性 就越高。最靠近左上角的ROC曲线的点是错误最少的最好 阈值 ,其假阳性和假阴性的总数最少。
3.两种或两种以上不同诊断试验对算法性能的比较。在对同一种算法的两种或两种以上诊断方法进行比较时,可将各试验的ROC曲线绘制到同一坐标中,以直观地鉴别优劣,靠近左上角的ROC曲线所代表的受试者工作最准确。亦可通过分别 计算 各个试验的ROC曲线下的面积(AUC)进行比较,哪一种试验的 AUC最大,则哪一种试验的诊断价值最佳。
该方法简单、直观,通过图示可观察分析方法的准确性,并可用肉眼作出判断。ROC曲线将灵敏度与 特异性 以图示方法结合在一起,可准确反映某分析方法特异性和敏感性的关系,是试验准确性的综合代表。ROC曲线不固定分类界值,允许中间状态存在,利于使用者结合专业知识,权衡漏诊与误诊的影响,选择一更佳截断点作为诊断参考值。提供不同试验之间在共同标尺下的直观的比较,ROC曲线越凸越近左上角表明其诊断价值越大,利于不同指标间的比较。曲线下面积可评价诊断准确性
1.ROC曲线绘制。依据专业知识,对疾病组和参照组测定结果进行分析,确定测定值的上下限、组距以及截断点(cut-off point),按选择的组距间隔列出累积频数分布表,分别计算出所有截断点的敏感性、特异性和假阳性率(1-特异性)。以敏感性为纵坐标代表真阳性率,(1-特异性)为横坐标代表假阳性率,作图绘成ROC曲线。
2.ROC曲线评价统计量计算。ROC曲线下的面积值在1.0和0.5之间。在AUC>0.5的情况下,AUC越接近于1,说明诊断效果越好。AUC在 0.5~0.7时有较低准确性,AUC在0.7~0.9时有一定准确性,AUC在0.9以上时有较高准确性。AUC=0.5时,说明诊断方法完全不起作用,无诊断价值。AUC<0.5不符合真实情况,在实际中极少出现。
3.两种诊断方法的统计学比较。两种诊断方法的比较时,根据不同的试验设计可采用以下两种方法:①当两种诊断方法分别在不同受试者身上进行时,采用成组比较法。②如果两种诊断方法在同一受试者身上进行时,采用配对比较法。
欢迎分享,转载请注明来源:夏雨云
评论列表(0条)